Vous devez classer des tickets de support en trois catégories : bug, question ou demande de fonctionnalité. Quel modèle prenez-vous ? Le réflexe habituel consiste à choisir le plus gros disponible, en se disant qu'on ne risque rien.
Ça marchera très bien. Ça coûtera aussi dix à cinquante fois le prix d'un petit modèle, ça répondra plus lentement, et sur cette tâche précise, ça ne classera pas mieux. C'est un peu comme prendre l'autoroute en Formule 1 pour aller chercher le pain : impressionnant, inadapté.
Le bon réflexe, dans une vraie application, c'est le routage. Une classification simple part sur un petit modèle rapide. Un résumé va sur un modèle intermédiaire. Une analyse complexe, un raisonnement en plusieurs étapes ou de la génération de code partent sur le gros modèle. Une image va vers un modèle multimodal. Chaque appel utilise ce dont il a besoin, et la facture ressemble à quelque chose de raisonnable à la fin du mois.
Les petits modèles ont d'ailleurs progressé bien plus vite que ne le laissait imaginer la course aux paramètres. Beaucoup de tâches qui exigeaient un modèle de tête il y a deux ans tournent aujourd'hui sur un modèle bien plus léger, parfois même en local, ce qui change tout dès que les données sont sensibles.
Parce que les progrès ne viennent pas uniquement de la taille. Ils viennent de la qualité des données d'entraînement, du post-entraînement, des choix d'architecture, du contexte qu'on fournit au modèle, des outils qu'on lui donne, et de la spécialisation. Un petit modèle bien alimenté par un RAG propre bat régulièrement un gros modèle qui travaille à l'aveugle.
Ma règle : commencez petit, mesurez, et ne montez en gamme que là où les résultats l'exigent. Vous serez souvent surpris de voir où ça passe.
Et certains de ces modèles ne se contentent plus de texte : ils lisent des images, écoutent de l'audio, regardent des vidéos. Qu'est-ce qu'un modèle multimodal ? C'est le sujet du prochain post.
Cette leçon a d'abord été publiée sur LinkedIn. Rejoindre la discussion
Envie de mettre l'IA au travail dans votre entreprise ?
Chatbot sur vos documents, agents, automatisation — parlons-en.
Discuter de mon projet