L'entraînement

Comment passe-t-on d'un réseau de neurones vide, dont tous les paramètres sont initialisés au hasard, à un modèle capable d'expliquer du code ou de rédiger un mail ? En deux grandes étapes.

La première s'appelle le pré-entraînement, et son principe tient en une phrase : deviner le mot suivant, des milliards de fois. On montre au modèle un texte tokenisé, on masque la suite, et on lui demande de la prédire. "Le soleil se lève à l'..." et le modèle propose. Au début, il répond n'importe quoi, puisque ses paramètres sont aléatoires. On mesure alors l'écart entre sa prédiction et le vrai mot, c'est ce qu'on appelle l'erreur, ou la loss. Cette erreur est ensuite propagée à rebours dans tout le réseau (la rétropropagation), ce qui indique dans quel sens ajuster chaque paramètre pour se tromper un peu moins la prochaine fois (la descente de gradient).

Répétez l'opération sur des quantités de texte gigantesques, et le réseau finit par intégrer la grammaire, les tournures, des faits, des structures de raisonnement, du code. Personne ne lui a jamais écrit une seule règle du type "si la question est X, réponds Y". Il n'y a que des régularités statistiques extraites de milliards d'exemples, encodées dans des milliards de paramètres.

Le problème, c'est qu'à ce stade, le modèle sait compléter du texte, mais ne sait pas se comporter en assistant. Posez-lui une question, il pourrait très bien enchaîner avec dix questions du même genre, puisque c'est une suite plausible. D'où la seconde étape, le post-entraînement, qui est ce qui transforme un moteur de complétion en interlocuteur.

On y trouve plusieurs mécanismes : du fine-tuning supervisé sur des exemples de bonnes réponses, un apprentissage à partir de préférences (on montre au modèle des paires de réponses et on lui indique laquelle est préférée), du renforcement, et de plus en plus un entraînement à l'usage des outils et au suivi d'instructions. C'est là que se joue une grande partie de ce qui distingue deux modèles de taille comparable.

Et à force de post-entraînement, certains modèles se mettent à produire des étapes intermédiaires avant de répondre. On appelle ça raisonner. Mais qu'est-ce que ça veut dire, au juste, pour une IA ? C'est le sujet du prochain post.