Température

Dans le dernier post, on a laissé le modèle devant une liste de candidats. Après "Le ciel est", il a calculé quelque chose comme : "bleu" 42 %, "gris" 21 %, "nuageux" 16 %, "clair" 12 %, "rose" 4 %. Reste à trancher. Doit-il toujours prendre celui qui est en tête ? C'est exactement le rôle de la température.

Imaginez un curseur. Tout à gauche, à température 0, le modèle prend systématiquement le token le mieux noté. Vous obtenez "Le ciel est bleu", et vous l'obtiendrez encore demain. Poussez le curseur vers la droite, et les options moins bien classées commencent à avoir leur chance : "gris", "nuageux", et si vous poussez vraiment loin, "rose".

Ce qui se passe mathématiquement est plus simple qu'il n'y paraît. La température ne change aucune connaissance du modèle : elle écrase ou accentue les écarts entre les probabilités qu'il vient de calculer. Une température basse rend la distribution plus pointue, le favori écrase encore davantage ses concurrents. Une température élevée l'aplatit, les candidats se rapprochent et le tirage s'ouvre. On règle la façon de piocher, pas le contenu du sac.

C'est le point que je tiens à faire passer, parce qu'on lit souvent l'inverse : monter la température ne rend pas le modèle plus intelligent, et pas non plus plus créatif au sens où il aurait de meilleures idées. Elle lui fait simplement accepter des suites qu'il jugeait moins probables. On y gagne de la variété, on y perd de la fiabilité, et trop haut, le texte part en vrille en gardant exactement le même aplomb.

En pratique, le réglage suit la tâche. Extraction de données, classification, génération de JSON, réponse appuyée sur une documentation : température basse, on veut de la stabilité. Brainstorming, titres, reformulations, variantes d'un texte : on monte un peu, parce que la variété est précisément ce qu'on cherche.

Un détail qui surprend beaucoup de monde : même à température 0, vous n'êtes pas certain d'obtenir deux fois exactement le même texte. Pourquoi la même question peut-elle donner deux réponses différentes ? C'est le sujet du prochain post.