L'attention

Lisez cette phrase : "Le chat que ma soeur a adopté hier dort sur le canapé." Qui dort ? Le chat, évidemment. Pourtant, entre "chat" et "dort", il y a sept mots, dont une soeur et une adoption. Votre cerveau a fait le lien sans effort. Le modèle, lui, a besoin d'un mécanisme pour ça, et ce mécanisme s'appelle l'attention.

Voici l'idée. Chaque token de la phrase produit trois choses à partir de sa représentation : une requête (query), une clé (key) et une valeur (value). Si on caricature un peu, la requête est la question que le token pose au reste de la phrase, la clé est l'étiquette qu'il présente aux autres, et la valeur est l'information qu'il apporte quand on s'intéresse à lui.

Le modèle compare alors la requête de chaque token aux clés de tous les autres. Plus ça correspond, plus le poids d'attention est élevé. Le token "dort" pose en substance la question "qui fait cette action ?", et c'est la clé de "chat" qui y répond le mieux, pas celle de "soeur" ni celle de "canapé". Chaque token construit ensuite sa nouvelle représentation en mélangeant les valeurs des autres, pondérées par ces poids. Autrement dit, chaque mot se réécrit en tenant compte de ceux qui comptent pour lui.

C'est aussi la réponse à une énigme du tout premier post de la série. "J'ai mangé un avocat" et "J'ai appelé mon avocat" contiennent le même mot, mais dans le premier cas l'attention le rapproche de "mangé", dans le second de "appelé". La représentation finale n'est plus la même.

Un point important, parce que le mot induit en erreur : le modèle ne regarde rien consciemment. Il n'y a pas de projecteur intérieur qui se braque sur un mot. Ce sont des produits de matrices et des pondérations, rien de plus. Le mécanisme se répète en parallèle sur plusieurs "têtes" d'attention, qui capturent des relations différentes, puis d'une couche à l'autre, ce qui permet de construire des dépendances de plus en plus abstraites.

Tout ceci est magnifiquement parallélisable, et c'est une chance, parce que le volume de calcul est colossal. Pourquoi les modèles réclament-ils autant de GPU ? On ouvre le capot dans le prochain post.