Tokens

Depuis le début de cette série, j'ai parlé de tokens à plusieurs reprises en promettant d'y revenir. Le moment est venu de payer ma dette.

Premier réflexe : se dire qu'un token, c'est un mot. C'est presque ça, mais pas tout à fait. Un token, c'est l'unité de texte que le modèle manipule réellement. Ça peut être un mot entier, un morceau de mot, un signe de ponctuation, un espace suivi de quelques lettres.

Prenons un mot bien long : "internationalisation". Plutôt que de le traiter d'un bloc, un modèle pourrait le découper en quelque chose comme "international" + "isation". (Exemple volontairement simplifié : la découpe exacte dépend du tokenizer de chaque modèle, et deux modèles ne découperont pas forcément le même mot de la même façon.)

Pourquoi ne pas simplement travailler mot par mot ? Parce qu'il faudrait un dictionnaire de tous les mots de toutes les langues, avec leurs conjugaisons, leurs pluriels, les fautes de frappe, les noms propres, le code informatique... Mission impossible. À l'inverse, travailler lettre par lettre rendrait les textes interminables à traiter. Les tokens sont un compromis malin : un vocabulaire de quelques dizaines à quelques centaines de milliers de morceaux, construit automatiquement à partir des séquences les plus fréquentes. Les mots courants ont souvent leur propre token, les mots rares sont reconstitués à partir de plusieurs morceaux, un peu comme des Lego.

Et ce n'est pas qu'une curiosité technique, parce que tout se compte en tokens. La fenêtre de contexte d'un modèle, c'est-à-dire la quantité de texte qu'il peut lire d'un coup, se mesure en tokens. La facture de l'API aussi : on paie les tokens envoyés et les tokens générés. Même la vitesse de réponse s'exprime souvent en tokens par seconde.

Petite subtilité qui nous concerne directement : les tokenizers ont souvent été construits sur des corpus majoritairement anglophones. Résultat, un même texte demande généralement un peu plus de tokens en français qu'en anglais, pour une facture légèrement plus salée à contenu égal. En ordre de grandeur, un token représente environ trois quarts d'un mot en anglais, un peu moins en français, mais ça varie selon le modèle.

C'est aussi pour ça qu'on disait, dans le post sur les hallucinations, qu'un LLM prédit la suite un token à la fois. À chaque étape, il calcule une probabilité pour chacun des tokens de son vocabulaire, puis en choisit un. Mais quand plusieurs tokens sont plausibles, comment choisit-il lequel prendre ? Toujours le plus probable ? Pas forcément. On parlera probabilités, sampling et température dans le prochain post.