Pourquoi des GPU

Pour comprendre pourquoi l'IA tourne sur des GPU, la meilleure image reste celle de la cuisine. Un CPU, c'est une brigade de quelques chefs étoilés : peu nombreux, très rapides, capables de réaliser n'importe quel plat, y compris les plus techniques. Un GPU, c'est une salle avec des milliers de commis : chacun ne sait faire qu'un geste simple, mais ils le font tous en même temps.

Pour éplucher dix mille carottes, vous voulez les commis.

Et un Transformer, c'est exactement ça : un épluchage gigantesque. Derrière l'attention et les couches du réseau, il n'y a que des multiplications de matrices, c'est-à-dire des millions d'opérations identiques sur des nombres, sans dépendance entre elles. Pile ce qu'un GPU sait faire, avec ses milliers d'unités de calcul en parallèle.

Le détail savoureux, c'est que les GPU n'ont pas été conçus pour ça. Ils ont été créés pour le jeu vidéo et le calcul graphique, où il faut calculer la couleur de millions de pixels par image, chacun indépendamment. Il se trouve que les réseaux de neurones réclament le même genre d'effort. L'IA moderne roule en grande partie sur une architecture pensée pour afficher des explosions à 60 images par seconde.

Autre point rarement mentionné : la mémoire compte autant que la puissance de calcul. Les paramètres du modèle doivent tenir dans la mémoire de la carte, et c'est souvent elle qui décide si un modèle donné peut tourner sur votre machine. C'est aussi la raison pour laquelle on quantise les modèles, c'est-à-dire qu'on réduit la précision des nombres, pour les faire entrer dans des cartes plus modestes.

Aujourd'hui, le paysage s'est élargi : GPU, TPU chez Google, puces dédiées à l'inférence, accélérateurs maison chez les gros fournisseurs. Le principe ne change pas, il s'agit toujours d'exécuter d'énormes volumes d'opérations numériques en parallèle.

Avec assez de données et assez de calcul, on peut entraîner un modèle. Mais concrètement, comment entraîne-t-on un LLM ? C'est le sujet du prochain post.