Toutes les leçons
Cours IA · Leçon 26

Multimodal

20 novembre 20262 min de lecture

Prenez une photo d'un tableau électrique, envoyez-la à un assistant avec la question "quel disjoncteur a sauté ?", et vous obtenez une réponse utile. C'est banal aujourd'hui. C'était de la science-fiction il y a quelques années, parce que ça suppose de faire cohabiter deux mondes : des pixels et des mots.

C'est ce qu'on appelle la multimodalité. Une modalité, c'est une forme d'entrée ou de sortie : texte, image, audio, vidéo, et selon les systèmes, des données structurées. Un modèle multimodal est capable d'en traiter plusieurs et, surtout, de les mettre en relation.

Le principe fondamental, vous le connaissez depuis le post sur les embeddings. Tout devient des vecteurs. Un mot devient un vecteur, un morceau d'image devient un vecteur, un extrait audio aussi. À partir du moment où tout est représenté dans le même type d'espace, le modèle peut relier le mot "disjoncteur" à la zone de la photo qui lui correspond. Il ne convertit pas l'image en mots, il fait dialoguer des représentations.

Les architectures, elles, ne se ressemblent pas toutes. Certaines branchent un encodeur spécialisé, un encodeur visuel par exemple, sur un LLM textuel existant, via une couche d'adaptation. D'autres sont entraînées dès le départ sur plusieurs modalités, de façon plus intégrée. La seconde approche capte généralement mieux les relations fines entre ce qui est vu et ce qui est dit, mais elle coûte beaucoup plus cher à entraîner.

Attention aussi à ce que "multimodal" recouvre commercialement. Un modèle peut lire des images sans savoir en produire, comprendre la parole sans savoir parler, ou accepter une vidéo en n'analysant en réalité que des images extraites à intervalles réguliers plus la bande-son. Quand on choisit un modèle pour un projet, il vaut mieux vérifier ce qui entre et ce qui sort, dans le détail.

Prenons justement le cas le plus courant. Comment une IA passe-t-elle d'une grille de pixels à "un chien devant une voiture rouge" ? C'est le sujet du prochain post.

Multimodal

Cette leçon a d'abord été publiée sur LinkedIn. Rejoindre la discussion

Envie de mettre l'IA au travail dans votre entreprise ?

Chatbot sur vos documents, agents, automatisation — parlons-en.

Discuter de mon projet