Le problème que les embeddings ne résolvent pas
À la fin de l'épisode précédent, le modèle savait que "chat" et "chien" sont proches, que "chat" et "machine-outil" sont loin. Pas mal pour un début.
Mais prenez cette phrase :
"La souris que le chat a mangée était petite."
Le modèle sait ce que sont "souris", "chat" et "petite" séparément. Mais "petite" parle de qui ? De la souris ou du chat? Pour comprendre ça, il faut lire la phrase entière, pas mot par mot.
C'est ce que l'attention résout.
L'attention : lire une phrase entière
L'attention, c'est le mécanisme qui permet au modèle de calculer, pour chaque mot, à quel point chaque autre mot de la phrase est pertinent.
Quand le modèle traite le mot "petite", il pose une question implicite : "Dans cette phrase, de quoi est-ce que je parle ?" Et il calcule un score de pertinence avec chaque autre mot :
souris → 45% ← très pertinent mangée → 30% chat → 15% que → 7% ...
Résultat : le vecteur de "petite" est recalculé en tenant compte de tout ce contexte. Il ne représente plus juste "petite" en général — il représente "petite" dans le contexte précis de cette phrase, appliqué à cette souris.
C'est pour ça qu'un même mot peut avoir des significations très différentes selon le contexte. Prenez "avocat" :
- "Mon avocat plaide demain" → le vecteur de "avocat" se recalcule vers le monde juridique.
- "Mon avocat est trop mûr" → le vecteur bascule vers le monde des fruits.
Même mot. Deux vecteurs complètement différents selon la phrase. L'attention rend ça possible.
Le multi-head : plusieurs regards simultanés
Une seule attention, c'est bien. Mais une phrase contient plusieurs types de relations en même temps.
Dans "La souris que le chat a mangée était petite" : - Qui fait quoi ? (sujet / verbe) - Sur quoi porte l'adjectif ? (petite → souris) - Quelle est la relation entre les propositions ? (relative)
Le modèle utilise plusieurs "têtes d'attention" en parallèle — 6 dans un petit modèle, 96 dans GPT-4 — chacune spécialisée dans un type de relation différent.
Tête 1 → relations sujet/verbe Tête 2 → relations adjectif/nom Tête 3 → relations entre propositions ...
Ce qui est remarquable : personne ne programme ces spécialisations. Elles émergent toutes seules pendant l'entraînement. Le modèle découvre, à force de lire, que certaines relations méritent d'être regardées séparément.
Avec 96 têtes et des milliards de paramètres, certaines spécialisations restent d'ailleurs inexplicables même pour les chercheurs. On voit qu' elles s'activent mais on ne sait pas toujours pourquoi.
Le transformer block : assembler les briques
L'attention seule ne suffit pas. Après avoir compris les relations entre les mots, le modèle doit encore construire des abstractions plus complexes.
Chaque "block" du transformer enchaîne deux opérations :
L'attention gère les relations entre les mots. Qui parle de quoi.
Le MLP (une couche de calcul intermédiaire) — gère les relations à l'intérieur d'un même vecteur. Les abstractions, les concepts.
Une image pour comprendre le MLP : imaginez étaler des objets sur une grande table pour les trier, puis les remettre dans une boîte en gardant seulement l'essentiel, comme lors du commencement d'un puzzle, avec les coins, les bords, les couleurs isolés les un des autres avant de commer à assembler. Le MLP agrandit temporairement l'espace de représentation pour démêler des relations complexes, puis recompresse.
Et ce block est répété en série — 6 fois dans un petit modèle, des dizaines de fois dans GPT-4. Chaque répétition raffine progressivement :
Block 1 → syntaxe simple Block 2 → sémantique Block 3 → contexte Block 4 → abstractions Block 5 → raisonnement Block 6 → synthèse
La sortie : des probabilités, pas un mot
Après tous ces blocks, le modèle ne sort pas directement un mot. Il sort un score pour chaque mot de son vocabulaire: plusieurs milliers simultanément.
chat → 8.3 chien → 7.1 souris → 4.2 voiture → 0.1 ...
Ces scores sont ensuite convertis en probabilités. Et c'est là qu'intervient un paramètre que vous avez peut-être vu dans les interfaces IA : la température.
- Température basse : le modèle choisit presque toujours le mot le plus probable. Réponses prévisibles, cohérentes, un peu répétitives.
- Température haute : le modèle prend plus de risques, pioche dans des mots moins probables. Réponses plus créatives, plus surprenantes... et parfois moins justes.
C'est pour ça qu'un même prompt peut donner des réponses très différentes d'une fois à l'autre.
Ce qui a été vu dans cet épisode
Le modèle ne lit pas les mots un par un. Il calcule, pour chaque mot, sa relation avec tous les autres, simultanément, sous plusieurs angles, en couches successives de plus en plus abstraites.
C'est puissant. Mais ça reste de la corrélation, pas de la compréhension. Le modèle ne sait pas ce qu'est une souris. Il sait comment le mot "souris" se comporte dans des millions de phrases.
Ce que ça implique: les biais, les hallucinations, et comment les contourner, seront l'objet du dernier épisode.
Prochain épisode : pourquoi une IA se trompe et comment limiter les erreurs.