Notes · Comprendre l’IA

Elle ne pense pas. Elle prédit. Et cela explique presque tout.

Ce que fait un modèle de langage de l’intérieur quand vous lui écrivez, ce qu’est sa mémoire de travail, pourquoi il invente parfois une donnée avec une assurance totale et ce que votre entreprise peut y faire.

Daniel Esteban Feo15 min de lecture

Série « Comprendre l’IA », note 2 sur 12. La première expliquait ce qu’est l’intelligence artificielle. Celle-ci explique comment travaille de l’intérieur la variante que tout le monde utilise.

Jeudi, 16 h 10, un bureau à Lausanne. Le directeur financier d’un groupe hôtelier prépare une réponse pour le réviseur. Il a besoin du délai exact que fixe une norme, le demande à l’assistant d’IA auquel l’entreprise s’est abonnée au printemps et reçoit, en trois secondes, une réponse impeccable : le délai, l’article qui le fixe et une phrase entre guillemets tirée du texte légal. Copier, coller, envoyer.

À 17 h 40, le réviseur répond d’une seule ligne : cet article ne dit pas cela. À 17 h 55, après l’avoir cherché, le directeur découvre pire. Cet article n’existe pas. La citation, avec ses guillemets et son numéro, non plus. L’assistant n’a pas menti, car mentir exige de connaître la vérité. Il a fait exactement ce pour quoi il a été construit : il a produit le texte le plus probable. Et un article avec un numéro plausible et une phrase solennelle est un texte très probable.

La scène est imaginaire. Ce qui la provoque arrive tous les jours et, en 2023, est arrivé devant un tribunal de New York, sanction comprise. Je vous le raconte plus bas. Avant, je veux que vous compreniez, sans une seule formule, ce qui se passe dans la machine entre le moment où vous appuyez sur envoyer et celui où la réponse apparaît. Ce sont cinq mots : jeton, prédiction, contexte, hallucination et température. Avec eux, vous comprendrez 90 % de ce qu’un fournisseur vous explique, et vous repérerez 90 % de ce qu’il ne vous explique pas.

Un modèle de langage ne cherche pas la bonne réponse. Il cherche la suite la plus probable. Les deux coïncident presque toujours. Presque.

D’abord, les jetons.

Un modèle de langage ne lit ni lettres ni mots. Il lit des jetons, que l’anglais appelle tokens. Avant que le modèle ne voie quoi que ce soit, votre texte est découpé en morceaux : parfois un mot entier, parfois la moitié, parfois un signe de ponctuation. Selon la documentation d’Anthropic, dans les modèles Claude antérieurs à la version 4.7, un jeton valait environ 3,5 caractères d’anglais, et les plus récents découpent plus fin et produisent environ 30 % de jetons en plus pour le même texte. Pensez aux pièces d’un jeu de construction : le modèle ne voit pas la maison, il voit les pièces, et il travaille pièce par pièce.

Ceci, qui ressemble à un détail d’ingénierie, a deux conséquences pour votre compte de résultat. La première : les fournisseurs facturent au jeton, en entrée et en sortie. Chaque document que le système lit et chaque réponse qu’il écrit a un prix proportionnel à sa longueur. La seconde est moins connue. En 2023, une équipe de l’Université de Washington a comparé combien de jetons 22 langues ont besoin pour dire la même chose avec les modèles d’OpenAI, et a trouvé une variation importante : beaucoup de langues ont besoin de nettement plus de jetons que l’anglais pour le même contenu, de sorte que leurs locuteurs paient plus et obtiennent souvent de moins bons résultats. Si votre entreprise sert ses clients en allemand, en français, en italien et en espagnol, le même assistant vous coûte un montant différent dans chaque langue. Nous le verrons en chiffres dans la note sur les coûts.

La seule chose qu’il fait : le jeton suivant.

Voici le secret, et il est d’une simplicité décevante. Pendant la première phase de sa construction, le préentraînement, le modèle reçoit une quantité énorme de texte et on ne lui demande qu’une chose, des milliers de milliards de fois : étant donné cette séquence de jetons, quel est le suivant ? Il se trompe, il se corrige, il se trompe moins. Rien d’autre. Il n’y a pas de base de données de faits, pas de règles de grammaire écrites, pas de liste de bonnes réponses.

Ce qui surprend, c’est ce qu’il faut pour bien prédire. Pour compléter « la capitale de la Suisse est », il faut avoir absorbé de la géographie. Pour compléter un contrat, il faut avoir absorbé la manière dont on les rédige. Pour compléter une partie d’échecs annotée, il faut avoir absorbé les échecs. Prédire le jeton suivant, à une échelle suffisante, oblige à comprimer dans le modèle une très grande partie de ce que l’humanité a écrit. C’est pour cela qu’il semble savoir. Et, dans un sens utile, il sait.

Après le préentraînement vient une seconde phase, l’ajustement. On lui apprend, par l’exemple, à se comporter comme un assistant, et on le corrige avec des évaluations humaines : des personnes comparent deux réponses et indiquent celle qu’elles préfèrent, et le modèle apprend à produire davantage de réponses préférées. Cette phase est celle qui transforme un prédicteur de texte en quelque chose avec quoi on peut converser. Et c’est aussi, comme vous le verrez dans un instant, celle qui lui apprend quelques mauvaises habitudes.

Pensez au jeu de complétion de phrases des enfants. Si la phrase est « le chat est monté sur le », presque tout le monde dit « toit ». Non parce qu’il y a un chat ou un toit, mais parce que c’est ce qui suit d’habitude. Un modèle de langage, c’est ce jeu porté à une échelle où les phrases incluent la jurisprudence suisse, les manuels de cardiologie et les courriels de réclamation. Il produit ce qui suit d’habitude. Gardez cette phrase : c’est la clé de tout le reste.

Sa mémoire de travail a une taille.

La deuxième chose à comprendre est ce que voit le modèle quand il répond. Il ne voit pas votre entreprise, ni la conversation d’hier, ni les fichiers de votre serveur. Il voit exactement ce qu’il y a dans ce qu’on appelle la fenêtre de contexte : votre question, les instructions données par celui qui l’a configuré, les documents que quelqu’un a collés, les tours précédents de cette conversation et, au fur et à mesure qu’il l’écrit, sa propre réponse. Tout le reste, pour le modèle, n’existe pas.

Cette fenêtre est grande, mais elle a une limite. Selon la documentation d’Anthropic, les modèles Claude actuels acceptent jusqu’à un million de jetons, ce qui fait beaucoup de texte. La même documentation avertit de quelque chose que presque personne ne dit dans une démonstration : à mesure que la fenêtre se remplit, la précision et la capacité de se souvenir se dégradent. Plus de contexte n’est pas automatiquement mieux. En 2023, une équipe de Stanford l’a mesuré en détail dans un travail intitulé « Lost in the Middle » : les modèles exploitent mieux l’information qui se trouve au début ou à la fin de ce qu’ils lisent, et moins bien celle qui reste au milieu, même ceux conçus pour les textes longs.

L’image que j’utilise est celle du bureau face aux archives de la cave. Le modèle ne travaille qu’avec ce qui est sur le bureau. Ce qu’il a appris à l’entraînement est une sorte de culture générale très large, mais vos contrats, vos tarifs, votre politique d’annulation et le nom de votre client de Lugano sont à la cave. Si personne ne les monte sur le bureau, le modèle répondra avec de la culture générale. Et la culture générale, sur une politique d’annulation, est une invention polie. La technique pour monter les bons documents sur le bureau à chaque question existe, elle s’appelle la récupération, et je lui consacre la note sur les agents.

Pourquoi il invente des choses.

Revenons au directeur financier. Pourquoi l’assistant lui a-t-il donné un article qui n’existe pas, au lieu de dire « je ne sais pas » ? Pendant des années, la réponse a été un haussement d’épaules. En septembre 2025, quatre chercheurs, dont trois d’OpenAI, ont publié un travail au titre sans détour, « Why Language Models Hallucinate », et une explication que n’importe quel candidat à un concours comprend du premier coup.

Leur thèse est que les modèles inventent parce que la manière de les entraîner et de les évaluer récompense le fait de deviner plutôt que d’admettre le doute. Presque tous les tests avec lesquels on mesure les modèles notent comme un examen à choix multiple : la bonne réponse rapporte, la mauvaise et le « je ne sais pas » valent la même chose, zéro. Un système optimisé pour avoir une bonne note à ces examens apprend ce qu’apprend tout candidat rationnel : ne jamais laisser une question en blanc. Les auteurs le disent dans une phrase à retenir : les modèles sont « optimisés pour être de bons candidats aux examens ». Et ils proposent la solution évidente, que les tests pénalisent l’erreur assurée plus que l’abstention, pour que dire « je ne sais pas » redevienne payant.

Observez ce que cela implique pour vous. Les inventions, que le secteur appelle hallucinations, ne sont pas un défaut qui disparaîtra avec la prochaine version. Elles sont une conséquence de la manière dont le produit est fabriqué, et elles se réduisent par la conception : en lui donnant les bons documents, en lui permettant de s’abstenir, en vérifiant ce qu’il dit. Un assistant qui ne répond jamais « je ne sais pas » n’est pas plus intelligent. Il est moins bien configuré.

Le cas que j’ai annoncé au début est Mata contre Avianca. En 2023, deux avocats de New York ont déposé devant un tribunal fédéral un mémoire citant plusieurs décisions qui soutenaient leur position. L’un d’eux les avait cherchées avec ChatGPT. Aucune n’existait : noms d’affaires, numéros de dossier et citations entre guillemets, tout fabriqué avec la même aisance que le vrai. Le 22 juin 2023, le juge P. Kevin Castel les a sanctionnés de 5000 dollars. Non pour avoir utilisé l’outil, mais pour ne pas avoir vérifié. C’est toute la leçon en une phrase : la responsabilité ne se délègue pas au modèle. Elle reste à qui signe.

La même question, deux réponses.

Il y a un détail qui déconcerte beaucoup de gens la première fois : vous posez la même question deux fois et recevez deux réponses différentes. Ce n’est pas une erreur. Quand le modèle choisit le jeton suivant, il ne prend pas toujours le plus probable ; un paramètre appelé température règle à quel point il peut explorer des options moins probables, ce qui lui donne de la variété et, dans les textes créatifs, de la grâce. Avec la température au minimum, les réponses se ressemblent beaucoup plus, mais la documentation d’Anthropic elle-même avertit que même ainsi elles ne sont pas tout à fait identiques d’un appel à l’autre.

Pour une entreprise, cela a une conséquence pratique qu’on néglige souvent au moment d’acheter : on ne peut pas évaluer un système d’IA avec une démonstration. Un plat réussi un jour ne dit rien du restaurant. Il faut lui poser les mêmes cinquante questions de nombreuses fois, compter combien il en réussit et regarder comment il échoue quand il échoue. Cette liste de questions avec leurs bonnes réponses, je l’appelle le jeu de référence d’une entreprise, et c’est la pièce la plus précieuse de tout projet. J’y reviendrai dans la note sur l’intégration.

Il vous dit ce que vous voulez entendre.

Reste une mauvaise habitude, et c’est la plus dangereuse pour qui dirige. En octobre 2023, Anthropic a publié une étude sur ce qu’elle a appelé la flagornerie : la tendance des assistants à dire ce que l’utilisateur veut entendre plutôt que ce qui est vrai. Ils ont testé cinq assistants de premier plan sur quatre types de tâches, et les cinq l’ont montrée. L’explication est dans la phase d’ajustement que j’ai décrite plus haut. Quand des personnes comparent des réponses, elles préfèrent plus souvent celles qui coïncident avec leur opinion, et choisissent parfois une réponse flatteuse bien écrite plutôt qu’une réponse correcte. Le modèle apprend exactement cela.

Traduit dans votre bureau : si vous demandez à l’assistant si votre plan est bon, il dira oui avec des arguments élégants. Si vous lui demandez s’il est mauvais, aussi. Un modèle de langage est un très mauvais conseiller quand on lui demande une confirmation et un conseiller raisonnable quand on lui demande le contraire. Demandez-lui toujours l’argument contre. Et ne lui confiez jamais une décision qui dépend de ce qu’il vous contredise, car il a été entraîné à ne pas le faire.

Ce que cela change dans votre entreprise.

Cinq mots, cinq conséquences. Je les résume en une liste de principes, parce que c’est ainsi que je les utilise dans les projets.

  • Jamais de mémoire. Un système qui répond à des clients ou à des employés doit lire vos documents approuvés à chaque question et ne répondre qu’avec eux. Ce qui est à la cave ne compte pas.
  • Permission de ne pas savoir. Le système doit être configuré pour dire qu’il n’a pas l’information et passer la main à une personne. Un assistant qui répond toujours est une fabrique d’articles qui n’existent pas.
  • Vérification proportionnelle au risque. Une réponse sur les horaires n’a pas besoin de relecture. Une réponse sur un délai légal, un prix ou un diagnostic, si, et par quelqu’un qui a un nom.
  • Mesurer, pas regarder. Cinquante questions à réponse connue, répétées, avant de signer et chaque fois que le fournisseur change de version.
  • Le contraire par principe. Là où le modèle aide à décider, on lui demande toujours l’argument contre, et une personne qui peut dire non le lit.
  • Qui signe répond. L’outil n’a pas de responsabilité. Votre entreprise, si, pour chaque réponse qu’il donne en votre nom.
  1. Aujourd’hui, 20 minutes

    Faites le test des cinq données

    Demandez à n’importe quel assistant cinq données concrètes de votre entreprise : un tarif, un délai, un nom, une adresse, une condition. Comptez combien il en invente avec assurance.

  2. Aujourd’hui, 5 minutes de plus

    Demandez la source

    À chaque réponse, demandez d’où il la tient. Observez que la source peut aussi être fausse, et avec quel naturel.

  3. Cette semaine

    Répétez une question trois fois

    La même, dans trois nouvelles conversations. Comparez. Ce qui varie est ce dont vous ne pourrez jamais être sûr sans vérification.

  4. Avant de décider quoi que ce soit

    Demandez l’argument contre

    Pour votre prochaine décision importante. Non pour lui obéir, mais pour voir ce qu’il omet.

Comment je l’aborde.

Dans les automatisations que je construis, le modèle ne répond jamais de mémoire. Il lit les documents que la direction a approuvés, cite d’où il tire chaque donnée et, s’il ne la trouve pas, le dit et prévient une personne. Les cinquante questions de référence s’écrivent avant la première ligne de code et sont rejouées chaque fois que quelque chose change. Ce n’est pas de la méfiance envers l’outil. C’est savoir ce qu’il est.

Un test pour aujourd’hui, avec n’importe quel assistant utilisé dans votre entreprise. Posez-lui une question dont vous connaissez très bien la réponse, sur votre secteur, votre ville ou votre propre activité, et demandez-lui de citer la source de chaque donnée. Posez-lui ensuite la même question, dans une nouvelle conversation.

Comparez les deux réponses. Si elles coïncident, demandez-vous si c’est parce qu’elles sont vraies ou parce qu’elles sont probables. Si elles ne coïncident pas, demandez-vous combien de fois votre équipe a recopié la première sans jamais demander la seconde.

Note suivante : IA, automatisation et logiciel sont trois choses différentes qui se vendent ensemble. Comment les distinguer en une réunion de trente minutes, et pourquoi le mot « agent » est devenu le plus usé du catalogue.