Ce que personne ne met dans la présentation.

Série « Comprendre l’IA », note 11 sur 12. Les dix premières ont raconté comment fonctionne la technologie, comment on l’intègre, ce qu’elle coûte, pourquoi elle échoue, ce qu’exige la loi et comment on la protège. Celle-ci rassemble ce qui reste en dehors de toutes ces conversations.

Samedi, 10 h, le salon de la directrice des opérations d’une entreprise d’ingénierie à Nyon. Cela fait onze mois que le système d’IA qui lit et classe les demandes des clients est en production. Il a fonctionné. Les chiffres du premier trimestre étaient ceux de l’offre. Depuis, personne ne les a regardés à nouveau, parce qu’il n’y a pas eu de plaintes. Ce matin, avec un café, elle ouvre par curiosité le journal et découvre que, depuis une nuit de juin, le système classe comme « demande générale » un tiers de ce qu’il classait avant comme « urgent ». Personne n’a rien changé. C’est ce qu’ils croient.

La scène est imaginaire. La dégradation silencieuse, non, et c’est le premier des dix angles morts de cette note. Je les ai réunis parce que ce sont les choses que, dans les réunions, on considère comme des détails sans importance, et parce que dans les projets elles sont presque toujours ce qui décide du résultat au bout d’un an. Chacun porte sa source, le symptôme auquel on le reconnaît et ce que je fais à son sujet. Je commence par un texte de 1983 que devrait lire quiconque s’apprête à automatiser quelque chose.

Automatiser n’élimine pas le travail humain. Cela l’échange contre un autre, plus difficile, moins fréquent et moins bien payé : surveiller.

1. Les ironies de l’automatisation, 1983.

En 1983, la psychologue Lisanne Bainbridge a publié dans la revue Automatica un article de six pages intitulé « Ironies of Automation », sur les salles de contrôle de l’industrie. Elle y décrivait deux ironies qui se lisent aujourd’hui comme si elles parlaient d’IA. La première : celui qui conçoit un système automatique considère généralement l’opérateur humain comme une source d’erreurs, et l’écarte pour cette raison ; mais il lui laisse précisément les tâches qu’il n’a pas su automatiser, qui sont les plus difficiles. La seconde : une personne qui ne fait que surveiller un système qui fonctionne presque toujours perd la pratique, s’ennuie, cesse de faire attention, et c’est justement cette personne désentraînée qui doit intervenir quand le système échoue, au pire moment et sans contexte.

Traduisez cela pour le système de Nyon. L’équipe qui lisait auparavant toutes les demandes ne voit plus que les 15 % que le système ne sait pas classer : les cas rares, les ambigus, ceux qui exigent du jugement. C’est plus difficile qu’avant, pas plus facile, et cela se fait avec moins de pratique, parce que les cas faciles, ceux qui apprenaient, ne passent plus entre leurs mains. Au bout d’un an, la nouvelle personne de l’équipe n’a jamais vu un cas facile. Remède : faire passer, chaque semaine, quelqu’un de l’équipe par un échantillon des cas que le système résout seul, et traiter le contrôle comme un poste avec sa propre formation, pas comme ce qui reste.

2. La dégradation silencieuse.

Un système d’IA ne tombe pas en panne : il dérive. Le fournisseur publie une nouvelle version du modèle, un document de l’archive change, le type de demandes qui arrivent se déplace avec la saison, et le système continue de répondre avec la même assurance et une autre qualité. Personne ne se plaint parce que les erreurs de classement ne produisent pas de plaintes ; elles produisent des retards que l’on attribue à autre chose. Anthropic documente qu’il retire des versions de ses modèles avec au moins soixante jours de préavis, et que les nouvelles ne se comportent pas comme les anciennes. Symptôme : personne ne sait dire quand les cinquante cas de référence ont été passés pour la dernière fois. Remède : les passer chaque mois et à chaque avis du fournisseur, et mettre le chiffre dans le rapport mensuel de la direction, à côté de celui des ventes.

3. La même question, deux réponses.

Je l’ai raconté dans la note 2 et je le répète parce que c’est l’angle mort qui sauve le plus de démonstrations et coule le plus de productions : un modèle de langage ne répond pas toujours de la même façon à la même entrée, même avec la température au minimum ; la documentation d’Anthropic elle-même en avertit, et dans ses modèles les plus récents le paramètre de température n’est même plus admis. Un processus qui a besoin que la sortie soit exactement la même chaque fois, un calcul, une validation, un format juridique, ne se fait pas avec un modèle : il se fait avec du logiciel, et le modèle s’utilise avant, pour ordonner l’entrée. Symptôme : une démonstration avec trois exemples. Remède : cinquante cas, chacun passé trois fois, et une règle sur la variation acceptable à chaque étape.

4. Le milieu du document.

En juillet 2023, des chercheurs de Stanford et de Berkeley ont mesuré avec précision quelque chose que devine quiconque a utilisé un assistant : quand on donne à un modèle beaucoup de documents, il utilise mieux l’information qui se trouve au début et à la fin, et moins bien celle qui reste au milieu, même dans les modèles conçus pour les textes longs. Le travail s’intitule « Lost in the Middle » et sa conséquence pratique est qu’un système qui colle vingt contrats dans une seule question répond, avec assurance, à partir du premier et du dernier. Symptôme : le fournisseur se vante que le modèle « lit toute votre archive d’un coup ». Remède : une récupération avec peu de documents bien choisis par question, et un cas de référence qui cache la bonne donnée à la page 14.

5. La langue coûte.

Une étude de l’Université de Washington de 2023 a comparé combien de jetons différentes langues ont besoin pour dire la même chose, et a trouvé que beaucoup en ont besoin de nettement plus que l’anglais. Pour une entreprise suisse ou espagnole, cela veut dire que le même processus coûte plus cher en français, en allemand ou en italien qu’en anglais, et que, comme le modèle a vu moins de texte dans ces langues, il se trompe un peu plus. Et il y a une couche plus fine : le français de Suisse, avec ses septante et ses nonante, l’allemand écrit de Suisse avec ses « ss » à la place du « ß » et ses chiffres avec apostrophe, et l’espagnol d’un client de Buenos Aires, ne sont pas le français, l’allemand ni l’espagnol des manuels. Symptôme : les cinquante cas sont tous dans la même langue. Remède : des cas de référence dans chaque langue où l’entreprise répond, dans la proportion réelle, et le coût par cas mesuré par langue.

6. Elle vous donne raison.

L’étude d’Anthropic d’octobre 2023 sur la flagornerie, que j’ai citée dans la note 2, a montré que les cinq assistants de premier plan qu’elle a testés tendaient à dire à l’utilisateur ce qu’il voulait entendre, parce que c’est ainsi qu’on les entraîne. Dans une entreprise, cela prend une forme concrète et dangereuse : la personne qui utilise l’assistant pour « valider » une décision déjà prise, et le trouve toujours d’accord. Un rapport de risques rédigé avec l’IA par quelqu’un qui avait déjà décidé que le risque était faible sortira bien écrit et dira que le risque est faible. Symptôme : les analyses qui arrivent au comité ne contredisent jamais celui qui les signe. Remède : la règle de l’argument contraire, par écrit : toute analyse faite avec l’IA inclut une section où l’on a demandé au modèle de la réfuter.

7. Les données qui n’étaient pas bonnes avant.

Les 3 % de la Harvard Business Review que j’ai cités dans la note 6 datent de 2017, et la plupart des entreprises n’ont pas nettoyé leurs données depuis ; elles en ont ajouté. Un modèle de langage est la façon la plus efficace jamais conçue de transformer une mauvaise donnée en un texte convaincant. L’angle mort n’est pas la qualité des données, que tout le monde admet ; c’est de croire que l’IA l’améliore. Symptôme : « le système apprendra avec l’usage ». Un système avec récupération n’apprend rien : il lit ce qu’il y a. Remède : un responsable nommé pour chaque document de l’archive, et une date d’expiration sur chacun.

8. Ce que votre équipe colle déjà ailleurs.

L’enquête de Microsoft et LinkedIn de 2024 que j’ai citée dans les notes 4 et 6 l’a mis en chiffres : trois travailleurs du savoir sur quatre utilisaient l’IA, et 78 % avec leurs propres outils. L’angle mort, c’est de penser que la politique de l’entreprise sur l’IA est celle qui est écrite. La politique réelle, c’est ce que les gens font à 19 h avec le rapport à rendre demain. Symptôme : l’entreprise « n’utilise pas l’IA » et les textes des courriels se sont mystérieusement améliorés. Remède : un outil officiel avec les données protégées, une règle courte sur ce qu’on ne colle jamais et une amnistie : que dire ce qu’on utilise n’ait aucun coût.

9. Qui peut l’éteindre, et ce qui se passe alors.

Quand un système automatique fonctionne depuis un an, l’organisation s’y adapte : l’équipe qui faisait le travail est plus petite, la connaissance du processus vit dans l’archive du système et personne ne se souvient comment on faisait à la main. Si le fournisseur augmente le prix, retire le modèle ou ferme, le coût du changement est bien plus élevé que celui de la licence. C’est le poste 7 de la note 7, celui qui ne se négocie presque jamais. Symptôme : personne ne sait répondre à « que ferions-nous lundi si cela cessait de fonctionner ? ». Remède : une procédure manuelle écrite et testée une fois par an, des connexions sur des standards ouverts et la propriété des cinquante cas, des documents et des journaux toujours entre les mains de l’entreprise, dans un format que n’importe qui peut lire.

10. Le coût de l’attention.

Le dernier angle mort est celui qui relie tous les autres. Chacune des neuf choses précédentes exige une personne qui regarde : qui passe les cas, lit le journal, passe par l’échantillon, demande l’argument contraire, met à jour l’archive. Cette attention est un coût petit, continu et sans éclat, et c’est ce qui sépare les 5 % de projets avec retour des 95 % sans. Quand on le coupe, il ne se passe rien pendant des mois. Puis il se passe une nuit de juin. Symptôme : le système a un responsable technique et aucune heure réservée dans l’agenda de personne. Remède : deux heures par semaine, avec un nom, dans l’agenda de quelqu’un du métier, avec une liste de cinq vérifications. C’est l’assurance la moins chère que je connaisse.

1. Cette semaine, 30 minutes

   Ouvrez le journal

   Du système qui est en production depuis le plus longtemps. Comparez la distribution de ce mois avec celle du premier mois. Ce qui a changé sans que personne ne l’ait décidé est votre angle mort numéro deux.

2. Cette semaine

   Demandez quand les cas de référence ont été passés

   Si la réponse est une date d’il y a plus d’un mois, ou un silence, passez-les cette semaine.

3. Ce mois-ci

   Faites l’exercice du lundi

   Ce que ferait l’entreprise si le système ne démarrait pas. Écrivez-le sur une page. Si cela ne tient pas sur une page, il y a trop de dépendance.

4. Ce mois-ci

   Mettez deux heures avec un nom dans un agenda

   Du métier, pas de l’informatique. Avec les cinq vérifications écrites. Et regardez-le vous-même une fois par trimestre.

Comment je l’aborde.

Chaque système que je livre est accompagné d’un carnet de veille : les cinq vérifications hebdomadaires, le calendrier des cas de référence, la liste des documents avec responsable et date, la procédure manuelle du lundi et la règle de l’argument contraire. C’est un document de quatre pages et c’est la partie du projet qui conserve le plus de valeur au bout d’un an. Je l’écris parce que Bainbridge avait raison en 1983 et l’a toujours : automatiser n’enlève pas de travail humain ; cela l’échange contre de la surveillance, et la surveillance, il faut la concevoir.

Parmi les dix angles morts, lequel vous a le plus gêné à la lecture ? Ce n’est peut-être pas un hasard. Écrivez-le sur un papier et laissez-le en vue pendant une semaine.

Et une question pour vendredi : si demain votre système d’IA cessait de fonctionner toute une journée, quelqu’un dans votre entreprise saurait-il faire ce travail à la main ? Et depuis combien de temps personne ne le fait plus ?

Dernière note, la suivante : l’IA pour ceux qui dirigent. Ce que doit savoir, décider et ne pas déléguer celui qui mène une entreprise, avec les sept questions pour le comité, le cadre de référence qu’utilisent les régulateurs et un agenda pour les douze prochains mois.