Ciò che nessuno mette nella presentazione.

Serie «Capire l’IA», nota 11 di 12. Le prime dieci hanno raccontato come funziona la tecnologia, come si integra, quanto costa, perché fallisce, che cosa esige la legge e come si protegge. Questa raccoglie ciò che resta fuori da tutte quelle conversazioni.

Sabato, 10.00, il salotto di casa della direttrice operativa di un’azienda di ingegneria a Lugano. Sono undici mesi che il sistema di IA che legge e classifica le richieste dei clienti è in produzione. Ha funzionato. Le cifre del primo trimestre erano quelle dell’offerta. Da allora nessuno le ha più guardate, perché non ci sono state lamentele. Stamattina, con un caffè, apre per curiosità il registro e scopre che, da una notte di giugno, il sistema classifica come «richiesta generale» un terzo di ciò che prima classificava come «urgente». Nessuno ha cambiato nulla. O così credono.

La scena è immaginaria. Il degrado silenzioso no, ed è il primo dei dieci punti ciechi di questa nota. Li ho raccolti perché sono le cose che, nelle riunioni, si considerano dettagli senza importanza, e perché nei progetti sono quasi sempre ciò che decide il risultato dopo un anno. Ciascuno porta la sua fonte, il sintomo da cui si riconosce e ciò che faccio al riguardo. Comincio da un testo del 1983 che dovrebbe leggere chiunque stia per automatizzare qualcosa.

Automatizzare non elimina il lavoro umano. Lo scambia con un altro più difficile, meno frequente e peggio pagato: vigilare.

1. Le ironie dell’automazione, 1983.

Nel 1983 la psicologa Lisanne Bainbridge pubblicò sulla rivista Automatica un articolo di sei pagine intitolato «Ironies of Automation», sulle sale di controllo dell’industria. Descriveva due ironie che oggi si leggono come se parlassero di IA. La prima: chi progetta un sistema automatico di solito considera l’operatore umano una fonte di errori, e per questo lo mette da parte; ma lascia nelle sue mani proprio i compiti che non ha saputo automatizzare, che sono i più difficili. La seconda: una persona che si limita a sorvegliare un sistema che funziona quasi sempre perde la pratica, si annoia, smette di prestare attenzione, ed è proprio quella persona non allenata a dover intervenire quando il sistema fallisce, nel momento peggiore e senza contesto.

Traducetelo per il sistema di Lugano. La squadra che prima leggeva tutte le richieste ora vede solo il 15 % che il sistema non sa classificare: i casi rari, gli ambigui, quelli che esigono criterio. È più difficile di prima, non più facile, e si fa con meno pratica, perché i casi facili, quelli che insegnavano, non passano più dalle loro mani. Dopo un anno, la persona nuova della squadra non ha mai visto un caso facile. Rimedio: far ruotare, ogni settimana, qualcuno della squadra su un campione dei casi che il sistema risolve da solo, e trattare il controllo come un posto con una formazione propria, non come ciò che avanza.

2. Il degrado silenzioso.

Un sistema di IA non si rompe: devia. Il fornitore pubblica una nuova versione del modello, un documento dell’archivio cambia, il tipo di richieste in arrivo si sposta con la stagione, e il sistema continua a rispondere con la stessa sicurezza e un’altra qualità. Nessuno si lamenta perché gli errori di classificazione non producono lamentele; producono ritardi che si attribuiscono ad altro. Anthropic documenta che ritira versioni dei suoi modelli con almeno sessanta giorni di preavviso, e che le nuove non si comportano come le vecchie. Sintomo: nessuno sa dire quando sono stati fatti girare l’ultima volta i cinquanta casi d’oro. Rimedio: farli girare ogni mese e a ogni avviso del fornitore, e mettere la cifra nel rapporto mensile della direzione, accanto a quella delle vendite.

3. La stessa domanda, due risposte.

L’ho raccontato nella nota 2 e lo ripeto perché è il punto cieco che salva più dimostrazioni e affonda più produzioni: un modello linguistico non risponde sempre allo stesso modo allo stesso input, nemmeno con la temperatura al minimo; la stessa documentazione di Anthropic lo avverte, e nei suoi modelli più recenti il parametro della temperatura non è nemmeno più ammesso. Un processo che ha bisogno che l’output sia esattamente uguale ogni volta, un calcolo, una convalida, un formato legale, non si fa con un modello: si fa con il software, e il modello si usa prima, per ordinare l’input. Sintomo: una dimostrazione con tre esempi. Rimedio: cinquanta casi, ciascuno fatto girare tre volte, e una regola su quale variazione è accettabile in ogni passo.

4. Il mezzo del documento.

Nel luglio 2023 ricercatori di Stanford e di Berkeley hanno misurato con precisione qualcosa che chiunque abbia usato un assistente intuisce: quando a un modello si danno molti documenti, usa meglio le informazioni che stanno all’inizio e alla fine, e peggio quelle che restano in mezzo, anche nei modelli progettati per testi lunghi. Il lavoro si intitola «Lost in the Middle» e la sua conseguenza pratica è che un sistema che incolla venti contratti in una sola domanda risponde, con sicurezza, a partire dal primo e dall’ultimo. Sintomo: il fornitore si vanta che il modello «legge tutto il vostro archivio in un colpo». Rimedio: recupero con pochi documenti scelti bene per ogni domanda, e un caso d’oro che nasconda il dato giusto a pagina 14.

5. La lingua costa.

Uno studio dell’Università di Washington del 2023 ha confrontato quanti token servono a lingue diverse per dire la stessa cosa, e ha trovato che molte ne hanno bisogno di parecchi più dell’inglese. Per un’azienda svizzera o spagnola, questo significa che lo stesso processo costa di più in italiano, tedesco o francese che in inglese, e che, poiché il modello ha visto meno testo in quelle lingue, azzecca un po’ meno. E c’è uno strato più sottile: l’italiano della Svizzera, con i suoi termini propri, il tedesco scritto svizzero con la doppia s al posto della ß e le cifre con l’apostrofo, e lo spagnolo di un cliente di Buenos Aires, non sono l’italiano, il tedesco né lo spagnolo dei manuali. Sintomo: i cinquanta casi sono tutti nella stessa lingua. Rimedio: casi d’oro in ogni lingua in cui l’azienda risponde, nella proporzione reale, e il costo per caso misurato per lingua.

6. Vi dà ragione.

Lo studio di Anthropic dell’ottobre 2023 sull’adulazione, che ho citato nella nota 2, ha dimostrato che i cinque assistenti di prima linea che ha provato tendevano a dire all’utente ciò che voleva sentire, perché così vengono addestrati. In un’azienda questo ha una forma concreta e pericolosa: la persona che usa l’assistente per «convalidare» una decisione già presa, e lo trova sempre d’accordo. Un rapporto sui rischi scritto con l’IA da qualcuno che aveva già deciso che il rischio era basso uscirà ben scritto e dirà che il rischio è basso. Sintomo: le analisi che arrivano al comitato non contraddicono mai chi le firma. Rimedio: la regola dell’argomento contrario, per iscritto: ogni analisi con IA include una sezione in cui si è chiesto al modello di confutarla.

7. I dati che non erano a posto nemmeno prima.

Il 3 % della Harvard Business Review che ho citato nella nota 6 è del 2017, e la maggior parte delle aziende non ha pulito i propri dati da allora; ne ha aggiunti altri. Un modello linguistico è il modo più efficace mai concepito di trasformare un dato cattivo in un testo convincente. Il punto cieco non è la qualità dei dati, che tutti ammettono; è credere che l’IA la migliori. Sintomo: «il sistema imparerà con l’uso». Un sistema con recupero non impara nulla: legge ciò che c’è. Rimedio: un responsabile con nome per ogni documento dell’archivio, e una data di scadenza su ciascuno.

8. Ciò che la vostra squadra incolla già altrove.

L’indagine di Microsoft e LinkedIn del 2024 che ho citato nelle note 4 e 6 lo ha messo in cifre: tre lavoratori della conoscenza su quattro usavano l’IA, e il 78 % con strumenti propri. Il punto cieco è pensare che la politica dell’azienda sull’IA sia quella scritta. La politica reale è ciò che la gente fa alle sette di sera con il rapporto da consegnare domani. Sintomo: l’azienda «non usa l’IA» e i testi delle e-mail sono misteriosamente migliorati. Rimedio: uno strumento ufficiale con i dati protetti, una regola breve su ciò che non si incolla mai e un’amnistia: che raccontare ciò che si usa non abbia costo.

9. Chi può spegnerlo, e che cosa succede allora.

Quando un sistema automatico funziona da un anno, l’organizzazione gli si adatta: la squadra che faceva il lavoro è più piccola, la conoscenza del processo vive nell’archivio del sistema e nessuno ricorda come si faceva a mano. Se il fornitore alza il prezzo, ritira il modello o chiude, il costo del cambiamento è molto maggiore di quello della licenza. È la voce 7 della nota 7, quella che quasi mai si negozia. Sintomo: nessuno sa rispondere a «che cosa faremmo lunedì se questo smettesse di funzionare?». Rimedio: una procedura manuale scritta e provata una volta all’anno, collegamenti con standard aperti e la proprietà dei cinquanta casi, dei documenti e dei registri sempre nelle mani dell’azienda, in un formato che chiunque possa leggere.

10. Il costo dell’attenzione.

L’ultimo punto cieco è quello che unisce tutti gli altri. Ciascuna delle nove cose precedenti esige una persona che guardi: che faccia girare i casi, che legga il registro, che ruoti sul campione, che chieda l’argomento contrario, che aggiorni l’archivio. Quell’attenzione è un costo piccolo, continuo e senza fascino, ed è ciò che separa il 5 % di progetti con ritorno dal 95 % senza. Quando si taglia, non succede nulla per mesi. Poi succede una notte di giugno. Sintomo: il sistema ha un responsabile tecnico e nessuna ora riservata nell’agenda di nessuno. Rimedio: due ore alla settimana, con un nome, nell’agenda di qualcuno del business, con un elenco di cinque verifiche. È l’assicurazione più economica che conosco.

1. Questa settimana, 30 minuti

   Aprite il registro

   Del sistema che è in produzione da più tempo. Confrontate la distribuzione di questo mese con quella del primo mese. Ciò che è cambiato senza che nessuno lo decidesse è il vostro punto cieco numero due.

2. Questa settimana

   Chiedete quando sono stati fatti girare i casi d’oro

   Se la risposta è una data di più di un mese fa, o un silenzio, fateli girare questa settimana.

3. Questo mese

   Fate la simulazione del lunedì

   Che cosa farebbe l’azienda se il sistema non partisse. Scrivetelo in una pagina. Se non sta in una pagina, c’è troppa dipendenza.

4. Questo mese

   Mettete due ore con un nome in un’agenda

   Del business, non dell’informatica. Con le cinque verifiche scritte. E guardatelo voi stessi una volta al trimestre.

Come la imposto io.

Ogni sistema che consegno porta un quaderno di vigilanza: le cinque verifiche settimanali, il calendario dei casi d’oro, l’elenco dei documenti con responsabile e data, la procedura manuale del lunedì e la regola dell’argomento contrario. È un documento di quattro pagine ed è la parte del progetto che conserva più valore dopo un anno. Lo scrivo perché Bainbridge aveva ragione nel 1983 e continua ad averla: automatizzare non toglie lavoro umano; lo scambia con la vigilanza, e la vigilanza va progettata.

Dei dieci punti ciechi, quale L’ha messa più a disagio leggendolo? Forse non è un caso. Lo scriva su un foglio e lo lasci in vista per una settimana.

E una domanda per venerdì: se domani il Suo sistema di IA smettesse di funzionare per un giorno intero, qualcuno nella Sua azienda saprebbe fare quel lavoro a mano? E da quanto tempo nessuno lo fa più?

Prossima e ultima nota: l’IA per chi dirige. Che cosa deve sapere, che cosa deve decidere e che cosa non deve delegare chi guida un’azienda, con le sette domande per il comitato, il quadro di riferimento che usano le autorità e un’agenda per i prossimi dodici mesi.