Was niemand in die Präsentation schreibt.

Reihe «KI verstehen», Notiz 11 von 12. Die ersten zehn haben erzählt, wie die Technologie funktioniert, wie man sie integriert, was sie kostet, warum sie scheitert, was das Recht verlangt und wie man sie schützt. Diese sammelt, was aus all diesen Gesprächen herausfällt.

Samstag, 10 Uhr, das Wohnzimmer der Betriebsleiterin eines Ingenieurbüros in Schaffhausen. Seit elf Monaten ist das KI-System in Produktion, das die Anfragen der Kundschaft liest und klassifiziert. Es hat funktioniert. Die Zahlen des ersten Quartals waren die aus dem Angebot. Seither hat sie niemand mehr angeschaut, weil es keine Beschwerden gab. Heute Morgen öffnet sie beim Kaffee aus Neugier das Protokoll und stellt fest, dass das System seit einer Nacht im Juni ein Drittel dessen, was es früher als «dringend» klassifizierte, als «allgemeine Anfrage» einstuft. Niemand hat etwas geändert. Glauben sie zumindest.

Die Szene ist fiktiv. Die stille Verschlechterung nicht, und sie ist der erste der zehn blinden Flecken dieser Notiz. Ich habe sie gesammelt, weil es die Dinge sind, die in Sitzungen als unwichtige Details gelten, und weil sie in Projekten fast immer das sind, was nach einem Jahr das Ergebnis entscheidet. Jeder trägt seine Quelle, das Symptom, an dem man ihn erkennt, und das, was ich dagegen tue. Ich beginne mit einem Text von 1983, den jeder lesen sollte, der etwas automatisieren will.

Automatisieren beseitigt menschliche Arbeit nicht. Es tauscht sie gegen eine andere, schwierigere, seltenere und schlechter bezahlte: wachen.

1. Die Ironien der Automatisierung, 1983.

1983 veröffentlichte die Psychologin Lisanne Bainbridge in der Zeitschrift Automatica einen sechsseitigen Artikel mit dem Titel «Ironies of Automation» über die Leitwarten der Industrie. Sie beschrieb zwei Ironien, die sich heute lesen, als sprächen sie von KI. Die erste: Wer ein automatisches System entwirft, hält den menschlichen Operateur meist für eine Fehlerquelle und schiebt ihn deshalb beiseite; überlässt ihm aber genau die Aufgaben, die er nicht automatisieren konnte, also die schwierigsten. Die zweite: Eine Person, die nur ein System überwacht, das fast immer funktioniert, verliert die Übung, langweilt sich, hört auf, aufzupassen, und genau diese ungeübte Person muss eingreifen, wenn das System versagt, im schlechtesten Moment und ohne Kontext.

Übersetzen Sie das auf das System in Schaffhausen. Das Team, das früher alle Anfragen las, sieht jetzt nur noch die 15 Prozent, die das System nicht klassifizieren kann: die seltenen Fälle, die mehrdeutigen, die, die Urteilsvermögen verlangen. Das ist schwieriger als vorher, nicht leichter, und es geschieht mit weniger Übung, weil die leichten Fälle, die, an denen man lernte, nicht mehr durch ihre Hände gehen. Nach einem Jahr hat die neue Person im Team nie einen leichten Fall gesehen. Abhilfe: jede Woche jemanden aus dem Team durch eine Stichprobe der Fälle rotieren lassen, die das System allein löst, und die Kontrolle als Stelle mit eigener Ausbildung behandeln, nicht als das, was übrig bleibt.

2. Die stille Verschlechterung.

Ein KI-System geht nicht kaputt: Es driftet. Der Anbieter veröffentlicht eine neue Version des Modells, ein Dokument im Archiv ändert sich, die Art der eingehenden Anfragen verschiebt sich mit der Saison, und das System antwortet weiter mit derselben Sicherheit und anderer Qualität. Niemand beschwert sich, weil Klassifizierungsfehler keine Beschwerden erzeugen; sie erzeugen Verzögerungen, die man etwas anderem zuschreibt. Anthropic dokumentiert, dass es Versionen seiner Modelle mit mindestens sechzig Tagen Vorankündigung zurückzieht und dass sich die neuen nicht gleich verhalten wie die alten. Symptom: Niemand kann sagen, wann die fünfzig goldenen Fälle zuletzt durchgelaufen sind. Abhilfe: sie jeden Monat und bei jeder Ankündigung des Anbieters durchlaufen lassen und die Zahl in den Monatsbericht der Geschäftsleitung setzen, neben die Verkaufszahl.

3. Dieselbe Frage, zwei Antworten.

Ich habe es in Notiz 2 erzählt und wiederhole es, weil es der blinde Fleck ist, der die meisten Vorführungen rettet und die meisten Produktionen versenkt: Ein Sprachmodell antwortet auf dieselbe Eingabe nicht immer gleich, nicht einmal mit der Temperatur auf dem Minimum; Anthropics eigene Dokumentation warnt davor, und bei seinen neuesten Modellen wird der Temperaturparameter gar nicht mehr akzeptiert. Ein Prozess, bei dem die Ausgabe jedes Mal genau gleich sein muss, eine Berechnung, eine Validierung, ein rechtliches Format, wird nicht mit einem Modell gemacht: Er wird mit Software gemacht, und das Modell wird davor eingesetzt, um die Eingabe zu ordnen. Symptom: eine Vorführung mit drei Beispielen. Abhilfe: fünfzig Fälle, jeder dreimal durchlaufen, und eine Regel dazu, welche Abweichung bei jedem Schritt annehmbar ist.

4. Die Mitte des Dokuments.

Im Juli 2023 massen Forschende aus Stanford und Berkeley genau, was jeder ahnt, der einen Assistenten benutzt hat: Wenn man einem Modell viele Dokumente gibt, nutzt es die Informationen am Anfang und am Ende besser und die in der Mitte schlechter, selbst bei Modellen, die für lange Texte entworfen sind. Die Arbeit trägt den Titel «Lost in the Middle», und ihre praktische Folge ist, dass ein System, das zwanzig Verträge in eine einzige Frage einfügt, mit Sicherheit aus dem ersten und dem letzten antwortet. Symptom: Der Anbieter rühmt sich, das Modell «lese Ihr ganzes Archiv auf einmal». Abhilfe: Retrieval mit wenigen, gut gewählten Dokumenten pro Frage, und ein goldener Fall, der die richtige Angabe auf Seite 14 versteckt.

5. Die Sprache kostet.

Eine Studie der University of Washington von 2023 verglich, wie viele Tokens verschiedene Sprachen brauchen, um dasselbe zu sagen, und fand, dass viele deutlich mehr brauchen als Englisch. Für ein Schweizer oder spanisches Unternehmen bedeutet das, dass derselbe Prozess auf Deutsch, Französisch oder Italienisch mehr kostet als auf Englisch, und dass das Modell, weil es weniger Text in diesen Sprachen gesehen hat, etwas weniger richtig trifft. Und es gibt eine feinere Schicht: Das Schweizer Schriftdeutsch mit seinen eigenen Formen, seinem Doppel-s statt des scharfen S und seinen Zahlen mit Apostroph, und das Spanisch einer Kundin aus Buenos Aires sind nicht das Deutsch und das Spanisch der Lehrbücher. Symptom: Die fünfzig Fälle sind alle in derselben Sprache. Abhilfe: goldene Fälle in jeder Sprache, in der das Unternehmen bedient, im tatsächlichen Verhältnis, und die Kosten pro Fall nach Sprache gemessen.

6. Sie gibt Ihnen recht.

Die Studie von Anthropic vom Oktober 2023 über Schmeichelei, die ich in Notiz 2 zitiert habe, zeigte, dass die fünf führenden Assistenten, die sie prüfte, dazu neigten, den Nutzenden zu sagen, was sie hören wollten, weil sie so trainiert werden. In einem Unternehmen hat das eine konkrete und gefährliche Form: die Person, die den Assistenten benutzt, um eine schon getroffene Entscheidung zu «bestätigen», und ihn immer einverstanden findet. Ein Risikobericht, mit KI verfasst von jemandem, der schon entschieden hatte, dass das Risiko gering ist, wird gut geschrieben sein und sagen, dass das Risiko gering ist. Symptom: Die Analysen, die im Ausschuss ankommen, widersprechen nie dem, der sie unterschreibt. Abhilfe: die Regel des Gegenarguments, schriftlich: Jede Analyse mit KI enthält einen Abschnitt, in dem das Modell gebeten wurde, sie zu widerlegen.

7. Die Daten, die vorher schon nicht in Ordnung waren.

Die 3 Prozent der Harvard Business Review, die ich in Notiz 6 zitiert habe, stammen von 2017, und die meisten Unternehmen haben ihre Daten seither nicht bereinigt; sie haben mehr hinzugefügt. Ein Sprachmodell ist die wirksamste je entwickelte Art, ein schlechtes Datum in einen überzeugenden Text zu verwandeln. Der blinde Fleck ist nicht die Datenqualität, die alle einräumen; es ist der Glaube, die KI verbessere sie. Symptom: «Das System lernt mit der Nutzung.» Ein System mit Retrieval lernt nichts: Es liest, was da ist. Abhilfe: eine namentlich verantwortliche Person für jedes Dokument im Archiv und ein Ablaufdatum auf jedem.

8. Was Ihr Team schon anderswo einfügt.

Die Umfrage von Microsoft und LinkedIn von 2024, die ich in den Notizen 4 und 6 zitiert habe, hat es in Zahlen gefasst: Drei von vier Wissensarbeitenden nutzten KI, und 78 Prozent mit eigenen Werkzeugen. Der blinde Fleck ist zu glauben, die KI-Richtlinie des Unternehmens sei die, die geschrieben steht. Die wirkliche Richtlinie ist das, was die Leute um 19 Uhr mit dem Bericht tun, der morgen abgegeben werden muss. Symptom: Das Unternehmen «nutzt keine KI», und die Texte der E-Mails sind auf rätselhafte Weise besser geworden. Abhilfe: ein offizielles Werkzeug mit geschützten Daten, eine kurze Regel dazu, was nie eingefügt wird, und eine Amnestie: dass es nichts kostet, zu erzählen, was man nutzt.

9. Wer es abschalten kann, und was dann geschieht.

Wenn ein automatisches System ein Jahr lang läuft, passt sich die Organisation ihm an: Das Team, das die Arbeit machte, ist kleiner, das Wissen über den Prozess lebt im Archiv des Systems, und niemand erinnert sich, wie es von Hand ging. Wenn der Anbieter den Preis erhöht, das Modell zurückzieht oder schliesst, sind die Wechselkosten viel höher als die Lizenz. Es ist Posten 7 aus Notiz 7, der fast nie verhandelt wird. Symptom: Niemand kann die Frage «Was würden wir am Montag tun, wenn das nicht mehr funktionierte?» beantworten. Abhilfe: ein schriftliches, einmal jährlich geprobtes manuelles Verfahren, Verbindungen über offene Standards und das Eigentum an den fünfzig Fällen, den Dokumenten und den Protokollen immer in den Händen des Unternehmens, in einem Format, das jeder lesen kann.

10. Die Kosten der Aufmerksamkeit.

Der letzte blinde Fleck ist der, der alle anderen verbindet. Jedes der neun vorigen Dinge verlangt eine Person, die hinschaut: die die Fälle durchlaufen lässt, das Protokoll liest, durch die Stichprobe rotiert, das Gegenargument verlangt, das Archiv aktualisiert. Diese Aufmerksamkeit ist ein kleiner, dauernder, unglamouröser Kostenpunkt, und sie ist es, was die 5 Prozent der Projekte mit Ertrag von den 95 Prozent ohne trennt. Wenn man sie kürzt, geschieht monatelang nichts. Dann geschieht eine Nacht im Juni. Symptom: Das System hat eine technische Leitung und keine reservierte Stunde in irgendjemandes Agenda. Abhilfe: zwei Stunden pro Woche, mit Namen, in der Agenda von jemandem aus dem Geschäft, mit einer Liste von fünf Prüfungen. Es ist die günstigste Versicherung, die ich kenne.

1. Diese Woche, 30 Minuten

   Öffnen Sie das Protokoll

   Des Systems, das am längsten in Produktion ist. Vergleichen Sie die Verteilung dieses Monats mit der des ersten Monats. Was sich geändert hat, ohne dass es jemand entschieden hätte, ist Ihr blinder Fleck Nummer zwei.

2. Diese Woche

   Fragen Sie, wann die goldenen Fälle durchgelaufen sind

   Wenn die Antwort ein Datum ist, das mehr als einen Monat zurückliegt, oder Schweigen, lassen Sie sie diese Woche durchlaufen.

3. Diesen Monat

   Machen Sie die Montagsübung

   Was das Unternehmen täte, wenn das System nicht anliefe. Schreiben Sie es auf eine Seite. Wenn es nicht auf eine Seite passt, ist die Abhängigkeit zu gross.

4. Diesen Monat

   Setzen Sie zwei Stunden mit Namen in eine Agenda

   Aus dem Geschäft, nicht aus der Informatik. Mit den fünf Prüfungen schriftlich. Und schauen Sie selbst einmal im Quartal hin.

Wie ich es angehe.

Jedes System, das ich liefere, kommt mit einem Wachbuch: die fünf wöchentlichen Prüfungen, der Kalender der goldenen Fälle, die Liste der Dokumente mit Verantwortlichen und Datum, das manuelle Montagsverfahren und die Regel des Gegenarguments. Es ist ein vierseitiges Dokument und der Teil des Projekts, der nach einem Jahr am meisten Wert behält. Ich schreibe es, weil Bainbridge 1983 recht hatte und es noch immer hat: Automatisieren nimmt keine menschliche Arbeit weg; es tauscht sie gegen Wachen, und das Wachen muss man entwerfen.

Welcher der zehn blinden Flecken war Ihnen beim Lesen am unangenehmsten? Vielleicht ist das kein Zufall. Schreiben Sie ihn auf einen Zettel und lassen Sie ihn eine Woche lang sichtbar liegen.

Und eine Frage für Freitag: Wenn Ihr KI-System morgen einen ganzen Tag ausfiele, wüsste jemand in Ihrem Unternehmen, wie man diese Arbeit von Hand macht? Und wie lange ist es her, dass sie jemand von Hand gemacht hat?

Nächste und letzte Notiz: KI für die, die führen. Was wissen, was entscheiden und was nicht delegieren muss, wer ein Unternehmen leitet, mit den sieben Fragen für den Ausschuss, dem Referenzrahmen, den die Aufsichtsbehörden nutzen, und einer Agenda für die nächsten zwölf Monate.