Es denkt nicht. Es sagt voraus. Und das erklärt fast alles.

Reihe «KI verstehen», Notiz 2 von 12. Die erste erklärte, was künstliche Intelligenz ist. Diese erklärt, wie die Variante, die alle benutzen, im Innern arbeitet.

Donnerstag, 16.10 Uhr, ein Büro in Basel. Der Finanzchef einer Hotelgruppe bereitet eine Antwort für den Revisor vor. Er braucht die genaue Frist, die eine Vorschrift festlegt, fragt den KI-Assistenten, den das Unternehmen im Frühling abonniert hat, und erhält in drei Sekunden eine tadellose Antwort: die Frist, den Artikel, der sie festlegt, und einen in Anführungszeichen gesetzten Satz aus dem Gesetzestext. Kopieren, einfügen, senden.

Um 17.40 Uhr antwortet der Revisor mit einer einzigen Zeile: Das steht in diesem Artikel nicht. Um 17.55 Uhr, nachdem er nachgeschlagen hat, entdeckt der Finanzchef etwas Schlimmeres. Diesen Artikel gibt es nicht. Das Zitat, mit Anführungszeichen und Nummer, auch nicht. Der Assistent hat nicht gelogen, denn Lügen setzt voraus, die Wahrheit zu kennen. Er hat genau das getan, wofür er gebaut wurde: Er hat den wahrscheinlichsten Text erzeugt. Und ein Artikel mit plausibler Nummer und feierlichem Satz ist ein sehr wahrscheinlicher Text.

Die Szene ist fiktiv. Was sie auslöst, geschieht täglich und landete 2023 vor einem Gericht in New York, Busse inklusive. Ich erzähle es Ihnen weiter unten. Vorher möchte ich, dass Sie ohne eine einzige Formel verstehen, was in der Maschine passiert zwischen dem Moment, in dem Sie auf Senden drücken, und dem Moment, in dem die Antwort erscheint. Es sind fünf Wörter: Token, Vorhersage, Kontext, Halluzination und Temperatur. Mit ihnen verstehen Sie 90 Prozent dessen, was ein Anbieter Ihnen erklärt, und Sie erkennen 90 Prozent dessen, was er Ihnen nicht erklärt.

Ein Sprachmodell sucht nicht die richtige Antwort. Es sucht die wahrscheinlichste Fortsetzung. Fast immer fällt beides zusammen. Fast.

Zuerst die Tokens.

Ein Sprachmodell liest weder Buchstaben noch Wörter. Es liest Tokens. Bevor das Modell irgendetwas sieht, wird Ihr Text in Stücke zerlegt: manchmal ein ganzes Wort, manchmal ein halbes, manchmal ein Satzzeichen. Laut der Dokumentation von Anthropic entsprach bei den Claude-Modellen vor Version 4.7 ein Token etwa 3,5 englischen Zeichen; die neuesten zerlegen feiner und erzeugen für denselben Text rund 30 Prozent mehr Tokens. Denken Sie an die Teile eines Baukastens: Das Modell sieht nicht das Haus, es sieht die Teile, und es arbeitet Teil für Teil.

Das wirkt wie ein technisches Detail, hat aber zwei Folgen für Ihre Erfolgsrechnung. Erstens: Die Anbieter rechnen pro Token ab, für Eingabe und Ausgabe. Jedes Dokument, das das System liest, und jede Antwort, die es schreibt, hat einen Preis proportional zu seiner Länge. Die zweite Folge ist weniger bekannt. 2023 verglich ein Team der University of Washington, wie viele Tokens 22 Sprachen mit den Modellen von OpenAI brauchen, um dasselbe zu sagen, und fand grosse Unterschiede: Viele Sprachen brauchen für denselben Inhalt deutlich mehr Tokens als Englisch, ihre Sprecherinnen und Sprecher zahlen also mehr und erhalten oft schlechtere Ergebnisse. Wenn Ihr Unternehmen auf Deutsch, Französisch, Italienisch und Spanisch bedient, kostet Sie derselbe Assistent in jeder Sprache etwas anderes. In der Notiz über Kosten sehen wir das mit Zahlen.

Das Einzige, was es tut: das nächste Token.

Hier ist das Geheimnis, und es ist enttäuschend einfach. In der ersten Phase seiner Entstehung, dem Vortraining, erhält das Modell eine riesige Menge Text, und es wird Billionen Male nur eines gefragt: Gegeben diese Folge von Tokens, welches kommt als Nächstes? Es irrt sich, es korrigiert sich, es irrt sich seltener. Mehr nicht. Es gibt keine Datenbank mit Fakten, keine aufgeschriebenen Grammatikregeln, keine Liste richtiger Antworten.

Erstaunlich ist, was nötig ist, um gut vorherzusagen. Um «die Hauptstadt der Schweiz ist» zu vervollständigen, muss man Geografie aufgenommen haben. Um einen Vertrag zu vervollständigen, muss man aufgenommen haben, wie Verträge geschrieben werden. Um eine notierte Schachpartie zu vervollständigen, muss man Schach aufgenommen haben. Das nächste Token vorherzusagen, in ausreichendem Massstab, zwingt dazu, einen sehr grossen Teil dessen, was die Menschheit geschrieben hat, im Modell zu komprimieren. Darum scheint es zu wissen. Und in einem nützlichen Sinn weiss es.

Nach dem Vortraining kommt eine zweite Phase, die Feinabstimmung. Dem Modell wird anhand von Beispielen beigebracht, sich wie ein Assistent zu verhalten, und es wird mit menschlichen Bewertungen korrigiert: Personen vergleichen zwei Antworten und markieren, welche sie bevorzugen, und das Modell lernt, mehr von den bevorzugten zu erzeugen. Diese Phase macht aus einem Textvorhersager etwas, mit dem man sich unterhalten kann. Und sie ist auch, wie Sie gleich sehen werden, die Phase, die ihm einige schlechte Gewohnheiten beibringt.

Denken Sie an das Satzergänzungsspiel, das Kinder spielen. Lautet der Satz «die Katze kletterte aufs», sagt fast jeder «Dach». Nicht weil es eine Katze oder ein Dach gibt, sondern weil es das ist, was üblicherweise folgt. Ein Sprachmodell ist dieses Spiel in einem Massstab, in dem die Sätze die Schweizer Rechtsprechung, die Lehrbücher der Kardiologie und die Reklamationsmails einschliessen. Es erzeugt, was üblicherweise folgt. Behalten Sie diesen Satz: Er ist der Schlüssel zu allem Weiteren.

Sein Arbeitsgedächtnis hat eine Grösse.

Das Zweite, was man verstehen muss, ist, was das Modell sieht, wenn es antwortet. Es sieht nicht Ihr Unternehmen, nicht das Gespräch von gestern, nicht die Dateien auf Ihrem Server. Es sieht genau das, was im sogenannten Kontextfenster steht: Ihre Frage, die Anweisungen derjenigen, die es konfiguriert haben, die Dokumente, die jemand eingefügt hat, die bisherigen Runden dieses Gesprächs und, während es sie schreibt, seine eigene Antwort. Alles andere existiert für das Modell nicht.

Dieses Fenster ist gross, aber es hat eine Grenze. Laut der Dokumentation von Anthropic fassen die aktuellen Claude-Modelle bis zu einer Million Tokens, was sehr viel Text ist. Dieselbe Dokumentation warnt vor etwas, das in einer Vorführung fast nie erwähnt wird: Je voller das Fenster, desto mehr lassen Genauigkeit und Erinnerungsvermögen nach. Mehr Kontext ist nicht automatisch besser. 2023 hat ein Team aus Stanford das in einer Arbeit mit dem Titel «Lost in the Middle» genau gemessen: Modelle nutzen Informationen am Anfang oder am Ende dessen, was sie lesen, besser und das, was in der Mitte steht, schlechter, selbst wenn sie für lange Texte entworfen wurden.

Das Bild, das ich verwende, ist der Schreibtisch im Büro gegenüber dem Archiv im Keller. Das Modell arbeitet nur mit dem, was auf dem Schreibtisch liegt. Was es im Training gelernt hat, ist eine Art sehr breite Allgemeinbildung, aber Ihre Verträge, Ihre Tarife, Ihre Stornierungsbedingungen und der Name Ihrer Kundin in Lugano liegen im Keller. Wenn niemand sie auf den Schreibtisch holt, antwortet das Modell mit Allgemeinbildung. Und Allgemeinbildung ist, bei Stornierungsbedingungen, eine höfliche Erfindung. Die Technik, bei jeder Frage die richtigen Dokumente auf den Schreibtisch zu holen, gibt es; sie heisst Retrieval, und ich widme ihr die Notiz über Agenten.

Warum es Dinge erfindet.

Zurück zum Finanzchef. Warum hat ihm der Assistent einen Artikel genannt, den es nicht gibt, statt «ich weiss es nicht» zu sagen? Jahrelang war die Antwort ein Achselzucken. Im September 2025 veröffentlichten vier Forschende, drei davon von OpenAI, eine Arbeit mit einem Titel ohne Umschweife, «Why Language Models Hallucinate», und einer Erklärung, die jeder Prüfungskandidat sofort versteht.

Ihre These: Modelle erfinden Dinge, weil die Art, wie man sie trainiert und bewertet, das Raten höher belohnt als das Eingeständnis des Zweifels. Fast alle Tests, mit denen Modelle gemessen werden, bewerten wie eine Multiple-Choice-Prüfung: Die richtige Antwort zählt, die falsche und das «ich weiss es nicht» sind gleich viel wert, nämlich null. Ein System, das darauf optimiert ist, in diesen Prüfungen gut abzuschneiden, lernt, was jeder rationale Kandidat lernt: nie eine Frage leer lassen. Die Autoren sagen es in einem Satz, den man sich merken sollte: Die Modelle sind «darauf optimiert, gute Prüflinge zu sein». Und sie schlagen die naheliegende Lösung vor: dass die Tests den sicheren Fehler stärker bestrafen als die Enthaltung, damit sich «ich weiss es nicht» wieder lohnt.

Beachten Sie, was das für Sie bedeutet. Die Erfindungen, die die Branche Halluzinationen nennt, sind kein Fehler, der mit der nächsten Version verschwindet. Sie sind eine Folge davon, wie das Produkt hergestellt wird, und sie werden durch Gestaltung verringert: indem man ihm die richtigen Dokumente gibt, ihm erlaubt, sich zu enthalten, und prüft, was es sagt. Ein Assistent, der nie «ich weiss es nicht» antwortet, ist nicht klüger. Er ist schlechter konfiguriert.

Der Fall, den ich eingangs angekündigt habe, ist Mata gegen Avianca. 2023 reichten zwei New Yorker Anwälte bei einem Bundesgericht einen Schriftsatz mit mehreren Urteilen ein, die ihre Position stützten. Einer von ihnen hatte sie mit ChatGPT gesucht. Keines existierte: Fallnamen, Aktenzeichen und Zitate in Anführungszeichen, alles mit derselben Flüssigkeit erzeugt wie das Echte. Am 22. Juni 2023 verhängte Richter P. Kevin Castel eine Busse von 5000 Dollar. Nicht für die Nutzung des Werkzeugs, sondern für das Nichtprüfen. Das ist die ganze Lektion in einem Satz: Die Verantwortung wird nicht an das Modell delegiert. Sie bleibt bei dem, der unterschreibt.

Dieselbe Frage, zwei Antworten.

Ein Detail verwirrt viele beim ersten Mal: Man stellt dieselbe Frage zweimal und erhält zwei verschiedene Antworten. Das ist kein Fehler. Wenn das Modell das nächste Token wählt, nimmt es nicht immer das wahrscheinlichste; mit einem Parameter namens Temperatur wird geregelt, wie weit es weniger wahrscheinliche Optionen erkunden darf, und das gibt ihm Vielfalt und bei kreativen Texten Charme. Mit der Temperatur auf dem Minimum gleichen sich die Antworten viel stärker, aber die Dokumentation von Anthropic selbst weist darauf hin, dass sie selbst dann von Aufruf zu Aufruf nicht völlig identisch sind.

Für ein Unternehmen hat das eine praktische Folge, die beim Kauf meist übersehen wird: Ein KI-System lässt sich nicht mit einer Vorführung beurteilen. Ein Gericht, das an einem Tag gelingt, sagt nichts über das Restaurant. Man muss ihm dieselben fünfzig Fragen viele Male stellen, zählen, wie viele es richtig beantwortet, und anschauen, wie es scheitert, wenn es scheitert. Diese Liste von Fragen mit ihren richtigen Antworten nenne ich die goldene Liste eines Unternehmens, und sie ist das wertvollste Stück jedes Projekts. Ich komme in der Notiz über Integration darauf zurück.

Es sagt Ihnen, was Sie hören wollen.

Bleibt eine schlechte Gewohnheit, und sie ist die gefährlichste für jemanden, der ein Unternehmen führt. Im Oktober 2023 veröffentlichte Anthropic eine Studie über das, was sie Schmeichelei nannten: die Neigung der Assistenten, zu sagen, was der Nutzer hören will, statt was wahr ist. Sie prüften fünf führende Assistenten bei vier Arten von Aufgaben, und alle fünf zeigten sie. Die Erklärung liegt in der Phase der Feinabstimmung, die ich vorher beschrieben habe. Wenn Menschen Antworten vergleichen, bevorzugen sie häufiger diejenigen, die ihrer Meinung entsprechen, und manchmal wählen sie eine gut geschriebene schmeichelnde Antwort statt einer richtigen. Das Modell lernt genau das.

Übersetzt in Ihr Büro: Wenn Sie den Assistenten fragen, ob Ihr Plan gut ist, sagt er Ja mit eleganten Argumenten. Wenn Sie fragen, ob er schlecht ist, auch. Ein Sprachmodell ist ein miserabler Berater, wenn man es um Bestätigung bittet, und ein brauchbarer, wenn man es um das Gegenteil bittet. Verlangen Sie immer das Gegenargument. Und geben Sie ihm nie eine Entscheidung, die davon abhängt, dass es Ihnen widerspricht, denn es wurde darauf trainiert, das nicht zu tun.

Was das in Ihrem Unternehmen ändert.

Fünf Wörter, fünf Folgen. Ich fasse sie als Liste von Grundsätzen zusammen, denn so verwende ich sie in den Projekten.

• Nie aus dem Gedächtnis. Ein System, das Kundinnen oder Mitarbeitenden antwortet, muss bei jeder Frage Ihre freigegebenen Dokumente lesen und nur damit antworten. Was im Keller liegt, zählt nicht.
• Erlaubnis, es nicht zu wissen. Das System muss so konfiguriert sein, dass es sagt, es habe die Information nicht, und an eine Person übergibt. Ein Assistent, der immer antwortet, ist eine Fabrik für Artikel, die es nicht gibt.
• Prüfung im Verhältnis zum Risiko. Eine Antwort zu den Öffnungszeiten braucht keine Durchsicht. Eine zu einer gesetzlichen Frist, einem Preis oder einer Diagnose schon, und zwar durch jemanden mit Namen.
• Messen, nicht zuschauen. Fünfzig Fragen mit bekannter Antwort, wiederholt, vor der Unterschrift und jedes Mal, wenn der Anbieter die Version wechselt.
• Das Gegenargument als System. Wo das Modell beim Entscheiden hilft, wird es immer um das Gegenargument gebeten, und eine Person, die Nein sagen kann, liest es.
• Wer unterschreibt, haftet. Das Werkzeug trägt keine Verantwortung. Ihr Unternehmen schon, für jede Antwort, die es in Ihrem Namen gibt.

1. Heute, 20 Minuten

   Machen Sie den Test der fünf Angaben

   Fragen Sie irgendeinen Assistenten nach fünf konkreten Angaben zu Ihrem Unternehmen: ein Tarif, eine Frist, ein Name, eine Adresse, eine Bedingung. Zählen Sie, wie viele er mit Sicherheit erfindet.

2. Heute, 5 Minuten mehr

   Verlangen Sie die Quelle

   Fragen Sie bei jeder Antwort, woher er sie hat. Beobachten Sie, dass auch die Quelle gefälscht sein kann, und mit welcher Selbstverständlichkeit.

3. Diese Woche

   Wiederholen Sie eine Frage dreimal

   Dieselbe, in drei neuen Gesprächen. Vergleichen Sie. Was variiert, ist das, worauf Sie sich ohne Prüfung nie verlassen können.

4. Bevor Sie etwas entscheiden

   Verlangen Sie das Gegenargument

   Zu Ihrer nächsten wichtigen Entscheidung. Nicht, um ihm zu folgen, sondern um zu sehen, was es auslässt.

Wie ich es angehe.

In den Automati­sierungen, die ich baue, antwortet das Modell nie aus dem Gedächtnis. Es liest die Dokumente, die die Geschäftsleitung freigegeben hat, nennt bei jeder Angabe die Quelle und sagt, wenn es sie nicht findet, dass es sie nicht findet, und benachrichtigt eine Person. Die fünfzig goldenen Fragen werden vor der ersten Zeile Code geschrieben und jedes Mal neu durchlaufen, wenn sich etwas ändert. Das ist kein Misstrauen gegenüber dem Werkzeug. Es ist Wissen darüber, was es ist.

Ein Test für heute, mit irgendeinem Assistenten, den Ihr Unternehmen nutzt. Stellen Sie ihm eine Frage, deren Antwort Sie sehr gut kennen, über Ihre Branche, Ihre Stadt oder Ihr eigenes Geschäft, und bitten Sie ihn, für jede Angabe die Quelle zu nennen. Stellen Sie danach dieselbe Frage noch einmal, in einem neuen Gespräch.

Vergleichen Sie die beiden Antworten. Wenn sie übereinstimmen, fragen Sie sich, ob sie übereinstimmen, weil sie stimmen, oder weil sie wahrscheinlich sind. Wenn nicht, fragen Sie sich, wie oft Ihr Team die erste übernommen hat, ohne je nach der zweiten zu fragen.

Nächste Notiz: KI, Automatisierung und Software sind drei verschiedene Dinge, die zusammen verkauft werden. Wie man sie in einer dreissigminütigen Sitzung unterscheidet, und warum das Wort «Agent» zum abgenutztesten im Katalog geworden ist.