Notizen · KI verstehen
Ein Agent ist eine Schleife. Und Schleifen überwacht man.
Was Retrieval ist, was ein Werkzeug ist, was Gedächtnis ist, wie sie zu Workflows verkettet werden und wann es Sinn hat, das Modell die Schritte entscheiden zu lassen. Mit der Arithmetik, die erklärt, warum Agentenprojekte abgebrochen werden.
Reihe «KI verstehen», Notiz 5 von 12. Die vorherige Notiz war die Landkarte der Verben. Diese erklärt, wie sie miteinander und mit Ihren Systemen verbunden werden, und was das meistgehörte Wort des Jahres 2026 wirklich bedeutet.
Mittwoch, 18.40 Uhr, das Büro des Finanzchefs eines Grosshändlers in Bern. Seit einer Woche testet er einen «Agenten», der laut Vorführung die Lieferantenrechnungen allein abstimmt: Er liest das PDF, sucht die Bestellung, vergleicht Beträge, prüft den Lieferschein, zieht den Vertrag heran, wenn es einen Rabatt gibt, fragt die Bank, ob bezahlt wurde, entscheidet, ob verbucht wird, und verbucht. Vierzehn Schritte. Heute hat er die vierzig Rechnungen der Woche durchgesehen und neunzehn richtig gefunden, vierzehn mit irgendeinem Fehler und sieben, die er nicht beurteilen kann, weil der Agent einen Weg genommen hat, den niemand nachvollziehen kann. In der Vorführung lag er fast immer richtig. Was hat sich geändert?
Die Szene ist fiktiv. Die Arithmetik, die sie erklärt, nicht, und sie ist der wichtigste Teil dieser Notiz. Bevor ich dazu komme, muss ich Ihnen die drei Teile geben, aus denen jedes KI-System gebaut ist, das mehr tut als plaudern. Es sind wenige, sie haben seltsame Namen, und einmal gesehen, vergisst man sie nicht.
Ein Modell allein ist nur ein Motor. Retrieval gibt ihm die Dokumente, Werkzeuge geben ihm die Hände, und Gedächtnis gibt ihm den Faden. Ein Agent ist dieses Ganze in eine Schleife gesteckt.
Teil eins: Retrieval, oder der Archivar.
Sie erinnern sich aus der Notiz 2, dass das Modell nur sieht, was auf dem Schreibtisch liegt, und dass Ihre Dokumente im Keller sind. Retrieval ist der Archivar, der bei jeder Frage in den Keller geht, die drei oder vier Dokumente sucht, die davon handeln, und sie auf den Schreibtisch legt, bevor das Modell antwortet. Die Technik wurde im Mai 2020 in einer Arbeit von Forschenden von Facebook AI Research, dem University College London und der New York University beschrieben, unter dem Namen Retrieval-Augmented Generation, kurz RAG, und ihr Zweck war genau der, der Sie interessiert: dass das Modell mit Wissen antwortet, das sich aktualisieren und prüfen lässt, statt mit dem, was es beim Training auswendig gelernt hat.
Was sich in der Praxis ändert, ist enorm. Ein Assistent ohne Retrieval antwortet zu Ihren Rückgabebedingungen mit Allgemeinbildung; einer mit Retrieval liest Ihre Bedingungen, antwortet damit und nennt den Absatz. Und es erlaubt etwas, das fast niemand schätzt, bis er es braucht: die Antwort zu ändern, ohne das Modell anzurühren. Ändern sich morgen die Bedingungen, wird das Dokument geändert, und der Assistent antwortet am Nachmittag anders. Es hat auch eigene Fehler, die der Anbieter selten erwähnt: Holt der Archivar das falsche Dokument oder eine alte Version herauf, antwortet das Modell mit Sicherheit daraus. Die Qualität eines Systems mit Retrieval hängt viel mehr von der Qualität des Archivs ab als vom Modell.
Teil zwei: die Werkzeuge, oder die Hände.
Ein Modell allein erzeugt Text. Es kann weder Ihre Datenbank abfragen noch eine Mail senden noch eine Rechnung erstellen. Ein Werkzeug ist eine konkrete Erlaubnis, eines dieser Dinge zu tun: Man beschreibt dem Modell, was das Werkzeug tut und welche Daten es braucht, und das Modell bittet, wenn es ihm angebracht scheint, darum, es mit diesen Daten zu nutzen; das System führt es aus und gibt ihm das Ergebnis zurück. «Status der Bestellung 4471 abfragen» ist ein Werkzeug. «Eine Mail senden» ist ein anderes. «Eine Rechnung verbuchen» ist ein weiteres, und eines von denen, die man mit Vorsicht vergibt.
Im November 2024 veröffentlichte Anthropic einen offenen Standard, um Werkzeuge zu beschreiben und anzubinden, das Model Context Protocol, das seither andere Anbieter übernommen haben. Für Sie bedeutet das etwas Praktisches: Die Verbindungen zwischen einem Modell und Ihren Systemen sind keine Massanfertigungen mehr, die nur versteht, wer sie gebaut hat, sondern haben ein gemeinsames Format, das sich zu einem anderen Anbieter mitnehmen lässt. Fragen Sie vor der Unterschrift danach. Und merken Sie sich den Grundsatz, der folgt: Jedes Werkzeug ist eine Erlaubnis, und Erlaubnisse werden einzeln vergeben. Ein Modell, das Bestellungen lesen darf, muss sie nicht löschen dürfen.
Teil drei: das Gedächtnis, oder der Faden.
Der dritte Teil ist der bescheidenste und der, der am meisten Verwirrung stiftet. Ein Modell erinnert sich von einem Gespräch zum nächsten an nichts. Was man Gedächtnis nennt, ist ein Ort, an dem das System Notizen ablegt, eine Zusammenfassung des Gesagten, die Vorlieben einer Kundin, den Stand einer Aufgabe, und sie im nächsten Gespräch wieder auf den Schreibtisch legt. Das ist nützlich und ein Risiko, denn was gespeichert wird, muss man sehen, korrigieren und löschen können, und weil die Notiz von letzter Woche falsch sein und weiterhin Einfluss haben kann.
Anthropic nennt diese Kombination das erweiterte Modell: ein Modell mit Retrieval, Werkzeugen und Gedächtnis. Es ist der Baustein, aus dem alles Weitere gebaut wird, und fast alles, was Ihr Unternehmen braucht, passt in einen einzigen, gut gemachten Baustein. Das erkläre ich jetzt.
Workflows: wenn eine Person die Schritte entscheidet.
Im Dezember 2024 veröffentlichte Anthropic einen Leitfaden für diejenigen, die solche Systeme bauen, gestützt auf das, was man bei Dutzenden von Teams gesehen hatte, und seine erste Schlussfolgerung ist die, die Ihnen am meisten nützt: Die Systeme, die am besten funktionierten, benutzten keine komplexen Frameworks, sondern einfache Muster. Der Leitfaden trennt zwei Familien. In einem Workflow sind die Schritte vorab im Code definiert, und das Modell wird bei jedem Schritt für sein Verb eingesetzt: klassifizieren, extrahieren, verfassen. In einem Agenten entscheidet das Modell selbst, welche Schritte es macht und welche Werkzeuge es nutzt, bis die Aufgabe erfüllt ist.
Die Workflow-Muster, die er beschreibt, sind fünf, und ich übersetze sie in Ihr Unternehmen:
- Verketten. Ein Schritt nach dem anderen, jeder mit einer Prüfung. Zuerst die Daten der Rechnung extrahieren; prüfen, ob sie aufgehen; dann die Bestellung suchen. Scheitert etwas, bleibt es dort stehen, und man sieht wo.
- Weiterleiten. Zuerst klassifizieren und jeden Fall auf einen anderen Weg schicken. Reklamationen in einen Ablauf, Bestellungen in einen anderen, was man nicht versteht, zu einer Person.
- Parallelisieren. Mehrere Dinge gleichzeitig tun, oder dasselbe mehrmals und abstimmen. Drei unabhängige Lesungen eines Vertrags, die übereinstimmen müssen, bevor eine Angabe als gut gilt.
- Orchestrieren. Ein Modell teilt die Arbeit in Teile auf, und andere erledigen sie. Nützlich, wenn man vorher nicht weiss, wie viele Teile es geben wird.
- Bewerten und korrigieren. Ein Modell schreibt, ein anderes prüft nach vorgegebenen Kriterien, in einer Schleife, bis die Prüfung bestanden ist. Sehr nützlich bei Übersetzung und Textverfassung.
Achten Sie darauf, was sie gemeinsam haben: In allen hat eine Person die Form des Prozesses entschieden. Das Modell arbeitet in einer Spur. Man weiss, welcher Schritt gescheitert ist, man kann nur diesen Schritt wiederholen, und man kann eine menschliche Prüfung genau dort einsetzen, wo das Risiko es verlangt. Für die Rechnungsabstimmung unseres Finanzchefs ist das, was ich bauen würde. Und es ist, was der Leitfaden empfiehlt: die einfachste Lösung suchen und Komplexität nur hinzufügen, wenn das Problem sie verlangt.
Agenten: wenn das Modell die Schritte entscheidet.
Ein Agent ist das erweiterte Modell in einer Schleife: Es erhält eine Aufgabe, entscheidet einen Schritt, nutzt ein Werkzeug, schaut das Ergebnis an, entscheidet den nächsten Schritt, und so weiter, bis es meint, fertig zu sein, oder an eine Grenze stösst. Es ist der leistungsfähigste Teil und der am schwersten zu kontrollierende, weil der Weg nirgends aufgeschrieben ist: Er wird jedes Mal improvisiert. Der Leitfaden von Anthropic reserviert ihn für offene Probleme, bei denen sich nicht vorhersagen lässt, wie viele Schritte nötig sind, und empfiehlt, ihn in geschlossenen Umgebungen ausgiebig zu testen und ihm Schranken zu setzen: Grenzen bei Schritten, Geld und Berechtigungen, und Punkte, an denen er anhält, um eine Bestätigung zu verlangen.
Wie weit kommen sie heute? Eine unabhängige Forschungsgruppe, METR, misst seit 2024 eine konkrete Sache: die Dauer der Aufgaben, gemessen in der Zeit, die eine erfahrene Person braucht, die die besten Modelle in der Hälfte der Fälle erfolgreich abschliessen. Im März 2025 veröffentlichte sie, dass dieser Horizont für das beste Modell des Moments rund eine Stunde betrug, dass die Modelle bei Aufgaben unter vier Minuten fast immer richtig lagen und bei Aufgaben über vier Stunden fast immer scheiterten, und dass sich der Horizont sechs Jahre lang etwa alle sieben Monate verdoppelt hatte. Die Autoren warnen, dass die Zahlen von den Aufgaben und den Personen abhängen, mit denen verglichen wird, und dass eine Extrapolation voraussetzt, dass der Trend anhält. Nehmen Sie es als das, was es ist: eine ehrliche Messung, mit ihren Grenzen, von etwas, das schnell wächst. Und beachten Sie das Wort «Hälfte».
Die Arithmetik des Finanzchefs.
Zurück nach Bern. Der Agent mit den vierzehn Schritten lag während der Vorführung bei jedem Schritt «fast immer» richtig. Nehmen wir an, er liegt wirklich bei jedem in 95 Prozent der Fälle richtig, was eine sehr gute Zahl für einen Schritt ist, der ein PDF liest oder einen Vertrag auslegt. Die Wahrscheinlichkeit, dass alle vierzehn Schritte gelingen, ist 0,95 vierzehnmal mit sich selbst multipliziert: 49 Prozent. Die Hälfte der Rechnungen falsch oder halb erledigt. Mit 98 Prozent pro Schritt, was ausgezeichnet ist, trifft die ganze Kette 75 Prozent. Mit zehn Schritten zu 99 Prozent: 90 Prozent. Das ist keine Meinung über KI: Es ist die Multiplikation von Wahrscheinlichkeiten, und sie erklärt allein die Gartner-Prognose, die ich in der Notiz 3 zitiert habe, wonach mehr als 40 Prozent der Agentenprojekte bis Ende 2027 abgebrochen werden.
Die Folge für die Gestaltung ist klar, und sie ist die, die ich immer anwende. Kurze Ketten, Prüfungen zwischen den Schritten und eine Person dort, wo der Fehler kostet. Dieselbe Abstimmung, gebaut als Workflow mit fünf Schritten, einer Rechenprüfung im zweiten und einer menschlichen Durchsicht nur bei den Rechnungen, die nicht aufgehen, trifft bei denen, bei denen sie trifft, hält bei denen an, bei denen nicht, und hinterlässt eine Spur, der jeder folgen kann. Das ist in einer Vorführung weniger beeindruckend. Es ist das, was an einem Mittwoch um 18.40 Uhr funktioniert.
- Ein Baustein vor einem Gebäude. Fast alles lässt sich mit einem erweiterten Modell und einem gut gemachten Aufruf lösen. Schlägt man Ihnen einen Agenten vor, fragen Sie, warum ein Workflow nicht genügt.
- Gezählte Schritte. Verlangen Sie die Zahl der Schritte des Systems und die Trefferquote jedes einzelnen, gemessen an Ihren Fällen. Multiplizieren Sie. Versteht der Anbieter die Multiplikation nicht, hat er nicht gemessen.
- Berechtigungen einzeln. Jedes Werkzeug eine Erlaubnis; jede Erlaubnis mit Grenze und Protokoll. Lesen heisst nicht schreiben; schreiben heisst nicht löschen oder bezahlen.
- Pflichthalte. Vor jedem Schritt mit Aussenwirkung hält das System an und fragt. Eine gesendete Mail lässt sich nicht zurückholen.
- Vollständige Spur. Jede Entscheidung des Systems wird protokolliert: was es gelesen, welches Werkzeug es genutzt, was es zurückbekommen hat. Lässt sich der Weg nicht rekonstruieren, lässt er sich nicht korrigieren.
- Das Archiv bestimmt. Bei Systemen mit Retrieval zählt die Qualität des Dokumentenarchivs mehr als das Modell. Ein abgelaufenes Dokument ist ein Fehler mit gutem Auftritt.
- Diese Woche
Zeichnen Sie den Prozess in Schritten
Den, den Sie automatisieren wollen, auf ein Blatt: ein Schritt pro Zeile, daneben die Frage «Was passiert, wenn dieser schiefgeht?». Hat er mehr als acht Zeilen, teilen Sie ihn.
- Diese Woche
Machen Sie die Multiplikation
Geben Sie jedem Schritt eine vernünftige Trefferquote und multiplizieren Sie. Das ist die Zahl, die Sie in einer Vorführung sehen wollen müssen, nicht das erstaunte Gesicht.
- In der nächsten Sitzung
Fragen Sie, wer die Schritte entscheidet
Entscheidet sie das Modell, ist es ein Agent, und man muss nach Grenzen, Berechtigungen und Halten fragen. Hat sie ein Programmierer entschieden, ist es ein Workflow, und man muss nach den Prüfungen zwischen den Schritten fragen.
- Vor der Unterschrift
Verlangen Sie die Liste der Berechtigungen
Welche Werkzeuge das System nutzen darf, mit welchen Grenzen und wer sie ändern kann. Eine kurze Liste ist ein gutes Zeichen.
Wie ich es angehe.
Ich baue Workflows mit kurzen Schritten und Prüfungen und reserviere Agenten für das, was wirklich offen ist: recherchieren, erkunden, vorbereiten. Nichts mit Aussenwirkung geschieht ohne Halt. Jedes System hat ein Protokoll, das eine verantwortliche Person lesen kann, ohne programmieren zu können, und die erste Frage jedes Projekts lautet, wie viele Schritte es gibt und wie oft jeder mit den fünfzig goldenen Fällen richtig liegt. Der Rest ist Präsentation.
Bevor Sie zur nächsten Notiz gehen, rechnen Sie mit einem eigenen Prozess nach. Wählen Sie einen, der heute mehrere Schritte hat: eine Buchung, eine Rechnung, eine Anfrage, die zu einem Termin wird. Zählen Sie die Schritte und fragen Sie sich, wie oft jeder richtig liegt. Wenn das in Ihrem Unternehmen niemand weiss, ist das schon eine Antwort.
Und eine Frage, die Sie bis zur nächsten Notiz offen lassen sollten: Wenn morgen ein Agent diesen Prozess übernähme, wo würden Sie den ersten Halt einbauen?
Nächste Notiz: KI in Ihr Unternehmen integrieren. Die Reihenfolge der Schritte, von der Landkarte bis zum ersten Prozess im Betrieb, die goldene Liste, der Schattenmodus und warum das Projekt lange vor der Wahl eines Anbieters beginnt.