Verantwortungsvolle KI

« Und wenn er sich etwas ausdenkt? » — einen Agenten Quellen nennen lassen

Es ist die erste Frage in jedem Workshop, und sie ist berechtigt. Ein Sprachmodell erzeugt einen plausiblen Satz; nichts in seiner Mechanik garantiert, dass er stimmt. Die Kunst liegt darin, den Fehler sichtbar zu machen.

14. August 20266 Min. LesezeitVon Sébastien Joumel
Man beseitigt die Erfindung nicht, man macht sie erkennbarKein Aufbau schaltet das Risiko aus. Ein guter Aufbau sorgt dafür, dass ein Fehler ins Auge springt, statt unbemerkt durchzugehen.

Die eine Regel: zitieren

Jede Aussage eines Agenten verweist auf Dokument und Fassung, aus denen sie stammt. Kein « laut unseren Anweisungen » — die genaue Fundstelle, anklickbar, in drei Sekunden prüfbar.

Die Regel wirkt bescheiden. Sie ändert alles: aus einer Vertrauensübung wird eine Prüfübung. Wer glauben muss, prüft schlecht; wer nachsehen kann, prüft schnell.

Hat ein Satz keine Quelle, hat er im Ergebnis nichts zu suchen.

Vier Aufbauten, die tragen

Aus den Dokumenten antworten, nicht aus dem Gedächtnis

Der Agent sucht zuerst in Ihrer Basis und formuliert dann aus dem Gefundenen. Findet er nichts, muss er es sagen — und die Lücke nicht mit dem füllen, was er « weiß ».

« Ich weiß es nicht » erlauben

Ein Agent, der nicht scheitern darf, erfindet. Der Ablauf braucht einen Ausgang « nicht in der Basis », der an eine Person geht — und der am Anfang häufig genutzt werden sollte.

Extraktion und Formulierung trennen

Ein Datum aus einem Dokument zu ziehen, ist prüfbar. Einen Absatz zu schreiben, nicht. Sind beide vermischt, weiß niemand mehr, was er prüft.

Die Eingaben protokollieren

Das Protokoll behält, was der Agent gelesen hat, nicht nur, was er erzeugt hat. Nur so korrigiert man die Ursache statt des Ergebnisses.

Zwei Scheinlösungen

« Wir nehmen ein stärkeres Modell. » Ein besseres Modell senkt die Häufigkeit der Fehler, nicht ihre Natur. Bei einer Frage, deren Antwort in Ihren Dokumenten nirgends steht, erfindet auch das beste Modell am Markt — nur überzeugender.

« Wir lesen alles gegen. » Niemand liest dreihundert Ergebnisse am Tag. Nach zwei Wochen wird aus dem Gegenlesen ein Blick. Besser zehn Prozent mit Methode als hundert Prozent im Vorbeigehen.

Wie wir prüfen, dass es trägt

Zur Inbetriebnahme bauen wir einen Satz echter Fälle — vierzig bis hundert — mit bekannter richtiger Antwort. Gemessen wird dreierlei: der Anteil korrekter Antworten, der Anteil begründeter « weiß nicht », und der Anteil stiller Fehler. Nur der dritte zählt wirklich.

Dieser Fallsatz dient nicht nur dem Start: wir spielen ihn bei jedem Modell- oder Prompt-Wechsel erneut. Nur so lässt sich mit Zahlen sagen, ob ein Update das System verbessert oder verschlechtert hat.

Auf der Website lesen

Weitere Notizen

Alle Notizen →

Erstes Gespräch — fünfzehn Minuten

Wir sagen Ihnen, welches System zuerst geöffnet wird.

Beschreiben Sie den Handgriff, der Sie am meisten kostet. Wir sagen Ihnen, was machbar ist, wie lange es dauert und was es kostet. Lautet die Antwort nein, gehen Sie mit den zwei Gründen dafür.