Ich schreibe viel mit KI. Fachartikel, Analysen, Konzepte. Meist zu Recht stolz auf das Ergebnis. An einem Tag im Frühsommer habe ich einen fertigen, veröffentlichten Artikel wieder aus dem Netz genommen, weil meine eigene KI mir eine Quelle erfunden hatte, die es nie gab. Diese Geschichte erzähle ich hier, weil sie mehr über den seriösen Umgang mit KI verrät als jede Erfolgsstory.
Der Artikel handelte von einem komplexen Finanzthema, an dem viel rechtliche Feinheit hängt. Er war gut geschrieben. Flüssig, strukturiert, mit dem selbstsicheren Ton eines Fachbeitrags. Er stand schon online, verlinkt, indexiert. Genau die Sorte Text, bei der man sich zurücklehnt und denkt: sauber gemacht.
Beim späteren Gegenlesen stolperte ich über einen Satz, der sich auf eine höchstrichterliche Entscheidung berief. Konkretes Gericht, konkreter Beschluss, konkrete Aussage. Ich wollte die Fundstelle für einen Vortrag nachschlagen. Sie existierte nicht. Kein solcher Beschluss, keine solche Entscheidung, nichts. Meine KI hatte ihn erfunden, komplett, überzeugend, mit derselben Sicherheit, mit der sie auch die wahren Teile des Artikels geschrieben hatte.
Warum das kein Ausrutscher war
Der erste Impuls ist, das für einen Bug zu halten. Ein Fehler, der sich mit dem nächsten besseren Modell erledigt. Dieser Impuls ist gefährlich, weil er falsch ist.
Ein Sprachmodell erzeugt Text, indem es das jeweils wahrscheinlichste nächste Wort vorhersagt. Es hat kein Konzept von Wahrheit. Es hat ein Konzept von Plausibilität. Ein erfundenes Gerichtsurteil, das klingt wie ein echtes, ist für die Maschine ein perfektes Ergebnis, denn es passt sprachlich genau dorthin, wo ein echtes stünde. Die Maschine lügt nicht, sie hat keine Absicht. Sie füllt eine Lücke mit dem, was am besten passt, und manchmal ist das Passendste eine Erfindung.
Das bedeutet: Halluzination ist kein Defekt, den man wegpatcht. Sie ist die Kehrseite genau der Fähigkeit, die KI so nützlich macht. Bessere Modelle halluzinieren seltener, aber keines halluziniert nie. Wer das nicht akzeptiert, veröffentlicht früher oder später eine Erfindung unter seinem eigenen Namen.
Die Lektion: Nicht dem Modell trauen, sondern dem Prozess
An diesem Tag habe ich aufgehört, mich zu fragen, welchem Modell ich vertrauen kann. Die Frage führt in die Irre, weil die Antwort immer lautet: keinem, nicht blind. Stattdessen habe ich einen Prozess gebaut, der zwischen den Entwurf und die Veröffentlichung tritt. Ein Kontrollpunkt, an dem jede überprüfbare Behauptung durch muss, bevor ein Text nach außen geht.
Dieses Gate hat eine Eigenschaft, die es wirksam macht: Es hat ein Veto. Ein einziger nicht belegbarer Fakt genügt, und der Text geht nicht raus, egal wie gut der Rest ist. Kein Abwägen, kein „aber sonst ist er stark“. Ein Gate, das man überstimmen kann, ist kein Gate.
Was ein Faktencheck wirklich prüft
Faktencheck klingt nach einer vagen Geste. In der Praxis ist er eine harte Liste. Ich prüfe vier Dinge, und ich prüfe sie an der Quelle, nicht im Kopf des Modells.
Jede genannte Quelle muss auffindbar sein. Ein Gesetz, ein Urteil, eine Studie: Wenn ich die Fundstelle nicht in der echten Welt öffnen kann, fliegt die Aussage raus. Jede Zahl muss zurückverfolgbar sein, keine geschätzten Prozente, die sich als Fakt tarnen. Jedes Zitat muss so gefallen sein, nicht sinngemäß nachempfunden. Und jede rechtliche oder regulatorische Aussage bekommt die strengste Stufe, weil hier ein Fehler nicht nur peinlich, sondern gefährlich ist.
Der entscheidende Punkt: Diesen Check macht nicht dasselbe Modell, das den Text geschrieben hat. Es würde seine eigene Erfindung erneut für plausibel halten. Die Prüfung braucht eine unabhängige Instanz und, bei allem mit Gewicht, ein menschliches Auge. Regulatorik schreibe ich grundsätzlich nicht der KI zur alleinigen Verantwortung zu.
Warum ich die Geschichte überhaupt erzähle
Es wäre bequemer, über meine gelungenen KI-Projekte zu schreiben. Diese Geschichte erzähle ich trotzdem, aus zwei Gründen.
Erstens ist sie das ehrlichste Argument gegen den naiven KI-Optimismus, der gerade überall verkauft wird. Wer Ihnen erzählt, KI schreibe fehlerfrei Ihre Fachtexte, hat entweder nie einen veröffentlicht oder seine Fehler nie nachgeprüft. Zweitens ist der Umgang mit dem Fehler der eigentliche Kompetenzbeweis. Nicht dass die KI etwas erfunden hat, sondern dass ein Prozess dahintersteht, der die Erfindung fängt, bevor sie Schaden anrichtet. Das ist der Unterschied zwischen jemandem, der mit KI spielt, und jemandem, der mit ihr arbeitet.
Was das für Sie bedeutet
Wenn Sie KI für Inhalte nutzen, die Ihren Namen tragen, übernehmen Sie drei Dinge.
Behandeln Sie jede konkrete Behauptung als unbewiesen, bis Sie sie an der Quelle geprüft haben. Das gilt besonders für das, was am überzeugendsten klingt, denn genau dort steckt die Erfindung, die man übersieht. Trennen Sie zweitens das Schreiben vom Prüfen: nie dasselbe Werkzeug fragen, ob sein eigener Text stimmt. Und ziehen Sie drittens eine Linie, hinter der ein Mensch entscheiden muss. Bei mir liegt sie bei allem Rechtlichen und Finanziellen. Wo Ihre Linie liegt, hängt von Ihrer Haftung ab, aber eine Linie braucht jeder.
Die ehrlichen Grenzen
Ein Faktencheck fängt das Überprüfbare. Er fängt nicht die feine Verzerrung, die halbe Wahrheit, den richtigen Fakt im falschen Kontext. Dafür braucht es Fachurteil, das kein Prozess ersetzt. Und der Check kostet Zeit, oft mehr als das Schreiben selbst. Das ist kein Nachteil, das ist der Preis, unter eigenem Namen zu veröffentlichen.
Den Artikel von damals habe ich übrigens nicht gelöscht. Er liegt als Entwurf, wartet auf eine saubere Neufassung mit echten Quellen. Die KI durfte den ersten Wurf schreiben. Über die Veröffentlichung entscheidet ein Prozess, dem ich mehr traue als jedem Modell.