Klingt richtig. Stimmt es auch?

Warum eine KI auch bei Raten sicher klingt

Ein Sprachmodell schreibt die Antwort, die am besten zur Frage passt, und ob sie stimmt, prüft es dabei nicht. Wissen und Raten kommen deshalb im selben Ton daher, mit denselben sauberen Sätzen und einer ebenso plausiblen Begründung.

Forschende von OpenAI haben 2025 beschrieben, warum sich das so hartnäckig hält. Beim Training und in den gängigen Tests zählt meist nur, ob eine Antwort richtig ist. Wer rät, liegt manchmal richtig, wer «Ich weiss es nicht» sagt, bekommt nie Punkte, und so lernt ein Modell, lieber etwas zu behaupten, als eine Lücke zuzugeben.

Für den Alltag heisst das: Der Ton einer Antwort sagt nichts über ihre Richtigkeit. Eine selbstsichere Antwort ist kein Beleg (auch wenn sie sich so liest), und wer eine KI-Antwort beurteilen will, braucht dafür einen anderen Massstab als ihren Klang.

Wo eine KI besonders gern rät

Am häufigsten bei Zuordnungen, die logisch aussehen. Passen Namen, Listen und Muster scheinbar zusammen, zieht ein Modell den naheliegenden Schluss, ohne zu prüfen, ob die Liste, auf die es sich stützt, überhaupt noch stimmt. Eine veraltete Liste wird so zur Quelle eines Fehlers, der sehr überzeugend klingt.

Heikel sind auch Aussagen über Dritte, also darüber, was ein Hersteller unterstützt, was ein Gesetz verlangt oder was eine Software kann. Sie klingen wie nachgeschlagen, stammen aber oft aus dem Training und wurden nie überprüft.

Und dann alles, was sich schnell ändert: Versionen, Preise, Gesetze, Zuständigkeiten. Was ein Modell im Training gelernt hat, kann längst überholt sein, und es merkt das nicht.

Besonders anfällig sind Suggestivfragen. Forschende von Anthropic haben 2023 gezeigt, dass gängige KI-Assistenten dazu neigen, der Meinung ihres Gegenübers zu folgen, auch dann, wenn sie falsch ist. Wer fragt «Stimmt es, dass …?», bekommt deshalb eher eine Bestätigung als eine Prüfung.

Prüfen, ohne alles selbst nachzurechnen

Die naheliegende Idee hilft wenig: die KI fragen, ob sie sich sicher ist. Hat sie die Frage falsch verstanden, begründet sie ihre Antwort passend zu genau diesem Missverständnis, und die Rückfrage bestätigt dann nur, dass sie konsequent ist, nicht, dass sie recht hat. Umgekehrt geben Modelle eine richtige Antwort manchmal auf, sobald jemand Zweifel äussert, wie dieselbe Studie zeigt.

Wirksam ist der Abgleich mit etwas ausserhalb der KI: einer Quelle, einem Test oder einer Messung. Das kostet meist weniger Zeit, als man denkt, denn ein Link ist schnell geöffnet und eine Zahl schnell im System nachgeschaut.

Sven: «Bei der Planung eines Wiederherstellungstests riet die KI von der neuen Ubuntu-Version ab, weil unsere Monitoring-Software dafür noch keine Pakete anbiete. Ich habe das im Paketverzeichnis des Herstellers geprüft: Die Pakete gab es längst. Seither muss die KI jede Behauptung über fremde Systeme selbst belegen, bevor sie daraus eine Empfehlung ableitet.»

Daraus sind ein paar Gewohnheiten entstanden, die wenig Zeit kosten:

• Quellen verlangen und öffnen. Auch einen Link kann eine KI erfinden, ein Beleg ist er erst, wenn auf der Seite steht, was die Antwort behauptet. Wie sich das automatisch prüfen lässt, beschreibt unser Beitrag über den täglichen Sicherheitsbericht.

• Geprüftes von Angenommenem trennen lassen. Eine gute Antwort sagt von sich aus, was sie nachgesehen hat und was sie nur vermutet.

• Offen fragen statt Zustimmung einholen. Statt «Stimmt es, dass …?» besser fragen, was dafür und was dagegen spricht. Dann muss die KI abwägen, statt nur zu bestätigen.

• Echtes Material mitgeben. Wer der KI das Dokument, die Daten oder die Fehlermeldung gibt, bekommt einen Befund statt einer Erinnerung. Personendaten gehören allerdings nur so weit hinein, wie es das Datenschutzgesetz erlaubt, das eine verhältnismässige Bearbeitung verlangt; für die meisten Fragen braucht die KI sie gar nicht.

• Messen lassen, wo es geht. Wird auf einem Server der Speicher knapp, liegt eine Aufräumregel für alte Daten nahe. Bevor sie eingerichtet ist, lohnt eine kurze Messung, wohin der Platz tatsächlich geht, denn die naheliegende Massnahme trifft nicht immer die Ursache.

Wo ein Fehler teuer wäre, entscheidet am Ende ein Mensch. Die KI kann lesen, ordnen und vorschlagen, die Unterschrift bleibt bei Ihnen. Wie das bei Ausschreibungen aussieht, zeigt der Beitrag «KI liest das Lastenheft. Unterschreiben müssen Sie».

Fazit

Mit jeder Modellgeneration werden manche der beschriebenen Fehler seltener. Am Grundproblem ändert das wenig: Solange ein Modell mit derselben Sicherheit formuliert, ob es weiss oder rät, liegt die Unterscheidung beim Menschen, und sie gelingt nur mit einem Massstab, der ausserhalb der KI liegt.

 

Häufig gestellte Fragen

Was ist eine KI-Halluzination?

Gemeint ist eine Antwort, die überzeugend klingt, aber nicht stimmt, zum Beispiel eine erfundene Quelle oder eine falsche Zahl. Die KI bemerkt das selbst nicht und klingt dabei genauso sicher wie sonst.

Hilft es, die KI zu fragen, ob sie sich sicher ist?

Kaum. Hat sie die Frage falsch verstanden, begründet sie ihre Antwort passend zu diesem Missverständnis. Verlässlicher ist der Abgleich mit einer Quelle, einem Test oder einer Messung.

Woran erkenne ich eine gute KI-Antwort?

Sie nennt ihre Quellen, trennt Geprüftes von Vermutetem und sagt, was sie nicht wissen kann. Fehlt das, lohnt sich ein zweiter Blick.

Reicht es, wenn die KI einen Link als Quelle angibt?

Nicht ganz, denn auch Links kann eine KI erfinden. Ein Beleg ist der Link erst, wenn auf der Seite steht, was die Antwort behauptet.

Warum gibt mir die KI so oft recht?

Sprachmodelle neigen dazu, der Annahme in einer Frage zu folgen, auch wenn sie falsch ist. Wer wissen will, ob etwas stimmt, fragt deshalb besser offen, was dafür und was dagegen spricht.