Eine KI-Halluzination ist eine Ausgabe eines Sprachmodells, die flüssig, sachlich und überzeugend formuliert ist, aber schlicht nicht stimmt. Erfundene Quellenangaben, ausgedachte Paragrafen, eine Programmfunktion, die es nie gab. Das Tückische ist nicht der Fehler selbst, sondern dass er sprachlich genauso aussieht wie eine richtige Antwort: kein Zögern, kein Vorbehalt, kein Hinweis auf Unsicherheit.
Der Begriff ist umstritten, weil er das Modell vermenschlicht. Fachlich passender wäre “Konfabulation”. Durchgesetzt hat sich trotzdem die Halluzination.
Warum Modelle so etwas produzieren
Ein Large Language Model sagt das jeweils wahrscheinlichste nächste Textstück voraus. Es hat keine Datenbank mit Fakten und keinen Schalter, der zwischen Wissen und Vermutung unterscheidet. Wahr und plausibel sind für die Mechanik dasselbe.
Daraus folgen die typischen Auslöser:
- Lücken in den Trainingsdaten. Zu einem Nischenthema gibt es wenig Material, aber die sprachlichen Muster reichen aus, um eine Antwort zu bauen.
- Der Stichtag. Alles nach dem Trainingsende fehlt. Das Modell weiß nicht, dass es das nicht weiß.
- Belohntes Antworten. Modelle werden darauf trainiert, hilfreich zu sein. Eine Antwort wird in der Bewertung fast immer besser bewertet als ein Achselzucken, und dieses Muster bleibt haften.
- Vage Fragen. Wo die Frage eine falsche Annahme enthält, übernimmt das Modell sie meistens, statt zu widersprechen.
- Zusammenfassen über viele Quellen. Beim Verdichten mehrerer Textstellen entstehen Aussagen, die in keiner davon standen.
Die Formen, in denen es auftritt
| Form | Wie es aussieht | Wo es besonders gefährlich ist |
|---|---|---|
| Erfundene Quellen | Titel, Autor und Jahr wirken echt, die Arbeit existiert nicht | Recherche, juristische Schriftsätze |
| Falsche Details | Richtiges Thema, falsche Zahl, falsches Datum, falscher Name | Angebote, Berichte, Produktdaten |
| Erfundener Code | Funktionen und Bibliotheken, die es nicht gibt | Softwareentwicklung |
| Falsche Zusammenfassung | Aussagen, die im vorgelegten Text nicht stehen | Dokumentenanalyse, Support |
| Bestätigte Fehlannahme | Die falsche Prämisse der Frage wird ausgebaut | Beratung, Diagnose |
Der Sonderfall im Code
Modelle erfinden regelmäßig Paketnamen, die es nicht gibt. Ärgerlich ist das nicht wegen des Fehlers, denn der fällt beim Installieren auf, sondern wegen der Reaktion darauf: Angreifer registrieren häufig halluzinierte Paketnamen und legen dort Schadcode ab. Für dieses Muster hat sich 2025 der Begriff Slopsquatting eingebürgert. Wer im Vibe Coding Abhängigkeiten ungeprüft übernimmt, installiert sie sich unter Umständen selbst.
Warum es beim Zusammenfassen auffällt
Bei einer Wissensfrage merkt man einen Fehler oft nicht. Bei einer Zusammenfassung schon, weil der Ausgangstext danebenliegt und sich vergleichen lässt. Das macht Zusammenfassungen zum besten Testfeld: Wenn ein Modell dort Dinge hinzudichtet, tut es das anderswo auch, nur unsichtbar.
Was dagegen wirklich hilft
Halluzinationen lassen sich nicht abschalten, sie folgen aus der Bauart. Was geht, ist sie unwahrscheinlicher und vor allem erkennbar zu machen.
- Antworten an Quellen binden. Der wirksamste Hebel. Statt aus der Erinnerung zu antworten, arbeitet das Modell mit vorgelegten Textstellen, siehe Retrieval-Augmented Generation.
- Belege verlangen. Jede Aussage mit Fundstelle. Wer nicht belegen kann, hat auch nicht gefunden.
- Nichtwissen erlauben. Ein Prompt, der ausdrücklich eine leere Antwort zulässt, senkt die Erfindungsrate spürbar. Ohne diesen Ausweg antwortet das Modell immer.
- Prüfbare Ausgaben. Strukturierte Formate lassen sich gegen die Quelldaten abgleichen, Fließtext nicht. Mehr dazu unter Prompt Engineering.
- Zweite Instanz. Ein separater Prüfschritt, der Antwort und Quelle vergleicht, fängt einen Teil der Fälle ab. Kein Ersatz für einen Menschen, aber ein guter Filter.
- Menschliche Freigabe dort, wo es zählt. Alles, was nach außen geht oder eine Entscheidung auslöst, bekommt eine Kontrolle. Die Frage ist nie, ob das System Fehler macht, sondern was der teuerste Fehler kostet.
Die rechtliche Seite
Falsche Auskünfte einer KI sind kein technisches Kuriosum, sondern eine Zurechnungsfrage. Ein kanadisches Tribunal entschied 2024, dass eine Fluggesellschaft an die falsche Auskunft ihres Chatbots gebunden ist, und ließ das Argument, der Bot sei eine eigenständige Instanz, nicht gelten. In den USA wurden 2023 Anwälte belangt, weil sie einen Schriftsatz mit erfundenen Urteilen eingereicht hatten. Solche Fälle haben sich seither wiederholt.
Für Betreiber heißt das: Wer eine KI-Auskunft veröffentlicht, verantwortet sie wie jede andere Aussage des Unternehmens. Der EU AI Act verlangt zudem, dass Menschen erkennen können, wenn sie mit einem System und nicht mit einer Person sprechen. Ein sichtbarer Hinweis am KI-Chatbot ist damit Pflicht und nicht Höflichkeit.
Häufige Fragen zu KI-Halluzinationen
Werden neuere Modelle das Problem lösen? Die Häufigkeit sinkt, das Muster bleibt. Modelle mit Recherchezugriff und mit Denkschritten liegen bei Faktenfragen deutlich seltener daneben, erfinden aber weiterhin, wenn eine Frage über ihren Wissensstand hinausgeht. Wer eine Anwendung baut, plant deshalb mit Fehlern statt auf ihr Verschwinden zu hoffen.
Kann ich das Erfinden per Prompt verbieten? Nur teilweise. Anweisungen wie “antworte nur mit Belegen aus dem vorgelegten Text” und eine erlaubte Leerantwort helfen messbar. Ein Verbot allein wirkt nicht, weil das Modell nicht unterscheiden kann, ob eine Aussage aus dem Kontext oder aus dem Training kommt.
Hilft eine niedrigere Temperature? Etwas. Eine niedrige Temperature macht Ausgaben vorhersehbarer und wortgetreuer am Kontext, verhindert aber keine falsche Aussage, wenn im Kontext keine richtige steht. Sie macht das Modell konsequenter, nicht wahrhaftiger.
Wie merke ich es als Nutzer? Achte auf sehr spezifische Angaben ohne Quelle: Jahreszahlen, Paragrafen, Studien, Zitate, Funktionsnamen. Je konkreter und je unbelegter, desto genauer nachprüfen. Und wenn ein Modell auf Nachfrage seine Quelle nennt, ist das kein Beleg, sondern potenziell die nächste Halluzination.
Fazit
Halluzinationen sind kein Bug, der irgendwann gefixt wird, sondern die Kehrseite der Fähigkeit, plausible Sprache zu erzeugen. Nutzbar werden Sprachmodelle deshalb nicht durch Vertrauen, sondern durch Verfahren: Antworten an Quellen binden, Belege sichtbar machen, prüfen, wo es teuer wird. Wie wir Anwendungen so bauen, dass Fehler auffallen statt durchzurutschen, steht auf unserer Seite zur Custom-Software-Entwicklung, und unsere Einschätzung aus der Projektpraxis findest du im Artikel KI in der Softwareentwicklung. Warum ein Chatbot mit festem Dokumentenbestand im Zweifel lieber nichts sagt als etwas Erfundenes, steht auf der Seite zur KI-Chatbot-Entwicklung. Wenn du das für einen konkreten Fall durchsprechen willst, melde dich zum unverbindlichen Beratungsgespräch.