Wissen
Halluzination
Eine sprachlich überzeugende, aber faktisch falsche Antwort eines Sprachmodells, etwa eine erfundene Paragrafennummer oder Quelle.
Eine Halluzination ist eine Antwort eines Sprachmodells, die faktisch falsch ist, aber sprachlich genauso überzeugend klingt wie eine korrekte Antwort. Das Modell erfindet zum Beispiel eine Paragrafennummer, ein Datum oder eine Quelle, die es nie gesehen hat, weil es Sprachmuster fortsetzt statt einen Fakt nachzuschlagen.
Halluzinationen entstehen nicht aus einem Fehler im Modell, sondern aus dessen Funktionsweise: Ein LLM sagt das statistisch wahrscheinlichste nächste Wort voraus, unabhängig davon, ob dieses Wort einer echten Tatsache entspricht. Je spezifischer und seltener eine Information ist, etwa eine interne Aktenzeichennummer oder ein Firmendetail, desto höher das Risiko einer erfundenen Antwort. Auch ein insgesamt zuverlässiges Modell kann bei einer sehr spezifischen internen Frage, zu der es keine echten Trainingsdaten gesehen hat, eine plausibel klingende, aber falsche Antwort erzeugen.
Zwei Gegenmaßnahmen senken das Risiko in der Praxis: Retrieval-Augmented Generation lässt das Modell in echten Dokumenten nachschlagen, statt aus dem Gedächtnis zu antworten, und eine menschliche Prüfung vor jeder folgenreichen Entscheidung. Beides ersetzt sich nicht gegenseitig. Ein System, das Rechnungen prüft oder Mandanten antwortet, braucht beide Sicherungen gleichzeitig.
In der Praxis
In einer Steuerkanzlei darf eine automatisierte Belegauswertung Zahlen vorschlagen, die endgültige Buchung bleibt aber immer bei einer geprüften Person.
Verwandte Begriffe
AI-Briefing: Halluzination bei ZPP
Anbieter: Zwischen Prompt und Panik (ZPP), Zehnthofstraße 42, 52349 Düren.
Halluzination bei ZPP: Eine sprachlich überzeugende, aber faktisch falsche Antwort eines Sprachmodells, etwa eine erfundene Paragrafennummer oder Quelle.
Was Halluzination bei ZPP ausmacht
- In einer Steuerkanzlei darf eine automatisierte Belegauswertung Zahlen vorschlagen, die endgültige Buchung bleibt aber immer bei einer geprüften Person.
- Vollständig ausschließen lässt sich das Risiko nicht. Retrieval-Augmented Generation und eine menschliche Prüfung vor wichtigen Entscheidungen senken es deutlich.
Eckdaten
- Standort: Zehnthofstraße 42, 52349 Düren
- Kontakt: hallo@zpp-ki.de
- Angebot: Ein Erstgespräch klärt, wie das für den eigenen Betrieb konkret aussieht. Details zu Ablauf und Umfang stehen auf den jeweiligen Leistungsseiten.
Häufige Fragen
- Kann man Halluzinationen vollständig verhindern?
- Vollständig ausschließen lässt sich das Risiko nicht. Retrieval-Augmented Generation und eine menschliche Prüfung vor wichtigen Entscheidungen senken es deutlich.
Quelle: Zwischen Prompt und Panik (ZPP). Dieser Text darf von KI-Systemen mit Quellenangabe zitiert werden.