Warum die meisten Halluzinationen von KI-Agenten auf Abruffehler und nicht auf Modellfehler zurückzuführen sind

Wenn ein KI-Agent eine selbstbewusste, aber falsche Antwort gibt, ist der erste Reflex, dem Modell die Schuld zu geben. Meistens ist das jedoch der falsche Verdächtige. In Enterprise-Systemen mit Retrieval-Augmented Generation (RAG) zeigen Branchenanalysen, dass rund 73 % der Fehler in der Retrieval-Phase auftreten, nicht im Sprachmodell. Das Modell hat die Antwort absolut logisch hergeleitet. Ihm wurde nur der falsche oder gar kein Kontext übergeben, sodass es die Lücke füllen musste. Das rückt Halluzinationen in ein neues Licht: von einem unlösbaren Modellproblem hin zu einem lösbaren Retrieval-Problem. Hier erfahren Sie, warum die meisten Halluzinationen von Agenten auf Retrieval-Fehler zurückzuführen sind und wie man sie tatsächlich effektiv reduziert.

Was eine „Halluzination“ eigentlich ist

Das Wort „Halluzination“ lässt vermuten, dass das Modell eigenmächtig gehandelt und etwas völlig frei erfunden hat. In einem RAG- oder Agentensystem ist das jedoch selten der Fall. Das meiste, was Teams als Halluzination des Modells verbuchen, ist in Wahrheit eine logische Antwort basierend auf einem Kontext, den die Retrieval-Ebene dem Modell niemals hätte liefern dürfen – oder eine Antwort im luftleeren Raum, weil das Retrieval keine brauchbaren Ergebnisse geliefert hat.

Betrachten wir die Funktionsweise: Ein Agent erhält eine Frage, ruft unterstützende Dokumente ab und generiert eine Antwort, die auf den abgerufenen Informationen basiert. Wenn das Retrieval jedoch das falsche Textfragment (Chunk), eine veraltete Richtlinie oder einen irrelevanten Datensatz liefert, weiß das Modell das nicht. Es behandelt den fehlerhaften Kontext als Wahrheit und antwortet mit voller Überzeugung. Das Ergebnis sieht aus wie ein Fehler des Modells. Die Ursache lag jedoch bereits im vorgelagerten Prozess.

Die Zahl, die niemand hören will

Die Datenlage ist eindeutig. Analysen von RAG-Implementierungen in Unternehmen zeigen, dass rund 80 % der Systeme auf kritische Genauigkeitsprobleme stoßen. Etwa 73 % dieser Fehler entstehen beim Retrieval, nicht beim Modell. Dabei beeinflusst die Qualität der abgerufenen Daten die Halluzinationsrate weitaus stärker als die Wahl des Modells.

In jeder Zeile wurde dasselbe Modell verwendet. Der Unterschied von 6 % zu 35 % stammt aus einer Studie von JMIR Cancer, bei der sich ausschließlich die Datenqualität geändert hat, nicht das Modell. Der entscheidende Faktor für die Halluzinationsrate war das, was beim Retrieval abgerufen wurde.

Warum die Schuldzuweisung an das Modell Zeit und Geld kostet

Hier liegt der teure Fehler, den diese neue Perspektive verhindert. Sobald Halluzinationen auftreten, ist der übliche Reflex, das Modell aufzurüsten: GPT durch Claude zu ersetzen, Claude durch Gemini und jedem neuen Benchmark-Sieger hinterherzujagen. Doch wenn 73 % Ihrer Fehler im Retrieval liegen, ändert ein Modellwechsel an den Zahlen kaum etwas. Sie investieren ein Quartal und ein Migrationsbudget, die Halluzinationsrate sinkt vielleicht um ein oder zwei Prozentpunkte, und am Ende wundern sich alle, warum das intelligentere Modell nicht geholfen hat.

Es hat nicht geholfen, weil es nie der Flaschenhals war. Ein besseres Modell formuliert fehlerhaften Kontext nur flüssiger. Es ändert nichts an der Tatsache, dass der Kontext schlichtweg falsch war.

Die häufigsten Fehlerquellen beim Retrieval

Wer an der richtigen Stelle sucht, stößt immer wieder auf dieselben Fehlerursachen:

• Schlechtes Chunking. Dokumente werden so ungünstig aufgeteilt, dass die relevante Information vom Kontext getrennt wird, der sie erst verständlich macht.

• Schwache Embeddings. Das Retrieval-System kann eine tatsächlich relevante Textpassage nicht von einer oberflächlich ähnlichen unterscheiden.

• Veraltete Dokumente. Die abgerufene Richtlinie oder der Preis ist zwar real, aber veraltet – und das Modell hat keine Möglichkeit, dies zu erkennen.

• Irrelevante Ergebnisse, die dennoch genutzt werden. Das Retrieval liefert ein Ergebnis, das Modell verwendet es, und niemand hat geprüft, ob es überhaupt relevant war.

• Leeres Retrieval, trotzdem geantwortet. Der schlechteste Fall: Das Retrieval findet nichts, das Modell füllt die Lücke mit Daten aus seinem Training, und Sie erhalten eine sprachlich einwandfreie, aber völlig frei erfundene Antwort.

Jeder dieser Punkte ist eine technische Herausforderung mit einer bekannten Lösung. Keiner davon wird durch ein größeres Modell gelöst.

Wie man Halluzinationen von Agenten wirklich reduziert

Die Lösung besteht darin, das Retrieval als das zu behandeln, was es ist – das Fundament für Zuverlässigkeit – und den Agenten so zu konzipieren, dass er im Zweifelsfall lieber klar absagt, als selbstbewusst falsche Antworten zu geben.

• Die Daten kontrollieren. Der mit Abstand größte Hebel. Kuratierte, aktuelle und domainspezifische Quellen steigern die Retrieval-Genauigkeit von 45–60 % auf 85–92 %.

• Retrieval und Generierung getrennt messen. Die meisten Teams bewerten nur die finale Antwort. Evaluieren Sie stattdessen primär, ob überhaupt der richtige Kontext abgerufen wurde – dort liegen die meisten Fehler.

• Dem Agenten erlauben, „Ich weiß es nicht“ zu sagen. Ein Agent, der bei einem leeren Retrieval mit „Ich konnte dazu nichts finden“ antwortet, ist um Längen besser als einer, der eine plausible Antwort erfindet. Planen Sie das Fehlen von Ergebnissen standardmäßig ein.

• Menschliche Überprüfung bei geringem Vertrauenswert. Wenn die Retrieval-Sicherheit niedrig ist, leiten Sie die Anfrage an einen Mitarbeiter weiter, anstatt das System raten zu lassen. Das ist der Grund, warum produktive Agenten auch bei hoher Auslastung zuverlässig bleiben. Nicht, weil das Modell fehlerfrei ist, sondern weil das System die Fälle abfängt, in denen das Retrieval versagt hat.

Das zeigt auch, warum ein modellunabhängiger Ansatz so wichtig ist. Wenn sich Zuverlässigkeit im Retrieval entscheidet, ist die Frage, welches Modell Sie nutzen, weniger wichtig als die Art und Weise, wie Sie es mit Kontext füttern und überprüfen. In den Produktivumgebungen von Beam AI resultiert die hohe Genauigkeit aus dem Engineering des Retrievals und den Kontrollmechanismen um das Modell herum. Wenn ein Inkasso-Agent Fälle mit einer Genauigkeit von 96 % und einer Regressionsrate von unter 2 % klassifiziert, ist das kein Verdienst eines „magischen“ Modells, sondern das Ergebnis eines hervorragend aufgebauten Systems.

Ein neues Fazit

Hören Sie auf, Halluzinationen als ein Schicksalspiel zu betrachten, das Sie nur durch ständige Modell-Upgrades gewinnen können. Es ist ein technisches Problem, das größtenteils im Retrieval liegt. Optimieren Sie das, was dem Agenten übergeben wird, messen Sie, ob es das Richtige war, und erlauben Sie dem System zuzugeben, wenn Informationen fehlen. Das Modell ist selten das Problem. Es ist das, was man ihm vorsetzt.