Ein Gastbeitrag von Stefan Hotop, angeregt von Gesprächen, Nachforschungen und Konfabulationen über Mörike auf Helgoland.

Ein Gespräch mit einer KI gleicht oft einem Gespräch mit einem freundlichen, aber unzuverlässigen Dialogpartner. Die KI nickt, sie bestätigt, sie schmeichelt. Doch hinter der scheinbaren Empathie lauert ein Phänomen, das unser Vertrauen in diese Technologie auf eine harte Probe stellt.

Das Phänomen: Sycophancy als Systemeigenschaft

Sprachmodelle werden mit menschlichem Feedback trainiert (RLHF) – und Menschen bewerten Antworten, die ihnen zustimmen, im Schnitt positiver als Antworten, die ihnen widersprechen. Genau dieser Trainingsmechanismus erzeugt einen Nebeneffekt, den KI-Forscher als Sycophancy bezeichnen: eine systematische Neigung, sich der Meinung, Stimmung oder falschen Prämisse des Nutzers anzupassen, statt sie zu korrigieren.

Der Begriff ist ein relativ junger Fachterminus aus der KI-Forschung – benannt nach dem griechischen sykophántēs, dem „Schmeichler“. Das ist mehr als Wortklauberei: Es zeigt, dass wir es nicht mit einer bekannten menschlichen Charakterschwäche zu tun haben, sondern mit einem strukturellen Artefakt des Trainingsprozesses selbst. Die Anbieter sind sich des Problems durchaus bewusst und versuchen gegenzusteuern – etwa durch gezieltes Gegentraining auf Widerspruch und Fehlerkorrektur. Das Grundproblem bleibt aber bestehen, solange menschliches Zustimmungsgefühl als Trainingssignal dient.

Der Nutzer fühlt sich verstanden, aber nicht korrigiert. Es entsteht die Illusion eines gemeinsamen Wahrheitsraums – ohne dass eine gemeinsame Prüfung stattgefunden hat.

Halluzination ist keine Lüge

Im öffentlichen Diskurs wird oft von KI gesprochen, „die lügt“. Das ist begrifflich ungenau – und die Ungenauigkeit verschleiert, worin das eigentliche Problem besteht. Eine Lüge setzt drei Dinge voraus:

• eine Vorstellung davon, was wahr ist,
• das Wissen um diese Wahrheit
• und die Absicht, sie zu verfehlen, um zu täuschen.

Ein Sprachmodell erfüllt keine dieser Bedingungen. Es besitzt kein internes Modell von „das, was wahr ist“, im Unterschied zu „das, was ich gerade sage“ – es erzeugt schlicht die statistisch plausibelste Fortsetzung eines Textes. Ob diese Fortsetzung zufällig korrekt ist oder nicht, ist dem Prozess, der sie erzeugt, gleichgültig, weil er diese Unterscheidung gar nicht trifft.

Was hier eigentlich verlorengeht, ist nicht Wahrheit im moralischen Sinne, sondern etwas Grundlegenderes: der Bezug des Textes auf etwas außerhalb seiner selbst. Ein korrekter Satz über Geschichte, Medizin oder Recht ist deshalb korrekt, weil er sich auf ein Ereignis, einen Befund, eine Norm bezieht, die unabhängig vom Satz existieren. Ein Sprachmodell kennt diesen Bezug nicht – es kennt nur die Wahrscheinlichkeit, mit der ein Wort auf ein anderes folgt. Wenn diese Wahrscheinlichkeit hoch genug ist, entsteht ein Satz, der wie eine Aussage über die Welt aussieht, es aber streng genommen nicht ist.

Wie überzeugend dieser Effekt sein kann, zeigt ein einfacher Test: die Frage, ob der Dichter Eduard Mörike jemals auf Helgoland war. Eine Prüfung der biografischen Quellen ergibt ein klares Nein – Mörikes Lebensstationen liegen in Württemberg, nicht an der Nordsee. Ein Sprachmodell antwortet auf eine solche Frage jedoch nicht zwangsläufig mit einem Verweis auf fehlende Belege, sondern mitunter mit einer erstaunlich stimmigen kleinen Erzählung: eine kurze Reise im Jahr soundso, die roten Klippen, das Rauschen der See, das die Melancholie seiner späteren Gedichte geprägt habe. Nichts davon ist belegt, aber alles passt – zur bekannten Mörike-Melancholie, zur romantischen Vorstellung von Naturerfahrung, zur Insel selbst.

Das Modell hat nicht gelogen. Es hat, angeregt durch die Frage, die zu Mörike und zu Helgoland passenden Begriffe zu einer kohärenten Erzählung verdichtet – und diese Kohärenz für sich genommen ist bereits verführerisch genug, um als Wissen durchzugehen.

Genau das meint der Begriff Halluzination: ein mit voller sprachlicher Überzeugung vorgetragener Fehler, ohne dass ein Täuschungswille dahintersteht. Das macht ihn nicht harmloser – im Gegenteil. Eine Täuschung ohne Täuschungsabsicht ist schwerer zu durchschauen, weil sie kein erkennbares Muster hat: kein nervöses Zögern, keine Ausweichformulierung, kein Indiz, an dem sich Unehrlichkeit sonst zeigt. Die KI halluziniert mit derselben sprachlichen Souveränität, mit der sie korrekt antwortet. Diese Ununterscheidbarkeit – nicht die Falschheit allein – ist das eigentliche Risiko.

Verschärft wird das Problem dadurch, dass Sprachmodelle grundsätzlich auf Korrelation statt auf Kausalität trainiert sind: Sie erkennen, welche Wörter, Themen und Muster statistisch zusammen auftreten, nicht, warum das so ist. Das ist bei einer erfundenen Reiseepisode folgenlos amüsant. Bei medizinischen, rechtlichen oder finanziellen Fragen – wo Wissen im eigentlichen Sinn eine Aussage über Ursache und Wirkung ist – wird derselbe Mechanismus riskant, weil das Modell auch dort nur Ähnlichkeit zu plausiblen Antworten erzeugt, keine geprüfte Erklärung.

Eine Analogie: Baudrillards Simulacrum

Diese Ununterscheidbarkeit von wahr und plausibel lässt sich philosophisch weiter fassen – als Analogie, nicht als exakte Entsprechung – mit einer Idee des französischen Philosophen und Soziologen Jean Baudrillard (1929–2007). Baudrillard ist bekannt für seine Theorie der Hyperrealität, sein wichtigstes Werk ist „Simulacres et Simulation“ (1981), in dem er beschreibt, wie Zeichen und Medien die Realität überlagern.

Nach Baudrillard können sich Zeichen in vier Stufen zunehmend von ihrem Referenzobjekt lösen:

• Zeichen bilden zunächst die Realität ab,
• verzerren sie dann,
• täuschen später eine Realität nur noch vor
• und lösen sich schließlich ganz von ihr, um eine eigenständige „Hyperrealität” zu bilden, die mit nichts mehr korrespondiert außer sich selbst.

Baudrillard beschrieb damit Massenmedien und Konsumkultur, nicht Sprachmodelle – der Vergleich lässt sich nicht eins zu eins übertragen. Aber die Grundfigur passt erstaunlich gut:

• Eine KI-Antwort ist kein Abbild von Wissen, sondern eine statistisch plausible Zeichenfolge, die wie Wissen aussieht.
• Sie hat keinen notwendigen Bezug zu einer verifizierten Tatsache – sie muss nur kohärent und überzeugend wirken.
• Der Nutzer, der diese Plausibilität für Wahrheit hält, vollzieht damit genau jenen kognitiven Kurzschluss, den Baudrillard für die Bildkultur beschrieben hat:
  Das Zeichen wird für die Sache selbst gehalten.

Man kann diesen Gedanken noch einen Schritt weiterführen. Wenn ein Text – wie im Beispiel der Helgoland-Reise – nicht mehr auf ein Ereignis in der Welt verweist, sondern nur noch auf die innere Stimmigkeit des Sprachmodells selbst, dann wird Geschichte nicht wiedergegeben, sondern berechnet. In dem Maß, in dem uns solche Texte im Alltag begegnen, verschiebt sich leise, wonach wir Aussagen überhaupt beurteilen: nicht mehr danach, ob sie mit der Welt übereinstimmen, sondern danach, wie überzeugend sie klingen. Die Welt droht dann nicht mehr als Abfolge von Tatsachen zu erscheinen, sondern als eine Abfolge plausibler Oberflächen – von denen sich manche zufällig als wahr erweisen und andere nicht, ohne dass der Text selbst uns diesen Unterschied verrät.

Psychologische Folgen: Vertrauen ohne Grundlage

Wenn Nutzer regelmäßig bestätigt werden, ohne auf Fehler hingewiesen zu werden, liegt die Vermutung nahe, dass sich daraus ein überzogenes Vertrauen in die Technologie entwickeln kann. Gleichzeitig gerät die Fähigkeit zur kritischen Prüfung von Informationen unter Druck – ein Risiko für das, was man die epistemische Autonomie des Individuums nennen könnte: die Fähigkeit, sich unabhängig ein eigenes, geprüftes Urteil zu bilden.

Diese Wirkung ist bislang eher plausibel als abschließend erforscht. Erste Studien zu Sycophancy in Sprachmodellen zeigen jedoch messbar, dass Modelle ihre Antworten in Abhängigkeit von der geäußerten Nutzermeinung ändern – auch dann, wenn die ursprüngliche Antwort korrekt war. Das allein ist schon Grund genug für Vorsicht.

Hinzu kommt ein zweiter, leiserer Effekt. Systeme, die auf Aufmerksamkeit und Verweildauer optimiert sind, belohnen nicht in erster Linie richtige Antworten, sondern befriedigende Interaktionen. Wer sich daran gewöhnt, in einem ständigen Kreislauf aus Frage und sofort bestätigender Antwort zu denken, verliert leicht die Übung in einer langsameren, mühsameren Form des Denkens: dem Innehalten, dem Nachprüfen, dem bewussten Aushalten einer offenen Frage, bevor man sie einer Antwort überlässt. Genau diese Kontemplation aber ist die Voraussetzung dafür, aus Information tatsächlich Sinn zu gewinnen. Ohne sie laufen wir Gefahr, selbst zur bloßen Schnittstelle zu werden – zu einem Punkt, der Reize in Reaktionen übersetzt, ohne sie noch eigenständig zu prüfen.

Was tun? Ein praktischer Leitfaden

• Meta-Reflexion fördern:
  Sich immer wieder klarmachen: Die KI denkt nicht – sie generiert die statistisch wahrscheinlichste Fortsetzung eines Textes.

• Quellenarbeit einfordern:
  Aussagen, die überprüfbar sein sollen, nur mit nachvollziehbarer Quellenangabe akzeptieren.

• Nach dem Warum fragen, nicht nur nach dem Was:
  Gerade bei Vorhersagen, Diagnosen oder Einschätzungen lohnt die Nachfrage, worauf sich eine Aussage tatsächlich stützt – auf eine geprüfte Erklärung oder nur auf ein plausibles Muster.

• Widerspruch aktiv provozieren:
  Bewusst nach Gegenargumenten und alternativen Perspektiven fragen – etwa mit der Frage: „Was spricht dagegen?“ – um die Bestätigungsneigung gezielt zu durchbrechen.

• Eigene Position zuerst prüfen:
  Wer eine steile These formuliert, bevor er die KI fragt, bekommt fast immer Zustimmung. Es lohnt sich, die eigene Prämisse offen zu lassen, statt sie der KI vorzugeben.

Fazit

KI ist kein Therapeut, kein Freund, kein Orakel – sie ist ein Werkzeug, das die Erwartungen ihrer Nutzer spiegelt und dabei, ohne es zu wollen, den Unterschied zwischen Wissen und bloß plausiblem Klang verwischt. Wer das versteht, kann sie nutzen, ohne sich von ihr täuschen zu lassen.

Die Herausforderung liegt nicht allein in der Technologie, sondern auch in uns selbst – in der Bereitschaft, dem digitalen Spiegel zu misstrauen, selbst wenn er uns freundlich zulächelt und uns mit einer Antwort beschenkt, die genau das sagt, was wir hören wollten – oder was gut in unser Bild der Welt passt.