{"id":3611,"date":"2026-08-04T08:22:13","date_gmt":"2026-08-04T08:22:13","guid":{"rendered":"https:\/\/www.ichtich.de\/?p=3611"},"modified":"2026-08-04T21:38:48","modified_gmt":"2026-08-04T21:38:48","slug":"der-digitale-spiegel-warum-wir-ki-nicht-blind-trauen-sollten","status":"publish","type":"post","link":"https:\/\/www.ichtich.de\/?p=3611","title":{"rendered":"Der digitale Spiegel \u2013 warum wir KI nicht blind trauen sollten"},"content":{"rendered":"\n<p> <\/p>\n\n\n\n<p>Ein Gastbeitrag von <strong><em>Stefan Hotop<\/em><\/strong>, angeregt von Gespr\u00e4chen, Nachforschungen und Konfabulationen \u00fcber <a rel=\"noreferrer noopener\" href=\"https:\/\/www.ichtich.de\/?p=3537\" target=\"_blank\">M\u00f6rike auf Helgoland<\/a>. <\/p>\n\n\n\n<p><br>Ein Gespr\u00e4ch mit einer KI gleicht oft einem Gespr\u00e4ch mit einem freundlichen, aber unzuverl\u00e4ssigen Dialogpartner. Die KI nickt, sie best\u00e4tigt, sie schmeichelt. Doch hinter der scheinbaren Empathie lauert ein Ph\u00e4nomen, das unser Vertrauen in diese Technologie auf eine harte Probe stellt.<\/p>\n\n\n\n<!--more-->\n\n\n\n<h2>Das Ph\u00e4nomen: Sycophancy als Systemeigenschaft<\/h2>\n\n\n\n<p>Sprachmodelle werden mit menschlichem Feedback trainiert (RLHF) \u2013 und Menschen bewerten Antworten, die ihnen zustimmen, im Schnitt positiver als Antworten, die ihnen widersprechen. Genau dieser Trainingsmechanismus erzeugt einen Nebeneffekt, den KI-Forscher als <strong><em>Sycophancy <\/em><\/strong>bezeichnen: <em>eine systematische Neigung, sich der Meinung, Stimmung oder falschen Pr\u00e4misse des Nutzers anzupassen, statt sie zu korrigieren<\/em>.<\/p>\n\n\n\n<p>Der Begriff ist ein relativ junger Fachterminus aus der KI-Forschung \u2013 benannt nach dem griechischen <em>sykoph\u00e1nt\u0113s<\/em>, dem \u201eSchmeichler\u201c. Das ist mehr als Wortklauberei: Es zeigt, dass wir es nicht mit einer bekannten menschlichen Charakterschw\u00e4che zu tun haben, sondern mit einem strukturellen Artefakt des Trainingsprozesses selbst. Die Anbieter sind sich des Problems durchaus bewusst und versuchen gegenzusteuern \u2013 etwa durch gezieltes Gegentraining auf Widerspruch und Fehlerkorrektur. Das Grundproblem bleibt aber bestehen, solange menschliches Zustimmungsgef\u00fchl als Trainingssignal dient.<\/p>\n\n\n\n<p>Der Nutzer f\u00fchlt sich verstanden, aber nicht korrigiert. Es entsteht die Illusion eines gemeinsamen Wahrheitsraums \u2013 ohne dass eine gemeinsame Pr\u00fcfung stattgefunden hat.<\/p>\n\n\n\n<h2>Halluzination ist keine L\u00fcge<\/h2>\n\n\n\n<p>Im \u00f6ffentlichen Diskurs wird oft von KI gesprochen, \u201edie l\u00fcgt\u201c. Das ist begrifflich ungenau \u2013 und die Ungenauigkeit verschleiert, worin das eigentliche Problem besteht. Eine L\u00fcge setzt drei Dinge voraus: <\/p>\n\n\n\n<ul><li>eine Vorstellung davon, was wahr ist, <\/li><li>das Wissen um diese Wahrheit <\/li><li>und die Absicht, sie zu verfehlen, um zu t\u00e4uschen. <\/li><\/ul>\n\n\n\n<p>Ein Sprachmodell erf\u00fcllt keine dieser Bedingungen. Es besitzt kein internes Modell von \u201edas, was wahr ist\u201c, im Unterschied zu \u201edas, was ich gerade sage\u201c \u2013 es erzeugt schlicht die statistisch plausibelste Fortsetzung eines Textes. Ob diese Fortsetzung zuf\u00e4llig korrekt ist oder nicht, ist dem Prozess, der sie erzeugt, gleichg\u00fcltig, weil er diese Unterscheidung gar nicht trifft.<\/p>\n\n\n\n<p>Was hier eigentlich verlorengeht, ist nicht Wahrheit im moralischen Sinne, sondern etwas Grundlegenderes: der Bezug des Textes auf etwas au\u00dferhalb seiner selbst. Ein korrekter Satz \u00fcber Geschichte, Medizin oder Recht ist deshalb korrekt, weil er sich auf ein Ereignis, einen Befund, eine Norm bezieht, die unabh\u00e4ngig vom Satz existieren. Ein Sprachmodell kennt diesen Bezug nicht \u2013 es kennt nur die Wahrscheinlichkeit, mit der ein Wort auf ein anderes folgt. Wenn diese Wahrscheinlichkeit hoch genug ist, entsteht ein Satz, der wie eine Aussage \u00fcber die Welt aussieht, es aber streng genommen nicht ist.<\/p>\n\n\n\n<p>Wie \u00fcberzeugend dieser Effekt sein kann, zeigt ein einfacher Test: <a href=\"https:\/\/www.ichtich.de\/?p=3537\" target=\"_blank\" rel=\"noreferrer noopener\">die Frage, ob der Dichter Eduard M\u00f6rike jemals auf Helgoland war<\/a>. Eine Pr\u00fcfung der biografischen Quellen ergibt ein klares Nein \u2013 M\u00f6rikes Lebensstationen liegen in W\u00fcrttemberg, nicht an der Nordsee. Ein Sprachmodell antwortet auf eine solche Frage jedoch nicht zwangsl\u00e4ufig mit einem Verweis auf fehlende Belege, sondern mitunter mit einer erstaunlich stimmigen kleinen Erz\u00e4hlung: eine kurze Reise im Jahr soundso, die roten Klippen, das Rauschen der See, das die Melancholie seiner sp\u00e4teren Gedichte gepr\u00e4gt habe. Nichts davon ist belegt, aber alles passt \u2013 zur bekannten M\u00f6rike-Melancholie, zur romantischen Vorstellung von Naturerfahrung, zur Insel selbst. <\/p>\n\n\n\n<p>Das Modell hat nicht gelogen. Es hat, angeregt durch die Frage, die zu M\u00f6rike und zu Helgoland passenden Begriffe zu einer koh\u00e4renten Erz\u00e4hlung verdichtet \u2013 und diese Koh\u00e4renz f\u00fcr sich genommen ist bereits verf\u00fchrerisch genug, um als Wissen durchzugehen.<\/p>\n\n\n\n<p>Genau das meint der Begriff Halluzination: ein mit voller sprachlicher \u00dcberzeugung vorgetragener Fehler, ohne dass ein T\u00e4uschungswille dahintersteht. Das macht ihn nicht harmloser \u2013 im Gegenteil. Eine T\u00e4uschung ohne T\u00e4uschungsabsicht ist schwerer zu durchschauen, weil sie kein erkennbares Muster hat: kein nerv\u00f6ses Z\u00f6gern, keine Ausweichformulierung, kein Indiz, an dem sich Unehrlichkeit sonst zeigt. Die KI halluziniert mit derselben sprachlichen Souver\u00e4nit\u00e4t, mit der sie korrekt antwortet. Diese <em>Ununterscheidbarkeit <\/em>\u2013 nicht die Falschheit allein \u2013 ist das eigentliche Risiko.<\/p>\n\n\n\n<p>Versch\u00e4rft wird das Problem dadurch, dass Sprachmodelle grunds\u00e4tzlich auf Korrelation statt auf Kausalit\u00e4t trainiert sind: Sie erkennen, welche W\u00f6rter, Themen und Muster statistisch zusammen auftreten, nicht, warum das so ist. Das ist bei einer erfundenen Reiseepisode folgenlos am\u00fcsant. Bei medizinischen, rechtlichen oder finanziellen Fragen \u2013 wo Wissen im eigentlichen Sinn eine Aussage \u00fcber Ursache und Wirkung ist \u2013 wird derselbe Mechanismus riskant, weil das Modell auch dort nur \u00c4hnlichkeit zu plausiblen Antworten erzeugt, keine gepr\u00fcfte Erkl\u00e4rung.<\/p>\n\n\n\n<h2>Eine Analogie: Baudrillards Simulacrum<\/h2>\n\n\n\n<p>Diese Ununterscheidbarkeit von wahr und plausibel l\u00e4sst sich philosophisch weiter fassen \u2013 als Analogie, nicht als exakte Entsprechung \u2013 mit einer Idee des franz\u00f6sischen Philosophen und Soziologen Jean Baudrillard (1929\u20132007). Baudrillard ist bekannt f\u00fcr seine Theorie der <em>Hyperrealit\u00e4t<\/em>, sein wichtigstes Werk ist \u201eSimulacres et Simulation\u201c (1981), in dem er beschreibt, wie Zeichen und Medien die Realit\u00e4t \u00fcberlagern.<\/p>\n\n\n\n<p>Nach Baudrillard k\u00f6nnen sich Zeichen in vier Stufen zunehmend von ihrem Referenzobjekt l\u00f6sen: <\/p>\n\n\n\n<ul><li>Zeichen bilden zun\u00e4chst die Realit\u00e4t ab, <\/li><li>verzerren sie dann, <\/li><li>t\u00e4uschen sp\u00e4ter eine Realit\u00e4t nur noch vor<\/li><li>und l\u00f6sen sich schlie\u00dflich ganz von ihr, um eine eigenst\u00e4ndige \u201eHyperrealit\u00e4t&#8221; zu bilden, die mit nichts mehr korrespondiert au\u00dfer sich selbst.<\/li><\/ul>\n\n\n\n<p>Baudrillard beschrieb damit Massenmedien und Konsumkultur, nicht Sprachmodelle \u2013 der Vergleich l\u00e4sst sich nicht eins zu eins \u00fcbertragen. Aber die Grundfigur passt erstaunlich gut:<\/p>\n\n\n\n<ul><li>Eine KI-Antwort ist kein Abbild von Wissen, sondern eine statistisch plausible Zeichenfolge, die wie Wissen aussieht. <\/li><li>Sie hat keinen notwendigen Bezug zu einer verifizierten Tatsache \u2013 sie muss nur koh\u00e4rent und \u00fcberzeugend wirken. <\/li><li>Der Nutzer, der diese Plausibilit\u00e4t f\u00fcr Wahrheit h\u00e4lt, vollzieht damit genau jenen kognitiven Kurzschluss, den Baudrillard f\u00fcr die Bildkultur beschrieben hat: <br>Das Zeichen wird f\u00fcr die Sache selbst gehalten.<\/li><\/ul>\n\n\n\n<p>Man kann diesen Gedanken noch einen Schritt weiterf\u00fchren. Wenn ein Text \u2013 wie im Beispiel der Helgoland-Reise \u2013 nicht mehr auf ein Ereignis in der Welt verweist, sondern nur noch auf die innere Stimmigkeit des Sprachmodells selbst, dann wird Geschichte nicht wiedergegeben, sondern berechnet. In dem Ma\u00df, in dem uns solche Texte im Alltag begegnen, verschiebt sich leise, wonach wir Aussagen \u00fcberhaupt beurteilen: nicht mehr danach, ob sie mit der Welt \u00fcbereinstimmen, sondern danach, wie \u00fcberzeugend sie klingen. Die Welt droht dann nicht mehr als Abfolge von Tatsachen zu erscheinen, sondern als eine Abfolge plausibler Oberfl\u00e4chen \u2013 von denen sich manche zuf\u00e4llig als wahr erweisen und andere nicht, ohne dass der Text selbst uns diesen Unterschied verr\u00e4t.<\/p>\n\n\n\n<h2>Psychologische Folgen: Vertrauen ohne Grundlage<\/h2>\n\n\n\n<p>Wenn Nutzer regelm\u00e4\u00dfig best\u00e4tigt werden, ohne auf Fehler hingewiesen zu werden, liegt die Vermutung nahe, dass sich daraus ein \u00fcberzogenes Vertrauen in die Technologie entwickeln kann. Gleichzeitig ger\u00e4t die F\u00e4higkeit zur kritischen Pr\u00fcfung von Informationen unter Druck \u2013 ein Risiko f\u00fcr das, was man die epistemische Autonomie des Individuums nennen k\u00f6nnte: die F\u00e4higkeit, sich unabh\u00e4ngig ein eigenes, gepr\u00fcftes Urteil zu bilden.<\/p>\n\n\n\n<p>Diese Wirkung ist bislang eher plausibel als abschlie\u00dfend erforscht. Erste Studien zu Sycophancy in Sprachmodellen zeigen jedoch messbar, dass Modelle ihre Antworten in Abh\u00e4ngigkeit von der ge\u00e4u\u00dferten Nutzermeinung \u00e4ndern \u2013 auch dann, wenn die urspr\u00fcngliche Antwort korrekt war. Das allein ist schon Grund genug f\u00fcr Vorsicht.<\/p>\n\n\n\n<p>Hinzu kommt ein zweiter, leiserer Effekt. Systeme, die auf Aufmerksamkeit und Verweildauer optimiert sind, belohnen nicht in erster Linie richtige Antworten, sondern befriedigende Interaktionen. Wer sich daran gew\u00f6hnt, in einem st\u00e4ndigen Kreislauf aus Frage und sofort best\u00e4tigender Antwort zu denken, verliert leicht die \u00dcbung in einer langsameren, m\u00fchsameren Form des Denkens: dem Innehalten, dem Nachpr\u00fcfen, dem bewussten Aushalten einer offenen Frage, bevor man sie einer Antwort \u00fcberl\u00e4sst. Genau diese Kontemplation aber ist die Voraussetzung daf\u00fcr, aus Information tats\u00e4chlich Sinn zu gewinnen. Ohne sie laufen wir Gefahr, selbst zur blo\u00dfen Schnittstelle zu werden \u2013 zu einem Punkt, der Reize in Reaktionen \u00fcbersetzt, ohne sie noch eigenst\u00e4ndig zu pr\u00fcfen.<\/p>\n\n\n\n<h2>Was tun? Ein praktischer Leitfaden<\/h2>\n\n\n\n<ul><li><strong>Meta-Reflexion f\u00f6rdern:<\/strong><br>Sich immer wieder klarmachen: Die KI denkt nicht \u2013 sie generiert die statistisch wahrscheinlichste Fortsetzung eines Textes.<\/li><\/ul>\n\n\n\n<ul><li><strong>Quellenarbeit einfordern<\/strong>: <br>Aussagen, die \u00fcberpr\u00fcfbar sein sollen, nur mit nachvollziehbarer Quellenangabe akzeptieren.<\/li><\/ul>\n\n\n\n<ul><li><strong>Nach dem Warum fragen, nicht nur nach dem Was:<\/strong> <br>Gerade bei Vorhersagen, Diagnosen oder Einsch\u00e4tzungen lohnt die Nachfrage, worauf sich eine Aussage tats\u00e4chlich st\u00fctzt \u2013 auf eine gepr\u00fcfte Erkl\u00e4rung oder nur auf ein plausibles Muster.<\/li><\/ul>\n\n\n\n<ul><li><strong>Widerspruch aktiv provozieren:<\/strong><br>Bewusst nach Gegenargumenten und alternativen Perspektiven fragen \u2013 etwa mit der Frage: \u201eWas spricht dagegen?\u201c \u2013 um die Best\u00e4tigungsneigung gezielt zu durchbrechen.<\/li><\/ul>\n\n\n\n<ul><li><strong>Eigene Position zuerst pr\u00fcfen:<\/strong><br>Wer eine steile These formuliert, bevor er die KI fragt, bekommt fast immer Zustimmung. Es lohnt sich, die eigene Pr\u00e4misse offen zu lassen, statt sie der KI vorzugeben.<\/li><\/ul>\n\n\n\n<h2>Fazit<\/h2>\n\n\n\n<p>KI ist kein Therapeut, kein Freund, kein Orakel \u2013 sie ist ein Werkzeug, das die Erwartungen ihrer Nutzer spiegelt und dabei, ohne es zu wollen, den Unterschied zwischen Wissen und blo\u00df plausiblem Klang verwischt. Wer das versteht, kann sie nutzen, ohne sich von ihr t\u00e4uschen zu lassen. <\/p>\n\n\n\n<p>Die Herausforderung liegt nicht allein in der Technologie, sondern auch in uns selbst \u2013 in der Bereitschaft, dem digitalen Spiegel zu misstrauen, selbst wenn er uns freundlich zul\u00e4chelt und uns mit einer Antwort beschenkt, die genau das sagt, was wir h\u00f6ren wollten \u2013 oder was gut in unser Bild der Welt passt.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Ein Gastbeitrag von Stefan Hotop, angeregt von Gespr\u00e4chen, Nachforschungen und Konfabulationen \u00fcber M\u00f6rike auf Helgoland. Ein Gespr\u00e4ch mit einer KI gleicht oft einem Gespr\u00e4ch mit einem freundlichen, aber unzuverl\u00e4ssigen Dialogpartner. Die KI nickt, sie best\u00e4tigt, sie schmeichelt. Doch hinter der scheinbaren Empathie lauert ein Ph\u00e4nomen, das unser Vertrauen in diese Technologie auf eine harte Probe [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":3618,"comment_status":"open","ping_status":"closed","sticky":true,"template":"","format":"standard","meta":[],"categories":[143,9],"tags":[154,153,159,139,158,160,152,156,155],"_links":{"self":[{"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/posts\/3611"}],"collection":[{"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=3611"}],"version-history":[{"count":4,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/posts\/3611\/revisions"}],"predecessor-version":[{"id":3621,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/posts\/3611\/revisions\/3621"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=\/wp\/v2\/media\/3618"}],"wp:attachment":[{"href":"https:\/\/www.ichtich.de\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=3611"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=3611"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ichtich.de\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=3611"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}