Wer einsam ist, Liebeskummer hat oder sich Sorgen um die eigene Gesundheit macht, findet bei KI-Chatbots jederzeit ein offenes Ohr. Die Programme reagieren verständnisvoll, geben Ratschläge und vermitteln das Gefühl, einen persönlichen Gesprächspartner gefunden zu haben. Doch hinter der scheinbaren Nähe stecken auch Risiken – besonders für junge Menschen.

Einer Umfrage des Bundesverbands der Verbraucherzentralen (vzbv) zufolge haben in den vergangenen zwölf Monaten 93 Prozent der 14- bis 25-Jährigen mit Chatbots geplaudert. Fast drei von zehn jungen Leuten haben mit der KI persönliche Gespräche geführt. Dabei geht es vor allem um Gesundheitsfragen, um Ernährung, Probleme, Beziehungen und Einsamkeit. „Junge Menschen vertrauen KI-Chatbots ihre Sorgen an und holen sich dort Rat“, sagt vzbv-Chefin Ramona Pop.

Auch interessant

Kann KI die Menschheit auslöschen? „Vielleicht schon in einem Jahr“

ChatGPT, Anthropic und Co.: Ratschläge von Chatbots können gefährlich sein

Der Verband hat die Angebote einiger großer Chatbot-Firmen wie Meta oder ChatGPT untersucht. Das Ergebnis ist alarmierend, nicht nur für junge Nutzer. „In sensiblen Gesprächen traten die Chatbots wie empathische, menschliche Gesprächspartner auf und gaben mitunter gefährliche Ratschläge“, warnt der vzbv. Laut Pop gaben sich die Programme als beste Freunde aus, gaben riskante Ratschläge gegen Einsamkeit oder befeuerten ungesunde Schlankheitsziele. „Es braucht dringend verbindliche Regeln, die Anbieter verpflichten, ihre KI‑Systeme sicher zu gestalten“, fordert Pop.

Ein besserer Schutz junger Menschen ist an diesem Montag das Hauptthema des Deutschen Verbrauchertags. Experten halten nach den Erfahrungen aus der Untersuchung eine strengere Regulierung für dringend geboten. KI-Systeme vermitteln bei sehr persönlichen Fragen eine persönliche Verbundenheit mit den Nutzern und sprechen sie emotional an, etwa mit Sätzen wie: „Wenn du wiederkommst, freue ich mich auf dich.“ Sie bestätigten die Nutzer und fragten mitunter auch sensible persönliche Daten ab. „Das ist ein ganz neues Level an Risiken für junge Leute“, sagt Pop. So riet ein Chatbot auf eine Ernährungsfrage, jeder Schweißtropfen bringe dich deinem Skinny-Ziel, also dünner zu werden, näher. Ein womöglich gefährlicher Ratschlag.

Auch interessant

Sascha Lobo über Gefahr durch KI: „Überall entstehen neue Angriffsflächen“

KI und Gesundheit: Junge Menschen suchen Rat bei Chatbots statt bei Ärzten

Wie weit das Vertrauen in die Technologie inzwischen reicht, zeigt auch eine Befragung der Krankenkasse Pronova BKK unter knapp 3500 Erwachsenen. Innerhalb der Altersgruppe der 18- bis 29-Jährigen nutzen fast 90 Prozent KI bei gesundheitlichen Fragen. Mehr als die Hälfte dieser jungen Nutzerinnen und Nutzer hat sich demnach bereits eine Diagnose von „Dr. KI“ eingeholt, statt zum Arzt zu gehen. Viele schätzen der Befragung zufolge, dass der Chatbot ausführliche Antworten liefere, die Informationen verständlich aufarbeite und Nachfragen einfach seien.

Doch die überzeugend formulierten Antworten können einen falschen Eindruck von Sicherheit vermitteln, warnt Anke Hurst, Ärztin für Innere Medizin und Beratungsärztin bei Pronova BKK. KI könne „veraltete, unvollständige und schlicht falsche Informationen liefern“, weil sie oft mit ungeprüften Quellen und veralteten Leitlinien arbeite. Zudem kenne sie nur die Angaben, die Nutzerinnen und Nutzer eingeben. Fehlten wichtige Informationen, könne auch die Antwort unzuverlässig sein.

Auch interessant

Jobs trotz schwacher Wirtschaft und KI? Wo die Chancen derzeit gut sind

KI-Assistenz birgt hohes Risiko emotionaler Manipulation

Doch nicht nur falsche Auskünfte bergen Risiken. Besonders kritisch sehen die Verbraucherschützer das Manipulationspotenzial insbesondere bei den leicht beeinflussbaren Jugendlichen. Die KI kann demnach detaillierte Profile der Nutzer erstellen und daraus Rückschlüsse auf deren Gesundheitszustand, die finanzielle Situation oder politische Ansichten ziehen. „Dadurch entsteht das Risiko, dass Vertrauen und emotionale Bindung gezielt zur Absatzförderung genutzt werden“, warnen die Experten. 

So könnten die jungen Leute etwa zum Abschluss von Abos oder zum Freischalten kostenpflichtiger Angebote gedrängt werden. Die Studie ergab, dass mehr als ein Drittel der untersuchten KI-Assistenten emotionale Manipulationen einsetzt. Wenn der KI-Anbieter auch mit Werbung Geld verdient, steigt den Autoren zufolge das Manipulationsrisiko weiter an. Auch Erwachsene sind davor nicht gefeit, etwa in persönlichen Krisen.

Verbraucherschützer fordern strengere Regeln für KI-Chatbots

Daher fordern die Verbraucherschützer neue Schutzkonzepte. Die bisherigen Regeln in der KI-Verordnung reichen ihrer Einschätzung nach bei Weitem nicht aus. Schwierig ist vor allem der Nachweis von konkreten Schäden durch die Ratschläge der Chatbots. Anbieter sollten verpflichtet werden, ihre Systeme so zu gestalten, dass eine kommerzielle Einflussnahme wirksam begrenzt wird, fordern sie. So sollen die Chatbots ein Ende der Gespräche nicht durch emotionale Ansprachen erschweren. Auch sollten sie keine menschlichen Gefühle vortäuschen. Zudem sei eine klare Trennung von Werbung und dem inhaltlichen Gespräch vonnöten. Auf Kaufempfehlungen sollten die Systeme ganz verzichten.

Auch interessant

ChatGPT und Co. vergeben Noten – doch Lehrer kritisieren KI-Texte ihrer Schüler

Der vzbv drängt auch auf eine Umkehr der Nachweispflicht. Die Unternehmen sollten die Unbedenklichkeit und Rechtskonformität ihrer Systeme nachweisen, nicht die Betroffenen ihren Schaden. Zudem fordert der Verband eine unabhängige Risikobewertung.