Künstliche Intelligenz (KI) ist inzwischen in der Lage, Gespräche zu führen, Emotionen nachzuahmen und menschliches Verhalten zu simulieren. Frei verfügbare große Sprachmodelle (Large Language Models, LLMs), die häufig als personalisierte Chatbots oder KI-Charaktere eingesetzt werden, finden zunehmend Anwendung bei Fragen zur mentalen Gesundheit. Diese Entwicklungen eröffnen neue Chancen, sind jedoch gleichzeitig mit erheblichen Risiken verbunden – insbesondere für vulnerable Nutzergruppen. Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden und des Universitätsklinikums Carl Gustav Carus fordern daher in kürzlichen Veröffentlichungen eine stärkere regulatorische Aufsicht.

In ihrer Publikation „AI characters are dangerous without legal guardrails“ in der Fachzeitschrift Nature Human Behaviour erläutern die Forschenden, warum klare rechtliche Vorgaben für KI-Charaktere unverzichtbar sind. Ein weiterer Beitrag in npj Digital Medicine warnt vor Chatbots, die ohne medizinische Zulassung therapieähnliche Unterstützung anbieten, und spricht sich dafür aus, solche Systeme als Medizinprodukte einzuordnen und entsprechend zu regulieren.

Allgemeine LLMs wie ChatGPT oder Gemini sind nicht als therapeutische Anwendungen entwickelt oder zugelassen, können jedoch durch einfache Prompts oder spezifische Einstellungen schnell personalisiert werden und menschenähnlich reagieren. Diese Art der Interaktion kann sich negativ auf Jugendliche sowie auf Menschen mit psychischen Belastungen auswirken. Inzwischen ist bekannt, dass Nutzerinnen und Nutzer zu solchen Systemen starke emotionale Bindungen entwickeln können. Dennoch sind KI-Charaktere in der EU und in den USA bislang weitgehend unreguliert – im Gegensatz zu klinischen bzw. therapeutischen Chatbots, die gezielt für medizinische Zwecke entwickelt, geprüft und zugelassen werden.

„KI-Charaktere fallen derzeit durch die Lücken der bestehenden Sicherheitsvorschriften“, erklärt Mindy Nunez Duffourc, Assistant Professor of Private Law an der Maastricht University und Mitautorin der ersten Publikation. „Oft werden sie nicht als Produkte eingestuft und entziehen sich daher Sicherheitsprüfungen. Und selbst dort, wo sie neu als Produkte reguliert sind, fehlen bislang klare Standards und eine wirksame Aufsicht.“

Hintergrund: Digitaler Austausch, echte Verantwortung

In den vergangenen Monaten wurde international über Fälle berichtet, in denen Jugendliche nach intensivem Austausch mit KI-Chatbots in psychische Krisen geraten sind. Die Forschenden sehen daher dringenden Handlungsbedarf: Systeme, die menschliches Verhalten imitieren, müssen klar definierten Sicherheitsanforderungen entsprechen und innerhalb verlässlicher rechtlicher Rahmenbedingungen betrieben werden. Derzeit gelangen KI-Charaktere jedoch auf den Markt, ohne zuvor eine regulatorische Prüfung durchlaufen zu haben.

In ihrer zweiten Publikation in npj Digital Medicine mit dem Titel „If a therapy bot walks like a duck and talks like a duck then it is a medically regulated duck“ weisen die Autorinnen und Autoren auf die zunehmende Verbreitung von Chatbots hin, die therapieähnliche Empfehlungen geben oder sogar lizenzierte medizinische Fachkräfte imitieren – jedoch ohne jegliche Zulassung. Sie plädieren dafür, LLMs mit solchen Funktionen als Medizinprodukte einzustufen und sie damit klaren Sicherheitsstandards, transparenten Systemanforderungen und einer kontinuierlichen Überwachung zu unterstellen.

„KI-Charaktere sind bereits Teil des Alltags vieler Menschen. Oft vermitteln diese Chatbots den Eindruck, ärztliche oder therapeutische Ratschläge zu geben. Wir müssen sicherstellen, dass KI-basierte Software sicher ist. Sie soll unterstützen und helfen, nicht schaden. Dafür braucht es klare technische, rechtliche und ethische Regeln“, sagt Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden.

Lösungsvorschlag: Eine „Schutzengel-KI“, die aufpasst

Das Forschungsteam betont, dass die Transparenzpflicht des europäischen AI Act – also die Kennzeichnung der Kommunikation als KI-basiert – nicht ausreicht, um besonders gefährdete Nutzergruppen zu schützen. Sie fordern verbindliche Sicherheits- und Überwachungsstandards, ergänzt durch freiwillige Leitlinien, die Entwicklerinnen und Entwicklern helfen, ihre Systeme sicher zu gestalten.

Als konkrete Maßnahme schlagen die Autorinnen und Autoren vor, künftige KI-Anwendungen mit einer Chat-Speicherfunktion auszustatten und sie mit einer „Guardian Angel AI“ oder „Good Samaritan AI“ zu verknüpfen – einer unabhängigen, unterstützenden KI-Instanz, die den Gesprächsverlauf überwacht und bei Bedarf eingreift. Ein solches Zusatzsystem könnte frühe Warnsignale erkennen, Nutzerinnen und Nutzer auf Hilfsangebote hinweisen oder vor riskanten Gesprächsmustern warnen.

Empfehlungen für einen sicheren Umgang mit KI

Neben diesen Schutzmechanismen empfehlen die Forschenden eine robuste Altersprüfung, altersgerechte Sicherheitsmaßnahmen sowie verpflichtende Risikobewertungen vor dem Markteintritt. Sie betonen, dass LLMs klar kennzeichnen sollten, dass sie keine zugelassenen Medizinprodukte im Bereich mentaler Gesundheit sind. Chatbots dürfen nicht als Therapeutinnen oder Therapeuten auftreten und sollten sich auf allgemeine, nicht-medizinische Informationen beschränken. Darüber hinaus sollten sie erkennen, wann professionelle Hilfe erforderlich ist, und Nutzende an passende Unterstützungsangebote weiterleiten. Einfache, frei zugängliche Tests könnten zusätzlich dazu beitragen, die Sicherheit von Chatbots kontinuierlich zu überprüfen.

„Als Ärztinnen und Ärzte wissen wir, wie stark menschliche Sprache das Erleben und die psychische Gesundheit beeinflusst“, sagt Falk Gerrik Verhees, Psychiater am Dresdner Universitätsklinikum Carl Gustav Carus. „KI-Charaktere nutzen dieselbe Sprache, um Vertrauen und Nähe zu simulieren – deshalb ist Regulierung essenziell. Wir müssen sicherstellen, dass diese Technologien sicher sind und das psychische Wohlbefinden der Nutzerinnen und Nutzer schützen, anstatt es zu gefährden“, fügt er hinzu.

„Die von uns vorgestellten Leitplanken sind entscheidend, damit KI-Anwendungen auch wirklich sicher und im Sinne der Menschen eingesetzt werden“, sagt Max Ostermann, Forscher im Team für Medical Device Regulatory Science von Prof. Gilbert und Erstautor der Publikation in npj Digital Medicine.

Hinweis: Wenn Sie selbst oder jemand in Ihrem Umfeld sich in einer Krise befindet, finden Sie Tag und Nacht Hilfe bei der TelefonSeelsorge unter 116 123 sowie online unter www.telefonseelsorge.de

Zur Pressemitteilung:  https://tu-dresden.de/tu-dresden/newsportal/news/virtuelle-gespraechspartner-reale-verantwortung-forschende-fordern-klare-regelungen-fuer-ki-im-bereich-mentaler-gesundheit

Kostenloser Probezugang? Hier registrieren.