Prof. Gilbert, warum braucht es eine Regulierung?
Prof. Stephen Gilbert: Suchmaschinen mit Chatbots, die auf Large Language Models (LLMs) basieren, werden immer häufiger von Medizinerinnen und Medizinern genutzt. Diese Chatbots funktionieren jedoch nicht wie herkömmliche Suchmaschinen. Sie verstecken sich hinter Gesetzen, die es Suchmaschinen erlauben, Suchergebnisse aufzulisten, ohne für die Liste der an die Nutzerinnen und Nutzer gelieferten Websites verantwortlich zu sein.
Diese Tools bieten Unterstützung durch Autovervollständigung. Damit arbeitet man jedoch nicht mehr völlig selbstständig. Die KI macht zunächst kleine Vorschläge und kommt so – sozusagen auf der Schulter der Ärztin oder des Arztes – ins Sprechzimmer. Die Überschneidungen zwischen reinen Kommunikationsfunktionen und medizinischen Produktfunktionen sind sehr gering.
Mit der Einführung von ChatGPT hat ein Wettrüsten der großen Technologieunternehmen begonnen, die damit auch in der Medizin rasche Fortschritte erzielen wollen, aber die Vorschriften ignorieren. Es gibt bereits LLM-basierte Tools, die speziell für medizinische Zwecke entwickelt und zugelassen wurden. Sie liefern genaue und verlässliche Informationen. Suchmaschinen-Chatbots neigen zudem dazu, Antworten zu halluzinieren, sie verändern sich und die Genauigkeit ihrer Antworten nimmt ab. Das erhöht das Risiko für schädliche Ratschläge.
Gibt es Bereiche, in denen der Einsatz der Chatbots sinnvoll erscheint?
Gilbert: Das Screening auf mögliche seltene Krankheiten ist eine anspruchsvolle Aufgabe, die auf Textinformationen basiert. Es gibt Aufzeichnungen, die viele Jahre zurückreichen. Hier kommen die großen Sprachmodelle sicher besser zum Einsatz als zum Beispiel in Notfallsituationen.
In den USA gibt es einen Leitfaden der FDA, demzufolge eine strengere Regulierung dort notwendig ist, wo Ärztinnen und Ärzte wenig Zeit für Antworten haben. Eine offenere Regulierung ist dann möglich, wenn der Behandelnde viel Zeit hat, über die Antworten nachzudenken.