Fleißige Helfer bei der Datenauswertung: Wie KI transparent und reproduzierbar wird

Täglich kommen im Labor riesige Mengen an Daten zustande, die eigentlich mühsam per Hand ausgewertet werden müssten. Hier kommt Künstliche Intelligenz (KI) als perfekter Helfer ins Spiel: Denn sie wertet solche Datenmengen sehr viel schneller aus, als der Mensch es je könnte. Das Problem an KI ist nur: Wenn sie entwickelt wird, gibt es kaum eine Richtlinie oder einen Standard, der die KI-Systeme untereinander vergleichbar macht.

Auf diese Hürden stießen auch Prof. David Blumenthal und sein Team, als sie selbst im Bereich der KI forschten. Daraufhin haben sie AIMe entwickelt: Das Tool soll KI reproduzierbar und transparenter machen. Wie das Tool funktioniert, wie es stets auf dem aktuellen Stand bleibt und welche Möglichkeiten Blumenthal für KI im Bereich der biomolekularen Forschung sieht, erklärt er im Interview mit MEDICA.de.

Welches Ziel verfolgen Sie mit AIMe?

David Blumenthal: Wir wollen Forschern und Entwicklern helfen, transparente Berichte über biomedizinische KI-Systeme zu erstellen, in denen insbesondere Meta-Parameter, Validierungs-Strategie und Daten genau beschrieben werden. Das Ziel dabei ist, dass Transparenz und Reproduzierbarkeit von solchen Systemen erhöht werden, damit dann wiederum das Vertrauen in solche Systeme gestärkt wird – zum Beispiel von Menschen, die solche Systeme in der klinischen Praxis nutzen könnten.

Für welche Anwendungsfälle ist AIMe gedacht?

Blumenthal: AIMe ist ein generischer Standard, der im Prinzip für alle biomedizinischen KI-Systeme verwendet werden kann. Da wir selbst aus dem Bereich der molekularen Forschung kommen, hatten wir entsprechend Anwendungsfälle, deren Ausgangspunkt molekulare Daten waren. Diesen Hintergrund hatten wir bei der Entwicklung des AIMe-Standards im Hinterkopf, aber letztendlich ist AIMe für jede biomedizinische KI-Anwendung nutzbar.

Und wie genau funktioniert AIMe?

Blumenthal: Es gibt einerseits den AIMe-Standard: Der Informationsstandard besteht aus circa 25 Fragen, die in verschiedene Abschnitte aufgeteilt sind. Jeweils fünf Fragen behandeln einen Abschnitt: Meta-Data, Purpose – sprich was ist das Ziel der KI – und Data-Set – da sollen die Datensätze beschrieben werden, die verwendet werden. Dazu kommen noch die Fragen nach der Methode – also welche KI-Methoden wurden verwendet, wie wurden die Hyper-Parameter gesetzt, wie wurde das Ganze validiert; und zum Schluss noch Fragen nach der Reproduzierbarkeit. Da geht es darum, die KI und ihre Entwicklung bestmöglich nachverfolgen zu können:  Wo ist der Source Code verfügbar, wo sind die Datensätze verfügbar? Gibt es gute Tutorials, die erklären, wie die spezielle KI funktioniert?

Das sind die ersten fünf Abschnitte, mit denen der Informationsstandard erstellt wird.

Das Ganze gibt es dann auch noch in digitaler Form: Im AIMe-Webservice bekommen Interessierte einen Online-Fragebogen, in dem diese Fragen gestellt werden. Nach Beantwortung der Fragen wird ein AIMe-Eintrag erstellt, der in unserer Datenbank abgespeichert wird und eine eindeutige URL bekommt. Daraufhin ist die Datenbank durchsuchbar: Wenn jemand an bestimmten Anwendungen interessiert ist, kann er oder sie sich mit einer Stichwort-Suche durch die existierenden Einträge in dieser Datenbank blättern.

Die URL ist außerdem dafür da, sich in Forschungsarbeiten genauer auf die jeweilige KI zu beziehen: Arbeitet jemand beispielsweise an einem Paper, kann der Forscher erläutern, dass genauere Beschreibungen zu den Datensätzen, der Validierung, Strategie und so weiter im Anhang des Papers zu finden sind. Dort kann die URL angegeben werden, sodass dem Leser auf unserer Website mehr Informationen über die KI zur Verfügung stehen.

Abschließend gibt es noch das AIMe steering committee, das dafür zuständig ist, einerseits das Feedback der Nutzenden zum derzeitigen Standard zusammenzufassen und diesen dann jedes Jahr – basierend auf dem Feedback – zu aktualisieren. Außerdem ist das Committee natürlich auch dafür zuständig, die Website zu hosten und damit die technische Seite abzudecken.

Wie kam es zu der Entwicklung von AIMe?

Blumenthal: Es fing damit an, dass wir uns darüber geärgert haben, dass Dinge nicht reproduzierbar waren: Wenn man zum Beispiel selbst eine Methode entwickeln und sich dazu an anderen Papern orientieren will, dann erkennt man recht schnell, dass quasi die Hälfte der Informationen zur KI fehlt und die Anwendung deshalb so gut wie nicht vergleichbar ist. Wir dachten uns: Entweder wir ärgern uns jetzt, oder wir entwickeln selbst ein Tool, um unsere Situation zu verbessern. Daraufhin haben wir uns also Gedanken gemacht, wie so etwas aussehen könnte.  An der TU München haben wir einen Entwurf gemacht und diesen über Mailing-Listen und soziale Medien rausgeschickt, um auch Forschende aus anderen Institutionen und anderen Länder mit an Bord zu bekommen. Am Ende waren wir gut 20 Leute aus allen möglichen Ländern und haben zusammen diesen Standard entwickelt. 

KI ist ein Forschungsfeld, das sich noch sehr verändert. Wie stellen Sie sicher, dass der Standard, den Sie jetzt aufgestellt haben, nicht veraltet?

Blumenthal: Wir haben einen Update-Zyklus in die Initiative eingebaut, sodass Menschen von Januar bis September jeden Jahres über die Website Feedback zum aktuellen Standard geben können. Von Oktober bis Dezember folgt dann eine Konsolidierungsphase, in der das AIMe steering commitee dieses Feedback bewertet, sodass basierend darauf im Januar des nächsten Jahres eine neue Version erscheint. Bei dieser Konsolidierungsphase kann jeder mitmachen, der Lust hat – das ist kein abgeschlossener Bereich von Personen, sondern alle, die interessiert sind, können sich daran gerne beteiligen. Voraussetzung ist nur: Erfahrung im Feld der Biomedizin oder in der KI-Forschung – am besten wäre natürlich eine Schnittstelle von beidem.

Welche Stärken und Schwächen sehen Sie für KI in Bezug auf die biomolekulare Forschung?

Blumenthal: Die Stärken sind ja allgemein bekannt: Es gibt riesige Datenmengen, besonders molekulare profiling Data. Darin stecken unheimlich viele Informationen, aber um diese auszuwerten, braucht man automatisierte Ansätze. Dafür ist eine KI natürlich optimal geeignet.

Interessant ist eher, was die Herausforderungen sind. Da gibt es meiner Meinung nach vor allem drei: Die Reproduzierbarkeit ist derzeit ein großes Problem. Viele KI-Systeme beziehungsweise die Ergebnisse, die publiziert werden, sind schlicht nicht reproduzierbar. Das versuchen wir zu verbessern.

Das zweite ist die Erklärbarkeit. Viele der KI-Systeme sind im Prinzip Blackboxen: Man gibt einen Input hinein und bekommt eine Vorhersage heraus – aber häufig ist es nicht ganz klar, warum die Vorhersage so zustande kommt. Das ist ein Problem, gerade wenn es um klinisch relevante Entscheidungen geht: Warum bekommt ein Patient Behandlung A und nicht Behandlung B? Denn die KI gibt nur an, dass die Behandlung A mit 95-prozentiger Wahrscheinlichkeit besser ist als Behandlung B, aber sie gibt keine Hinweise, warum das so ist. Daher ist es schwieriger, diese Entscheidung dann als Arzt zu kommunizieren und zu vertreten. Insofern ist die Herausforderung, dieses Thema erklärbar zu machen. Das hat sich in den letzten Jahren zu einem aktiven Forschungsfeld entwickelt und es gibt auch schon viele verschiedene Ansätze. Aber die Herausforderung ist nach wie vor da.

Die dritte Herausforderung sind die Daten: Biomedizinische Daten sind sehr sensitiv, denn es sind Patientendaten und deswegen ist es häufig schwierig bis unmöglich, unbürokratisch Zugriff darauf zu bekommen. Einerseits ist es natürlich notwendig, den Datenschutz zu wahren. Andererseits führt das aber dazu, dass viele Forschende eben mit kleineren Datensätzen, auf die sie Zugriff haben, trainieren. Diese Datensätze sind häufig relativ homogen, was dann dazu führt, dass andere Patientengruppen, die vielleicht auch von der KI profitieren könnten, nicht in den Datensätzen repräsentiert sind. Der Datenschutz ist also ein kleines Dilemma, für das noch gute Lösungen gefunden werden müssen.

Was denken Sie, welchen Stellenwert die KI in den kommenden Jahren in der biomolekularen Forschung einnehmen wird?

Blumenthal: Wir forschen gerade an einem Versuch, komplexe Erkrankungen – zum Beispiel Alzheimer oder andere neurologische Erkrankungen – mechanistisch zu redefinieren. Was meinen wir damit? Wenn diese Krankheiten diagnostiziert werden, passiert das nicht auf Basis eines molekularen Mechanismus, sondern auf Basis der Symptomatik. Das ist problematisch, denn wenn man die mechanistische Grundlage nicht kennt, kann man die Krankheit nur symptomatisch behandeln. Hier sollten wir uns neue Ziele für dieses Forschungsfeld stecken. Denn wir müssen erkennen, dass uns viele Daten zur Verfügung stehen und wir auch Möglichkeiten haben, diese zu analysieren. Jetzt müssen wir also versuchen, auf diese großen Datenmengen KI-Systeme anzuwenden, um am Ende zu molekular-biologisch fundierten mechanistischen Re-Definitionen von komplexen Erkrankungen zu kommen. Denn das hilft uns dabei, kausal und nicht nur symptomatisch zu behandeln. Ich hoffe, dass es in der nächsten Zeit zu Durchbrüchen dank des Einsatzes von KI kommen wird.