KI: neuer Prüfrahmen soll Qualität von Trainingsdaten sichern

An der Physikalisch-Technischen Bundesanstalt (PTB) wurde ein Prüfrahmen entwickelt, der die Qualität der Trainingsdaten für medizinische KI-Anwendungen sichern soll. Das Framework soll ebenso wie ein Tool zur automatisierten Prüfung der Algorithmen allen Entwicklern zur Verfügung stehen, berichtet Projektleiter Dr. Daniel Schwabe. Im Gespräch mit MEDICA.de erläutert der Mathematiker das Vorhaben.

Herr Dr. Schwabe, welche Probleme werden durch das Projekt adressiert?

Dr. Daniel Schwabe: Es kommen zunehmend Produkte auf den Markt für Medizintechnik, die KI-Algorithmen verwenden, und diese Produkte müssen zertifiziert werden. Aktuell gibt es dafür die Medical Device Regulation (MDR), jetzt wird noch der AI Act in die Regulatorik übernommen. Hersteller sind teilweise bereits überfordert und es sollte nie so sein, dass die Regulatorik die Innovationen ausbremst.

Für die Zertifizierung von KI-Medizinprodukten in der Zukunft gibt es das mit 60 Millionen Euro geförderte EU-Projekt TEF-Health (Testing and Experimentation Facility). Das Metric-Framework ist unser erster Schritt, diese Prozesse zu unterstützen durch eine systematische Überprüfungsmöglichkeit von Trainings- bzw. Testdaten. Um die Vertrauenswürdigkeit und Sicherheit von KI-Medizinprodukten zu erhöhen, wird eine solche Validierung künftig nötig sein.

Wie ist der Status quo hinsichtlich der Datenqualität bei medizinischen KI-Anwendungen?

Schwabe: Da gibt es ein breites Spektrum. Wir versuchen nicht, allgemeine Daten für jegliche Anwendungen zu bewerten, sondern wollen wissen: Wie kann man systematisch analysieren, ob dieser Datensatz, den ich zur Verfügung habe, auf die Anwendung passt, die ich gerade entwickle? Wir versuchen dabei sehr praktisch an die Fragestellung heranzugehen, immer mit Blick auf die Hersteller, besonders KMUs und Startups. Sie entwickeln Innovationen, verfügen aber oft noch nicht über die nötige Infrastruktur und das Wissen hinsichtlich Qualitätssicherung. Wir wollen hier eine Systematik an die Hand geben, mit der sie ihre Daten bewerten können.

Wie können Entwickler und Entwicklerinnen von Algorithmen Ihre Tools einsetzen?

Schwabe: Wir arbeiten an zwei Projekten. Auf der theoretischen Seite hat mein Team den Begriff der Datenqualität in einzelne Eigenschaften aufgespalten. Diese Systematik ist in dem „Rad der Datenqualität“ dargestellt. Es legt den Grundstein für die systematische Analyse der Qualität medizinischer Trainingsdaten. Wir fügen dieser Systematik nun Metriken hinzu, mit denen diese Eigenschaften gemessen werden können.

Auf der praktischen Seite arbeiten wir an automatisierten Tools, die diese Theorie in die Praxis überführen. Zum einen ist dies ein Tool zur einfachen Bewertung der einzelnen Eigenschaften von Datenqualität von medizinischen Trainingsdaten. Zum anderen möchten wir quantifizieren, wie stark diese Eigenschaften ein KI-System tatsächlich beeinflussen. Sollten Hersteller ihre begrenzte Zeit zum Beispiel zur Verbesserung bestimmter Eigenschaften einsetzen? Solche Tools dienen uns später dazu, einen Qualitätsstempel für Trainingsdaten zu entwickeln.

Im TEF-Health-Projekt arbeiten wir sehr eng mit dem TÜV AI Lab und dem Fraunhofer Heinrich-Hertz-Institut zusammen, um den Zulassungsprozess für KI-Medizinprodukte zu optimieren. Ein Prüfstempel der PTB für die verwendeten Daten stellt für die Zulassungsbehörden einen Sicherheitsgewinn dar. Das kann beispielsweise einen geringeren Umfang der klinischen Studien zur Folge haben, was den Unternehmen Zeit und Geld spart und den Weg zur Marktreife beschleunigt.

Zusätzlich wird an der PTB das Software-Prüfsystem TraCIM (Traceability for Computational-Intensive Metrology) für KI weiterentwickelt. Hierbei erhalten Entwicklerinnen und Entwickler von uns Testdaten, lassen ihr KI-Modell darüber laufen und reporten uns die Ergebnisse. Wir geben dann einen Prüfbericht heraus, in dem die Qualität dieser Vorhersage beurteilt wird.

Wie und für wen sind die Tools zugänglich?

Schwabe: Prinzipiell steht das allen offen. Bislang haben wir mit dem Metric Framework nur die theoretische Grundlage gelegt. Die automatisierten Tools zur Bewertung von Datenqualität und Quantifizierung ihres Einflusses werden als Open-Source-Software entwickelt. Das bereits etablierte TraCIM-System wird parallel dazu mit diesen neuen Erkenntnissen geupdatet, so dass man künftig auch für KI-Algorithmen hier eine Validierung als Service anbieten kann. Gleichzeitig kann unser Metric-Framework eine Grundlage sein für Audits, sodass entlang dieser Systematik Trainingsdaten auditiert werden.