Realistische OP-Simulationen mit KI, VR und Haptik

Eine VR-Trainingsumgebung mit haptischer Rückmeldung soll OP-Situationen wirklichkeitsnah abbilden und ein risikofreies Training chirurgischer Eingriffe erlauben. Prof. Björn Krüger schildert im Gespräch mit MEDICA.de die Ziele des Forschungsprojekts VIRTOSHA.

Prof. Krüger, wie funktioniert die Simulationssoftware?

Prof. Björn Krüger: Diese Trainingsumgebung soll in den nächsten Jahren entstehen, weil Chirurginnen und Chirurgen bei VR-Trainings bislang das haptische Feedback vermissen. Da hier viele Komponenten zusammenspielen, haben wir ein Konsortium mit unterschiedlichen Partnern gebildet. Zusammen mit Dr. Kristian Welle, Leitender Oberarzt am UKB, wollen wir durch eine vollständige Immersion vermitteln, wie sich chirurgische Eingriffe anfühlen.

Bei der Nutzung von Roboterarmen bildet die Haptik eine wichtige Komponente. Darüber hinaus wollen wir eine Gewebe- und Fluid-Simulation integrieren durch unsere Partner von der Technischen Hochschule Köln. Für eine effektive Simulation soll vermittelt werden, wie sich zum Beispiel das Gewebe bei einem Schnitt öffnet.

Die Komponente meiner Arbeitsgruppe ist ein exaktes Hand-Tracking. Bislang liegt die Genauigkeit hier im Bereich von etwa einem Zentimeter. Bei Operationen sind wir eher im Submillimeterbereich. Dafür müssen wir zusätzliche Sensorik verwenden, die es in der VR-Umgebung so bislang nicht gibt. Das wird zusammengeführt in einem zentralen Datenhub, der von allen Komponenten einen digitalen Zwilling enthält und dann die einzelnen Komponenten mit den Informationen aus dem Tracking ansteuert. Der Haptikarm führt nicht nur Bewegungen aus, er gibt auch Informationen darüber zurück, welche Kräfte auf ihn wirken.

Wie gestaltet sich dabei der Einsatz der KI?

Krüger: Methoden der KI sind zum Beispiel für das Hand-Tracking nötig, damit ein Modell der Hand in die Daten von Bewegung und der Kamerabilder eingefügt werden kann. KI-Methoden werden in komplexen Simulationsmethoden angewendet. Die Berechnungen müssen weiches und härteres Gewebe ebenso berücksichtigen wie Knochen und Flüssigkeiten.

Welche Vorteile ergeben sich durch die Zusammenarbeit der verschiedenen Projektpartner?

Krüger: In dem interdisziplinären Projekt soll neben der chirurgischen Expertise durch den Arzt Dr. Kristian Welle auch die technische Expertise der Gruppe von Prof. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln für Computergrafik und Simulationen eingebracht werden. Als Informatiker mit einer Professur am Uniklinikum für digitale Gesundheit bilde ich sozusagen die Brücke.

Da das Projekt in einem Produkt münden soll, sind mit der MindPort GmbH und der Haption GmbH zwei Unternehmen beteiligt. MindPort wird einen Workflow entwickeln, der auch ohne Programmierkenntnisse umgebaut und erweitert werden kann. So könnte zum Beispiel die Simulation einer Fibulafraktur von unseren Ärztinnen und Ärzten für eine Patellafraktur angepasst werden, ohne neu programmieren zu müssen. Das wird möglich durch das Autorensystem von MindPort, das in einer Standard-3D-Umgebung abläuft.

Entspricht die Genauigkeit der Gewebesimulation in der VR-Umgebung den medizinischen Standards?

Krüger: Unser Projekt beinhaltet, dass wir Parameter nachmessen, zum Beispiel was Kräfte oder die Stabilität von Knochen angeht, oder die Reißfestigkeit und Schnittfestigkeit von Gewebe. Dafür wird der mit Sensoren ausgestattete Roboterarm auch als Messgerät verwendet. So erhalten wir große Datenmengen und können beurteilen, wie sich Eigenschaften je nach Alter und Geschlecht verhalten. Durch Interpolation können wir Daten für neue Patientengruppen generieren.

Welche chirurgischen Bereiche könnten besonders profitieren?

Krüger: Als erstes Beispiel haben wir die Fibulafraktur gewählt, weil sie sehr häufig vorkommt. Auch Knie- und Hüft-OPs können trainiert werden, ebenso Eingriffe bei künstlichen Kniegelenken, die wegen der Berücksichtigung des Implantats komplexer sind.

Sind eine Erfolgsevaluation und die Integration der Trainingsumgebung in die bestehenden Ausbildungsprogramme geplant?

Krüger: Zuerst findet eine Evaluation durch das Feedback erfahrener Chirurginnen und Chirurgen statt. Innerhalb der dreijährigen Projektlaufzeit ist eine vollständige Erfolgsevaluation nicht vorgesehen und auch nicht möglich. Am Ende wollen wir ein Ergebnis, das wir unseren Ärztinnen und Ärzten in Ausbildung zum Training mitgeben können.