Virtual Surgical Intelligence: mit der Microsoft Hololens im OP

Moderne Bildgebung macht heute viele Operationen möglich. Gleichzeitig stellt sie Chirurgen aber auch vor große Probleme: Sie müssen sich mithilfe zweidimensionaler Bilder im dreidimensionalen Operationsgebiet zurechtfinden und dabei ihre Aufmerksamkeit immer wieder zwischen den Aufnahmen und dem Patienten aufteilen. Nun kommen ihnen interaktive 3D-Projektionen und Mixed Reality (MR) zu Hilfe.

Im Interview mit MEDICA.de erklärt Sirko Pelzl, wie Virtual Surgical Intelligence (VSI) in verschiedenen medizinischen Bereichen zum Einsatz kommen kann und wie dies Ärzten und Patienten hilft.

Herr Pelzl, was genau ist VSI?

Sirko Pelzl: Bei VSI handelt es sich um eine Mixed-Reality-Plattform für die Anwendung im Krankenhaus. Angefangen haben wir mit einer intraoperativen Anwendung, bei der CT- oder MRT-Bilder virtuell auf dem OP-Situs durch eine MR-Brille platziert wurden, zum Beispiel für die Traumatologie, Dermatologie oder den Kopf-Hals-Bereich. Davon ausgehend haben wir die Plattform für verschiedene Bereiche weiterentwickelt: die OP-Planung, die Patientenaufklärung und die Ausbildung. Die Einsatzfelder und die Funktionalität werden dabei komplett von den Ärzten definiert.

Was für Vorteile bietet das für Ärzte und Patienten?

Pelzl: VSI ist für Chirurgen ein großer Fortschritt in der Qualitätssicherung eines Eingriffs. Sie können Bilddaten während der OP zum ersten Mal überhaupt in echtem 3D sehen und sich so besser bei der Operation orientieren. Chirurgen mit Erfahrung können das zwar auch mit zweidimensionalen Bildern, aber gerade für jüngere Kollegen ist VSI eine große Hilfe.

Die Anwendung ist bei verschiedenen OPs möglich: Mit der MR-Brille „HoloLens“ von Microsoft können sich Chirurgen 3D-Aufnahmen beispielsweise der Leber mit dem OP-Situs überlagern lassen und direkt sehen, wo sich Ventrikel oder Metastasen befinden. In der Dermatologie können sie eine SPECT-CT in 3D auf den Patienten projizieren und so die Wächterlymphknoten lokalisieren. In der Traumatologie ist es möglich, sich Knochenbrüche anzeigen zu lassen und Frakturen aus allen Winkeln betrachten. Es gibt unserer Erfahrung nach für jeden Bereich etwas: Jeder Arzt, der VSI ausprobiert, kommt sofort auf Ideen, wo und wie er es einsetzen kann.

Darüber hinaus können Ärzte ihren Patienten mit dem VSI die eigenen MRT-Aufnahmen zeigen und ihnen daran erklären, wie ein Eingriff durchgeführt werden soll. Wie gut diese Patientenaufklärung ankommt und funktioniert, haben wir erst kürzlich in einer Studie zeigen können.

Benötigen Operateure eine Schulung oder Übung für die Benutzung von VSI?

Pelzl: Die Eingewöhnung geht sehr schnell. Für die neue HoloLens 2 rechnen wir mit einer Zeit von zwei bis drei Stunden, da sie die Gestik des Benutzers besser erfasst als die erste HoloLens und die Steuerung viel intuitiver ist. Für den VSI braucht man eigentlich keine Schulung. Unser Ziel ist es, das System einfach zu halten.

Welche technischen Voraussetzungen benötigen Krankenhäuser?

Pelzl: Eigentlich nur ein gutes WLAN, obwohl wir mittlerweile auch einen Offline-Betrieb ermöglichen, sodass im OP kein Netzwerk mehr verfügbar sein muss. Wir haben uns auch deshalb für die Microsoft HoloLens entschieden, weil sie sehr leicht in die Krankenhaus-IT integrierbar ist und VPN-Konnektivität sowie die richtigen Sicherheitszertifikate aufweist.

Wie funktioniert die Aufbereitung der Bilddaten?

Pelzl: Fast automatisch. Ein Arzt muss nur Bilddaten im DICOM-Format per Drag-and-Drop einspielen, aus denen automatisch ein 3D-Objekt generiert wird. Das funktioniert herstellerunabhängig, egal, ob es sich um Philips, Siemens, GE oder einen anderen Hersteller handelt. Danach bereitet ein AI-Algorithmus das Bild auf und der Arzt legt die Funktionalitäten fest, die er benötigt. Und dann kann er die HoloLens einschalten und hat das Bild vor sich.

Was für ein Feedback erhalten Sie von Anwendern?

Pelzl: Wir arbeiten mittlerweile mit über 40 Ärzten zusammen, auch international. Und immer, wenn sie die HoloLens zum ersten Mal aufsetzen und in MRT- oder CT-Aufnahmen hineingehen, sieht man, wie sehr es ihnen gefällt. Ihr Feedback ist also sehr gut.

Auch, nachdem wir VSI im letzten Jahr im MEDICA TECH FORUM vorgestellt haben, haben wir eine gute Resonanz erhalten, interessante Diskussionen geführt und neue Kontakte geknüpft.

Welche Weiterentwicklungen planen Sie für die Zukunft?

Pelzl: Wie angedeutet, wollen wir auf die neue HoloLens 2 umsteigen. Zukünftig werden wir außerdem die Benutzbarkeit und die Funktionalität noch weiter verbessern. Insgesamt planen wir, noch sehr viele Benutzeranforderungen, die sich jetzt nach und nach herauskristallisieren, umzusetzen.