Sonographie mit Augmented Reality: Fokus auf den Patienten

Normalerweise läuft eine Ultraschalluntersuchung so ab: Der Patient wird auf einer Liege neben dem Ultraschallgerät positioniert und der Arzt schallt ihn mit einer Sonde, während er die Bilder auf einem Monitor betrachtet. Sein Blick ist also entweder auf seine Hand am Patienten oder auf den Monitor gerichtet. Das Fraunhofer IGD möchte genau das im Projekt "sonAR" ändern.

Im Interview mit MEDICA.de spricht Matthias Noll über die Kombination von Sonographie mit Augmented Reality, die weiteren Möglichkeiten von AR und VR und woran der tatsächliche Einsatz neuer Technologien häufig noch scheitert.

Herr Noll, worum geht es im Projekt "sonAR"?

Matthias Noll: Mithilfe von AR möchten wir Ultraschall-Bilddaten direkt im Sichtfeld des Arztes einblenden. Somit kann eine Untersuchung direkt am Patienten durchgeführt werden, und es muss nicht, wie sonst üblich, der Monitor des Ultraschallgerätes benutzt werden. Im Prinzip kann man sich das so vorstellen, dass der Arzt in den Patienten virtuell hineinschaut. Er muss sich also nicht erst vorstellen, welche anatomischen Strukturen gerade aus welchem Winkel abgebildet werden. Hierdurch wird die Hand-Augen-Koordination redundant, die der Arzt normalerweise benötigt, wenn er auf den Bildschirm schaut, während er mit der Hand den Patienten schallt.

Ist das AR-System auf bestimmte Anwendungsfälle limitiert?

Noll: Eigentlich nicht. Im Prinzip kann die Technologie überall eingesetzt werden, wo auch sonst Ultraschall eingesetzt wird. Für uns steht jedoch vor allem das Thema der ultraschallgeführten, geschlossenen Biopsien im Vordergrund. Wenn eine Biopsie entnommen werden soll, kann mit dem AR-System das Ziel direkt dargestellt und anvisiert werden. Interessant ist für uns aber auch die Anwendung der Technologie in der intraoperativen Bildgebung. Gerade wo äußere Strukturen in den Planungsprozess einbezogen werden müssen, könnte eine AR-Visualisierung durchaus Sinn machen.

Was wird für den Einsatz alles benötigt?

Noll: Ein herkömmliches Ultraschallgerät, eine AR-Brille und ein PC, der die notwendigen Berechnungen mithilfe unserer Software durchführt. Letzterer ist normalerweise in jedem Ultraschallgerät vorhanden, erfordert jedoch den Zugang zu diesem System. Alternativ kann aber auch ein separater PC eingesetzt werden, um das AR-Headset mit Daten zu versorgen.

Eine der wichtigsten Komponenten ist jedoch ein Trackingsystem, mit dem die Position der Ultraschallsonde in Relation zu der Brille berechnet wird. Das müssen wir machen, um die erzeugte Ultraschallebene lagerichtig an der Ultraschallsonde anzeigen zu können und damit eine Positionierung im Raum relativ zum Blickwinkel des Nutzers zu gewährleisten. Wenn wir das nicht machen würden, läge diese Ultraschallebene irgendwo im Raum und es bestünde keine Korrelation zur Ultraschallsonde. Wir haben uns in dem Fall für ein externes optisches Trackingsystem entschieden. Das ist ein Gerät mit zwei Kameras, das die Position der AR-Brille auf dem Kopf des Anwenders und die der Ultraschallsonde mithilfe von Markierungen an diesen räumlich bestimmt.

Auf welchem Stand befindet sich das Projekt gerade?

Noll: Das System ist derzeit ein technischer Demonstrator, der hoffentlich noch in diesem Jahr in einem OP-Demolabor eingesetzt werden kann. Der nächste Schritt wäre, einen technischen Partner zu finden, der diese Technologie mit uns weiterentwickeln oder auf den Markt bringen möchte. Dazu müssten Teile des Systems in ein Ultraschallgerät integriert oder an dieses angebunden werden.

Wie sieht das Potenzial für die Weiterentwicklung des AR-Systems aus?

Noll: Es wäre zum Beispiel vorstellbar, dass mithilfe von Künstlicher Intelligenz Anomalien im Ultraschallbild automatisch erkannt werden. Diese könnten dem Arzt live als virtueller Inhalt in der Brille, zum Beispiel durch eine Umrandung oder eine Indikation mit Pfeilen, eingeblendet werden. Daneben könnten dem Anwender weitere nützliche Informationen wie die Größe oder das Volumen der Anomalie in Echtzeit eingeblendet werden. Ich könnte mir auch vorstellen, dass während des Schallens bestimmte Strukturen automatisiert segmentiert und dann ortsfest als 3D-Modell im Raum anzeigt werden könnten. Damit könnte man Stück für Stück ein 3D-Modell der Oberfläche beispielsweise eines Organs erzeugen. Es sind ganz viele Szenarien für die Weiterentwicklung der Technologie denkbar.

Welche Bedeutung haben AR oder auch VR für die Medizin – vor allem mit Blick in Richtung Zukunft?

Noll: VR ist vor allem dann sinnvoll, wenn Objekte in einer virtuellen Umgebung dargestellt werden sollen. Dies kann zum Beispiel im Rahmen einer virtuellen Trainings-OP der Fall sein, in der eine spätere reale Operation anhand von virtuellen Inhalten geübt werden kann. AR ist überall dort sinnvoll, wo virtuelle Inhalte die Realität bereichern sollen. Ein mögliches Anwendungsszenario für AR ist zum Beispiel die Anzeige von markierten Lymphknoten, wie in unserem Projekt 3DArile. Hier wurden für den Menschen nicht sichtbare Vorgänge der Lymphknotenmarkierung durch einen Fluoreszenzfarbstoff mithilfe von AR-Technologie am Patienten visualisiert. Der Vorgang kann durch den Arzt visuell verfolgt werden, was eine zielgerichtete Extraktion des markierten Lymphknotens ermöglicht.

Meiner Meinung nach könnten AR und VR in der Zukunft vor allem im OP eine große Rolle spielen. Es hängt natürlich davon ab, ob Ärzte bereit sind, diese Technologien einzusetzen. Entsprechend müssen Einstiegshürden gering und die Bedingung der Technologie leicht sein. Zwar ist der Wille, etwas Neues auszuprobieren, oft vorhanden, aber erfahrungsgemäß wird dann doch eher eine Technologie gewählt, die sich bewährt hat oder die man vom alltäglichen Einsatz gewohnt ist.