Ein zentrales Element von Image2Reg ist die Verknüpfung der Bild- und Netzwerkanalyse. Dazu wird der Neural Tangent Kernel (NTK) verwendet – ein mathematisches Modell, das erkennt, wie visuelle Muster mit biologischen Genfunktionen zusammenhängen.
Die KI wurde mit fast einer Million Zellbildern trainiert, teils aus unbehandelten Zellen, teils aus Zellen mit gezielt veränderten Genen. In Tests konnte die KI in 26 % der Fälle korrekt erkennen, welches von 41 Genen verändert war – weit über dem Zufallswert von rund zwei Prozent.
„Es ist ein Brückenschlag zwischen Form und Funktion, zwischen Bild und Biologie“, sagt Caroline Uhler vom Broad Institute und MIT.