Wie Machine Learning Patienten mit Locked-in-Syndrom die Kommunikationsfähigkeit wiedergibt

Eine ähnliche Lösung verhalf übrigens dem Physiker Stephen Hawking ab 2008 dazu, seine computergenerierte Stimme zu behalten: Nachdem er auch die Kraft in seinem Daumen verloren hatte, wurde ein Infrarotsensor an Hawkings Brille installiert. Der Sensor nahm Bewegungen der rechten Gesichtshälfte wahr, die Hawking noch bewegen konnte. Diese Bewegungen wurden an den Computer gesendet, Hawking steuerte damit einen Cursor und eine Bildschirmtastatur. Ähnlich funktionieren auch die meisten anderen Lösungen mit einem Screen. Der Unterschied: Die Menschen steuern Cursor und Bildschirmtastatur mit Bewegungen ihrer Augenlider oder Augen anstatt mit einer ihrer Gesichtshälften.

Leider sind derartige Lösungen mit einem Screen teuer und somit nicht für alle Menschen mit Locked-in-Syndrom (LIS) erschwinglich. Das Unternehmen EyeFree Assisting Technology Ltd hat sich daher auf die Fahnen geschrieben, ein Screen-freies und kostengünstiges Gerät auf den Markt zu bringen – entstanden ist EyeControl. Die Technologie kommt aktuell auch in Intensivstationen in Israel bei COVID-19-Patienten zum Einsatz. Erfahrungen in einem israelischen Krankenhaus zeigen, dass die Patienten durchschnittlich nach 20 Minuten Training mit EyeControl kommunizieren können.

Bei EyeControl handelt es sich um ein Wearable, bestehend aus Kopfhalterung mit Infrarotbrille, einem tragbaren Computer und einem Kabel, was beides verbindet. Die Halterung mit der Infrarotbrille wird am Kopf angebracht. Die Kamera erfasst die Bewegung der Augen und der Computer errechnet, was der Träger des Wearables sagen will. Sobald der Computer eine Eingabe erfasst und die Äußerung des Patienten berechnet hat, bekommt der Patient ein Audio-Feedback über Knochenschall. Er wird also gefragt, ob der Computer die Eingabe richtig erkannt hat. Bejaht er das, wandelt der Computer die Eingabe mittels eines Sprachgenerators in gesprochene Sprache um. Das kleine, leichte, transportable Gerät kann überall genutzt werden, also z.B. auch, wenn der Patient im Auto gefahren wird.

Um die Augenbewegungen effizient in Sprache umzuwandeln, setzt EyeFree Assisting Technology auf ein Modell, das mit Machine Learning (ML) trainiert wurde. Das Modell führte zunächst zu einer Genauigkeit von 92 %, was dem Team aber nicht genügte. Zur Optimierung wendete sich das Unternehmen an den AWS Premier Consulting Partner AllCloud. AllCloud entwickelte die komplette ML Pipeline, ein Object Detection Model und einen Classifier. Durch diese Verbesserung konnte die Genauigkeit auf 98,58 % gesteigert werden. Die höhere Genauigkeit war dem Team von EyeFree Assisting Technology sehr wichtig, weil jede falsch erkannte Augenbewegung die Kommunikation störte und verlangsamte. Der Genauigkeitssprung trägt also dazu bei, dass die Patienten noch besser und flüssiger kommunizieren können.

AllCloud hat zudem sein Wissen rund um die Kostenoptimierung von Cloud Computing auf AWS bei EyeFree Assisting Technology eingebracht. Um die Kosten für das Training des Object Detection Models zu senken und viele Iterationen zu ermöglichen, hat AllCloud auf Spot-Instanzen gesetzt. Damit hat AllCloud die Kosten signifikant gesenkt. 

Die Vorteile von EyeControl überzeugen: Derzeit werden qualifizierten Patienten die Kosten für ihr EyeControl vom israelischen Gesundheitsministerium und vom NHS des Vereinigten Königreichs erstattet.

Die Verbesserungen des Wearables durch Optimierung der zugrundeliegenden IT zeigt deutlich, wie wichtig die Kooperation zwischen Experten für optimales Ergebnis ist. Hier haben Experten für Medizintechnik mit Experten für die Cloud zusammengearbeitet und ein Produkt stark verbessert, das Menschen mit Locked-in-Syndrom ihre Kommunikationsfähigkeit zurückgibt.