Software verwandelt „gedachte Handschrift“ in Wörter und Sätze auf dem Bildschirm

Mit einer neuen Technologie haben US-amerikanische Forscher der Stanford University einem hoch querschnittgelähmten Patienten ermöglicht, über eine Gehirn-Computer-Schnittstelle allein mit der Kraft seiner Gedanken zu schreiben – und zwar ähnlich schnell, wie nicht-gelähmte Gleichaltrige auf einem Smartphone tippen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

PGlmcmFtZSBsb2FkaW5nPSJsYXp5IiB3aWR0aD0iMTAwJSIgaGVpZ2h0PSIzNjAiIHNyYz0iaHR0cHM6Ly93d3cueW91dHViZS1ub2Nvb2tpZS5jb20vZW1iZWQvbUxGN0IxQndpNEUiIHRpdGxlPSJZb3VUdWJlIHZpZGVvIHBsYXllciIgZnJhbWVib3JkZXI9IjAiIGFsbG93PSJhY2NlbGVyb21ldGVyOyBhdXRvcGxheTsgY2xpcGJvYXJkLXdyaXRlOyBlbmNyeXB0ZWQtbWVkaWE7IGd5cm9zY29wZTsgcGljdHVyZS1pbi1waWN0dXJlIiBhbGxvd2Z1bGxzY3JlZW49IiI+PC9pZnJhbWU+

Forscher der Stanford University haben eine Software für künstliche Intelligenz mit einem Gerät, einem sogenannten Brain-Computer-Interface (BCI), gekoppelt, das in das Gehirn eines Mannes mit hoher Tetraplegie implantiert wurde. Die Software war in der Lage, Informationen aus dem BCI zu dekodieren, und so die Handschrift, die der Mann sich nur vorstellte, auf einem Computerbildschirm in Echtzeit anzuzeigen.

Im Experiment stellte sich ein Patient mit gelähmten Gliedmaßen vor, wie er Buchstaben des Alphabets schreibt. In sein Gehirn implantierte Sensoren nahmen die Signale auf, und AI-Algorithmen übertrugen sie auf einen Bildschirm.

Forscher der Stanford University haben eine Software für künstliche Intelligenz mit einem Gerät, einem sogenannten Brain-Computer-Interface (BCI), gekoppelt, das in das Gehirn eines Mannes mit hoher Tetraplegie implantiert wurde. Die Software war in der Lage, Informationen aus dem BCI zu dekodieren, und so die Handschrift, die der Mann sich nur vorstellte, auf einem Computerbildschirm in Echtzeit anzuzeigen.

Die neuen Erkenntnisse könnten Patienten mit Rückenmarksverletzung, Schlaganfall oder Amyotropher Lateralsklerose (ALS) helfen, ihre Kommunikationsfähigkeiten zu verbessern, sagt Dr. Jaimie Henderson, Professorin für Neurochirurgie.

„Unser Ansatz ermöglichte es einer bewegungs- oder sprachunfähigen Person, Sätze mit einer Geschwindigkeit zu verfassen, die fast mit der eines gesunden Erwachsenen gleichen Alters vergleichbar ist, der auf einem Smartphone tippt“, so Henderson.“ Das Ziel ist es, die Fähigkeit zur Kommunikation per Text wiederherzustellen.“

Der seit 2007 hoch querschnittgelähmte Proband hatte sich zwei kleine Chips mit jeweils 100 Elektroden ins Gehirn implantieren lassen, die Signale von Neuronen im motorischen Kortex aufnehmen – genau aus der Region, die die Handbewegungen steuert. Der 65-Jährige „schrieb“ etwa 18 Wörtern pro Minute. (Nichtbehinderte Menschen desselben Alters können etwa 23 Wörter pro Minute auf einem Smartphone schreiben.) Dazu stellte er sich vor, er würde Buchstaben per Hand schreiben. Die Elektroden in seinem Gehirn leiteten die Signale an eine Software weiter, die einen Text am Bildschirm ausgab.  

Vorangegangene Studien

Die vorliegende Methode hat einen langen Weg hinter sich: Seit 2005 beschäftigen sich ein Team der Standford University mit BCIs und konnte in den folgenden Jahren erste, aufeinander aufbauende Erfolge erzielen. In der Studie aus dem Jahr 2017 wurden drei Teilnehmer mit motorischer Lähmungen der Gliedmaßen, darunter der aktuelle Proband, mit BCIs ausgestattet und in einem Versuch gebeten, sich darauf zu konzentrieren, einen Arm und eine Hand zu benutzen, um einen Cursor von einer Taste zur nächsten auf einer Computerbildschirm-Tastaturanzeige zu bewegen und sich dann auf das Klicken auf diese Taste zu konzentrieren. Damals schaffte der aktuelle Proband 40 Zeichen pro Minute.

„Wir haben gelernt, dass das Gehirn seine Fähigkeit zur Vorgabe feiner Bewegungen noch gute zehn Jahre beibehält, nachdem der Körper seine Fähigkeit zur Ausführung dieser Bewegungen verloren hat“, sagt Studienleiter Francis Willett. „Und wir haben gelernt, dass komplizierte beabsichtigte Bewegungen mit wechselnden Geschwindigkeiten und gekrümmten Bahnen, wie Handschrift, von den Algorithmen der künstlichen Intelligenz, die wir verwenden, leichter und schneller interpretiert werden können als einfachere beabsichtigte Bewegungen, wie das Bewegen eines Cursors auf einem geraden Weg mit gleichmäßiger Geschwindigkeit. Alle alphabetische Buchstaben sehen verschieden aus, sodass sie für den Computer leichter zu unterscheiden sind.“

Die aktuelle Studie

Der Proband wurde gebeten sich vorzustellen einzelne Buchstaben des Alphabets mit einem imaginären Stift auf einen imaginären Block zu schreiben, obwohl er weder seinen Arm noch seine Hand bewegen konnte. Er wiederholte jeden Buchstaben zehnmal, so dass die Software „lernen“ konnte, die neuronalen Signale zu erkennen, die mit seinen Bemühungen verbunden waren, bestimmte Buchstaben zu schreiben.

Dann baten die Forscher den Probanden, mehrere Sätze abzuschreiben, die der Software bis dahin unbekannt waren. Das gelang ihm mit erstaunlicher Geschwindigkeit: Er schaffte durchschnittlich 90 Zeichen (18 Worte) pro Minute und toppte er auch den bisherigen Geschwindigkeitsrekord im Schreiben per Gehirn, den er selbst 2017 mit der Vorgängertechnologie aufgestellt hatte.

Auch beim freien Schreiben war der Proband deutlich schneller als mit früheren Technologien. Die Fehlerquote lag bei etwa einem falsch erkannten Buchstaben pro 18 oder 19 Zeichen beim Abschreiben von Sätzen und einem Fehler pro 11 oder 12 Zeichen beim freien Schreiben. Zum Ausgleich bauten die Forscher eine Autokorrekturfunktion ein – ähnlich der, die in Smartphones verwendet wird. Das senkte die Fehlerrate auf unter 1 Prozent beim Kopieren und etwas über 2 Prozent beim freien Schreiben – sehr niedrige Werte im Vergleich zu bisherigen Hirn-Computer-Schnittstellen.

In Zukunft wollen die Forscher die Technologie auch mit weiteren Patienten testen, die durch Krankheit oder Verletzung ihre Fähigkeit verloren haben, zu sprechen oder sich zu bewegen. „Ein wichtiges Ziel unserer Forschung ist die Wiederherstellung einer schnellen, intuitiven Kommunikation für Menschen mit schweren sprachlichen oder motorischen Beeinträchtigungen“, sagt Co-Autor Leigh Hochberg von der Brown University in Rhode Island. „Die Demonstration der schnellen, präzisen neuronalen Dekodierung von Handschrift markiert ein aufregendes neues Kapitel in der Entwicklung von klinisch nützlichen Neurotechnologien.“


Der-Querschnitt.de betreibt keine Forschung und entwickelt keine Produkte/Prototypen. Leser, die an der beschriebenen Methode oder den vorgestellten Prototypen Interesse haben, wenden sich bitte an die im Text genannten Einrichtungen.