Gedankenlesende Algorithmen rekonstruieren, was Sie sehen, indem Sie Brain-Scan-Daten verwenden

Ein Vergleich von Techniken zur Rekonstruktion von Gehirnbildern. Die Originalbilder werden in der oberen Reihe gezeigt, während die Ergebnisse des neuen tiefen generativen Multivew-Modells in der unteren Reihe gezeigt werden.

Eines der interessanteren Ziele in den Neurowissenschaften ist die Rekonstruktion wahrgenommener Bilder durch die Analyse von Gehirnscans. Die Idee ist, herauszufinden, was Menschen sehen, indem sie die Aktivität in ihrem visuellen Kortex überwachen.

Die Schwierigkeit besteht natürlich darin, Wege zu finden, um die Daten aus der funktionellen Magnetresonanztomographie (fMRT) effizient zu verarbeiten. Die Aufgabe besteht darin, die Aktivität in dreidimensionalen Voxeln im Gehirn auf zweidimensionale Pixel in einem Bild abzubilden.

Das gestaltet sich schwierig. fMRI-Scans sind bekanntermaßen verrauscht, und die Aktivität in einem Voxel wird bekanntermaßen durch die Aktivität in anderen Voxeln beeinflusst. Diese Art von Korrelation ist rechenintensiv zu handhaben; Tatsächlich ignorieren die meisten Ansätze es einfach. Und das mindert die Qualität der von ihnen erstellten Bildrekonstruktionen erheblich.

Ein wichtiges Ziel ist es daher, bessere Wege zu finden, um die Daten aus fMRI-Scans zu verarbeiten und so genauere Rekonstruktionen von Gehirnbildern zu erstellen.

Heute sagen Changde Du vom Research Center for Brain-Inspired Intelligence in Peking, China, und ein paar Freunde, dass sie genau eine solche Technik entwickelt haben. Ihr Trick besteht darin, die Daten mit Deep-Learning-Techniken zu verarbeiten, die besser mit nichtlinearen Korrelationen zwischen Voxeln umgehen. Das Ergebnis ist eine viel bessere Möglichkeit, die Art und Weise zu rekonstruieren, wie ein Gehirn Bilder wahrnimmt.

Changde und Co. beginnen mit mehreren Datensätzen von fMRT-Scans des visuellen Kortex eines Menschen, die ein einfaches Bild betrachten – beispielsweise eine einzelne Ziffer oder einen einzelnen Buchstaben. Jeder Datensatz besteht aus den Scans und dem Originalbild.

Die Aufgabe besteht darin, einen Weg zu finden, die fMRI-Scans zu verwenden, um das wahrgenommene Bild zu reproduzieren. Insgesamt hat das Team Zugriff auf über 1.800 fMRT-Scans und Originalbilder.

Sie behandeln dies als einfache Deep-Learning-Aufgabe. Sie verwenden 90 Prozent der Daten, um das Netzwerk darauf zu trainieren, die Korrelation zwischen dem Gehirnscan und dem Originalbild zu verstehen.

Dann testen sie das Netzwerk mit den verbleibenden Daten, indem sie es mit den Scans füttern und es bitten, die Originalbilder zu rekonstruieren.

Der große Vorteil dieses Ansatzes besteht darin, dass das Netzwerk lernt, welche Voxel verwendet werden müssen, um das Bild zu rekonstruieren. Das vermeidet die Notwendigkeit, die Daten von allen zu verarbeiten.

Es lernt auch, wie die Daten dieser Voxel korreliert sind. Das ist wichtig, denn wenn die Korrelationen ignoriert werden, werden sie am Ende wie Rauschen behandelt und verworfen. Der neue Ansatz – das sogenannte Deep Generative Multiview Model – nutzt also diese Korrelationen aus und unterscheidet sie von echtem Rauschen.

Um das tiefe generative Multiview-Modell zu bewerten, vergleichen Changde und Co. seine Ergebnisse mit denen einer Reihe anderer Rekonstruktionstechniken für Gehirnbilder. Sie tun dies mit Standard-Bildvergleichsmethoden, um zu sehen, wie genau die rekonstruierten Bilder mit den Originalen übereinstimmen.

Die Ergebnisse sorgen für eine interessante Lektüre. Im Allgemeinen sind die rekonstruierten Bilder klare Darstellungen der Originale. In vielen Fällen sind sie deutlich genauer als andere Techniken es können.

Die Bildvergleichsmetriken bestätigen dies. Umfangreiche experimentelle Vergleiche zeigen, dass unser Ansatz visuelle Bilder aus fMRI-Messungen genauer rekonstruieren kann, sagen Changde und Co.

Das ist eine interessante Arbeit mit erheblichen Auswirkungen. Die Fähigkeit, Gehirnbilder zu rekonstruieren, ist ein wichtiges Sprungbrett bei der Arbeit zur Schaffung besserer Gehirn-Maschine-Schnittstellen. Die nächsten Schritte umfassen Möglichkeiten zur Analyse komplexerer Szenen und bewegter Bilder. Changde und Co. sagen, dass ihr Ansatz auch auf andere Gehirncodierungsprobleme wie Audio- und körperliche Aufgaben angewendet werden könnte.

Darüber hinaus, wer weiß. Von hier aus ist es nur ein kurzer phantasievoller Sprung zu Gehirn-Scan-Techniken, die zeigen, was Menschen denken oder träumen. Stell dir vor!

Ref: arxiv.org/abs/1704.07575 : Teilen einer tiefen generativen Repräsentation für die Rekonstruktion wahrgenommener Bilder aus der Aktivität des menschlichen Gehirns

verbergen