Googles geheimes DeepMind-Startup enthüllt eine „neuronale Turing-Maschine“

Eine der großen Herausforderungen der Neurowissenschaften ist es, das Kurzzeit-Arbeitsgedächtnis im menschlichen Gehirn zu verstehen. Gleichzeitig würden Informatiker sehr gerne die gleiche Art von Gedächtnis reproduzieren in silico .

Heute stellt Googles geheimes Startup DeepMind, das es Anfang dieses Jahres für 400 Millionen Dollar gekauft hat, einen Prototyp eines Computers vor, der versucht, einige der Eigenschaften des Kurzzeit-Arbeitsgedächtnisses des menschlichen Gehirns nachzuahmen. Der neue Computer ist eine Art neuronales Netzwerk, das angepasst wurde, um mit einem externen Speicher zu arbeiten. Das Ergebnis ist ein Computer, der lernt, während er Erinnerungen speichert, und sie später abrufen kann, um logische Aufgaben auszuführen, die über die hinausgehen, für die er trainiert wurde.

Der Durchbruch von DeepMind folgt einer langen Geschichte der Arbeit am Kurzzeitgedächtnis. In den 1950er Jahren führte der amerikanische Kognitionspsychologe George Miller eines der berühmtesten Experimente in der Geschichte der Hirnforschung durch. Miller interessierte sich für die Kapazität des Arbeitsgedächtnisses des menschlichen Gehirns und machte sich daran, es mit Hilfe einer großen Anzahl von Studenten zu messen, die er bat, einfache Gedächtnisaufgaben zu lösen.

Millers bemerkenswerte Schlussfolgerung war, dass die Kapazität des Kurzzeitgedächtnisses nicht durch die Menge der darin enthaltenen Informationen definiert werden kann. Stattdessen kam Miller zu dem Schluss, dass das Arbeitsgedächtnis Informationen in Form von Chunks speichert und dass es etwa sieben davon aufnehmen kann.

Das wirft die merkwürdige Frage auf: Was ist ein Chunk? In Millers Experimenten könnte ein Chunk eine einzelne Ziffer wie eine 4, ein einzelner Buchstabe wie ein q, ein einzelnes Wort oder eine kleine Gruppe von Wörtern sein, die zusammen eine bestimmte Bedeutung haben. Jeder Chunk kann also alles darstellen, von einer sehr kleinen Informationsmenge bis hin zu einer äußerst komplexen Idee, die einer großen Informationsmenge entspricht.

Aber so viele Informationen ein einzelner Chunk auch darstellt, das menschliche Gehirn kann nur etwa sieben davon in seinem Arbeitsgedächtnis speichern.

Hier ist ein Beispiel. Betrachten Sie den folgenden Satz: Dieses Buch ist eine spannende Lektüre mit einer komplexen Handlung und lebensechten Charakteren.

Dieser Satz besteht aus etwa sieben Informationsblöcken und ist für jeden normalen Leser klar zu handhaben.

Versuchen Sie es dagegen mit diesem Satz: Dieses Buch über das Römische Reich in den ersten Regierungsjahren von Augustus Cäsar am Ende der Römischen Republik beschreibt die Ereignisse nach der blutigen Schlacht von Actium im Jahr 31 v. Chr., als der junge Kaiser Mark Antonius und Kleopatra besiegte indem sie sie in einem großen Seegefecht umfassend ausmanövrieren.

Dieser Satz enthält mindestens 20 Chunks. Wenn Sie es also schwieriger zu lesen fanden, sollte das keine Überraschung sein. Das menschliche Gehirn hat Probleme, so viele Brocken in seinem Arbeitsgedächtnis zu behalten.

In der Kognitionswissenschaft wird die Fähigkeit, die Bestandteile eines Satzes zu verstehen und im Arbeitsgedächtnis zu speichern, als Variablenbindung bezeichnet. Dies ist die Fähigkeit, ein Datenstück zu nehmen und es einem Steckplatz im Speicher zuzuweisen und dies wiederholt mit Daten unterschiedlicher Länge, wie Chunks, zu tun.

In den 1990er und 2000er Jahren versuchten Informatiker immer wieder, Algorithmen, Schaltungen und neuronale Netze zu entwerfen, die diesen Trick ausführen könnten. Ein solcher Computer sollte in der Lage sein, einen einfachen Satz, wie Mary zu John sprach, zu parsen, indem er ihn in seine Bestandteile Akteur, Aktion und Empfänger der Aktion zerlegt. In diesem Fall würde es Mary also die Rolle des Akteurs zuweisen, den Worten, zu denen gesprochen wird, die Rolle der Aktion und John die Rolle des Empfängers der Aktion.

Dieser Aufgabe widmet sich die Arbeit von DeepMind, trotz der sehr begrenzten Leistung früherer Maschinen. Unsere Architektur stützt sich auf diese Arbeit und potenziert sie, sagen Alex Graves, Greg Wayne und Ivo Danihelka von DeepMind mit Sitz in London.

Sie beginnen mit der Neudefinition der Natur eines neuronalen Netzes. Bisher waren neuronale Netze Muster miteinander verbundener Neuronen, die in der Lage sind, die Stärke der Verbindungen als Reaktion auf einen externen Input zu ändern. Dies ist eine Form des Lernens, die es ihnen ermöglicht, Ähnlichkeiten zwischen verschiedenen Eingaben zu erkennen.

Aber der grundlegende Prozess des Rechnens enthält ein wichtiges zusätzliches Element. Dies ist ein externer Speicher, der während einer Berechnung beschrieben und gelesen werden kann. In Turings berühmter Beschreibung eines Computers ist der Speicher das Laufband, das durch den Computer hin und her läuft und Symbole verschiedener Art für die spätere Verarbeitung speichert.

Diese Art von lesbarem und beschreibbarem Speicher fehlt in einem herkömmlichen neuronalen Netzwerk. Also haben Graves und Co einfach einen hinzugefügt. Dies ermöglicht es dem neuronalen Netzwerk, Variablen in seinem Speicher zu speichern und später auf sie zurückzukommen, um sie in einer Berechnung zu verwenden.

Dies ähnelt der Art und Weise, wie ein gewöhnlicher Computer die Zahl 3 und die Zahl 4 in Register einfügt und sie später zu 7 addiert. Der Unterschied besteht darin, dass das neuronale Netzwerk möglicherweise komplexere Muster von Variablen speichert, die beispielsweise das Wort Mary darstellen .

Da sich diese Form des Rechnens in einer wichtigen Weise von einem herkömmlichen neuronalen Netzwerk unterscheidet, geben Graves und Co. ihm einen neuen Namen – sie nennen es eine neurale Turing-Maschine, die erste ihrer Art, die jemals gebaut wurde. Die Neural Turing Machine lernt wie ein herkömmliches neuronales Netzwerk anhand der Eingaben, die es von der Außenwelt erhält, aber es lernt auch, wie diese Informationen gespeichert und wann sie abgerufen werden.

Die DeepMind-Arbeit besteht darin, das Gerät zunächst zu konstruieren und es dann auf Herz und Nieren zu prüfen. Ihre Experimente bestehen aus einer Reihe von Tests, um zu sehen, ob eine neurale Turing-Maschine, nachdem sie für eine bestimmte Aufgabe trainiert wurde, diese Fähigkeit dann auf größere oder komplexere Aufgaben ausdehnen könnte. Wir waren zum Beispiel neugierig zu sehen, ob ein Netzwerk, das darauf trainiert wurde, Sequenzen mit einer Länge von bis zu 20 zu kopieren, eine Sequenz mit einer Länge von 100 ohne weiteres Training kopieren könnte, sagen Graves und Co.

Es stellt sich heraus, dass die neuronale Turing-Maschine lernt, Folgen von Längen bis zu 20 mehr oder weniger perfekt zu kopieren. Und es kopiert dann Sequenzen der Längen 30 und 50 mit sehr wenigen Fehlern. Bei einer Sequenz der Länge 120 beginnen sich Fehler einzuschleichen, einschließlich eines Fehlers, bei dem ein einzelner Term dupliziert wird und so alle folgenden Terme einen Schritt zurückschiebt. Trotz subjektiver Nähe zu einer korrekten Kopie führt dies zu einem hohen Verlust, so das Team.

Obwohl die beteiligten Sequenzen zufällig sind, ist es nicht schwer vorstellbar, wie sie komplexere Ideen wie „Maria“, „sprach mit“ oder „John“ darstellen könnten. Ein wichtiger Punkt ist, dass die Menge an Informationen, die diese Sequenzen enthalten, variabel ist, wie Chunks.

Sie vergleichen die Leistung ihrer Neural Turing Machine mit einem herkömmlichen neuronalen Netzwerk. Der Unterschied ist signifikant. Das herkömmliche neuronale Netz lernt, Sequenzen bis zu einer Länge von 20 nahezu perfekt zu kopieren. Aber wenn es um Sequenzen geht, die länger sind als die Trainingsdaten, werden Fehler sofort signifikant. Und seine Kopie der längsten Sequenz der Länge 120 ist im Vergleich zum Original kaum wiederzuerkennen.

Das DeepMind-Team testet die Neural Turing Machine auch bei anderen Aufgaben. Eines davon ist beispielsweise das Äquivalent zum Fotokopieren: Die Aufgabe besteht darin, eine Sequenz zu kopieren und diese Sequenz dann eine bestimmte Anzahl von Malen zu wiederholen und mit einer vorbestimmten Markierung zu enden. Wieder einmal übertrifft die Neural Turing Machine ein herkömmliches neuronales Netzwerk deutlich.

Das ist eine beeindruckende Arbeit. Unsere Experimente zeigen, dass [unsere neurale Turing-Maschine] in der Lage ist, einfache Algorithmen aus Beispieldaten zu lernen und diese Algorithmen zu verwenden, um weit außerhalb ihres Trainingsregimes zu verallgemeinern, sagen Graves und Co.

Das ist ein wichtiger Schritt nach vorn, der das Potenzial hat, Rechenmaschinen gehirnähnlicher zu machen als je zuvor. Aber es liegt noch viel Arbeit vor uns.

Insbesondere das menschliche Gehirn führt einen cleveren Trick aus, um komplexen Argumenten einen Sinn zu geben. Eine interessante Frage, die sich aus Millers frühen Arbeiten ergibt, lautet: Wenn unser Arbeitsgedächtnis nur sieben Chunks verarbeiten kann, wie verstehen wir dann komplexe Argumente in Büchern, die beispielsweise aus Tausenden oder Zehntausenden von Chunks bestehen?

Millers Antwort ist, dass das Gehirn einen Trick anwendet, der als Umcodierung bekannt ist. Kehren wir zu unserem Beispiel des Buches zurück und fügen einen weiteren Satz hinzu: Dieses Buch ist eine spannende Lektüre mit einer komplexen Handlung und lebensechten Charakteren. Es ist den Coverpreis eindeutig wert.

Sobald Sie den ersten Satz gelesen und verstanden haben, speichert Ihr Gehirn diese sieben Chunks so, dass sie im nächsten Satz als ein einziger Chunk verfügbar sind. In diesem zweiten Satz ist das Pronomen it dieser einzelne Brocken. Unser Gehirn weiß automatisch, dass es bedeutet: das Buch, das sich mit einer komplexen Handlung und lebensechten Charakteren spannend liest. Es hat die sieben früheren Chunks in einen einzigen Chunk umcodiert.

Für Miller war die Fähigkeit des Gehirns, auf diese Weise umzucodieren, einer der Schlüssel zur künstlichen Intelligenz. Er glaubte, dass, bis ein Computer diese Fähigkeit reproduzieren könnte, er niemals die Leistung des menschlichen Gehirns erreichen könne.

Googles DeepMind hat erklärt, dass sein Ziel darin besteht, Intelligenz zu lösen. Wenn diese Lösung auch nur annähernd der menschlichen Intelligenz entspricht, wäre ein guter Test, ob Neural Turing Machines zu Millers Umcodierungstrick fähig sind.

Ref: arxiv.org/abs/1410.5401 : Neuronale Turing-Maschinen

verbergen