Ein Algorithmus, der durch Belohnungen lernt, kann zeigen, wie es auch unserem Gehirn geht

Neuronale Wege Wikimedia Commons

1951 entlehnte Marvin Minsky, damals Student in Harvard, Beobachtungen des Verhaltens von Tieren, um zu versuchen, eine intelligente Maschine zu entwerfen. Minsky stützt sich auf Ideen aus der Arbeit des Physiologen Ivan Pavlov, der bekanntermaßen Hunde verwendete, um zu zeigen, wie Tiere durch Bestrafung und Belohnung lernen einen Rechner erstellt die durch ähnliche Verstärkung kontinuierlich lernen könnten, ein virtuelles Labyrinth zu lösen.

Zu dieser Zeit mussten Neurowissenschaftler noch die Mechanismen im Gehirn herausfinden, die es Tieren ermöglichen, auf diese Weise zu lernen. Aber Minsky war immer noch in der Lage, das Verhalten locker nachzuahmen und damit die künstliche Intelligenz voranzutreiben. Einige Jahrzehnte später, als Reinforcement Learning weiter reifte, half es wiederum dem Bereich der Neurowissenschaften entdecken diese Mechanismen, die in einen virtuosen Kreislauf des Fortschritts zwischen den beiden Bereichen einfließen.

In einem Papier veröffentlicht DeepMind, die KI-Tochtergesellschaft von Alphabet, hat heute in Nature erneut Lehren aus dem Reinforcement Learning gezogen, um eine neue Theorie über die Belohnungsmechanismen in unserem Gehirn vorzuschlagen. Die Hypothese, unterstützt durch erste experimentelle Befunde, könnte nicht nur unser Verständnis von psychischer Gesundheit und Motivation verbessern. Es könnte auch die aktuelle Richtung der KI-Forschung zum Aufbau einer menschenähnlicheren allgemeinen Intelligenz bestätigen.

Auf hohem Niveau folgt Reinforcement Learning der Erkenntnis, die von Pavlovs Hunden abgeleitet wurde: Es ist möglich, einem Agenten beizubringen, komplexe, neuartige Aufgaben zu meistern, und zwar nur durch positives und negatives Feedback. Ein Algorithmus beginnt mit dem Lernen einer zugewiesenen Aufgabe, indem er zufällig vorhersagt, welche Aktion ihm eine Belohnung einbringen könnte. Es ergreift dann die Aktion, beobachtet die tatsächliche Belohnung und passt seine Vorhersage basierend auf der Fehlerquote an. Über Millionen oder sogar Milliarden von Versuchen konvergieren die Vorhersagefehler des Algorithmus gegen Null. An diesem Punkt weiß er genau, welche Maßnahmen er ergreifen muss, um seine Belohnung zu maximieren und so seine Aufgabe zu erfüllen.

Es stellt sich heraus, dass das Belohnungssystem des Gehirns auf die gleiche Weise funktioniert – eine Entdeckung, die in den 1990er Jahren gemacht wurde und von Reinforcement-Learning-Algorithmen inspiriert wurde. Wenn ein Mensch oder ein Tier im Begriff ist, eine Aktion auszuführen, machen seine Dopamin-Neuronen eine Vorhersage über die erwartete Belohnung. Sobald die eigentliche Belohnung eingegangen ist, feuern sie eine Menge Dopamin ab, die dem Vorhersagefehler entspricht. Eine bessere Belohnung als erwartet löst eine starke Dopaminfreisetzung aus, während eine schlechtere Belohnung als erwartet die Produktion der Chemikalie unterdrückt. Mit anderen Worten, das Dopamin dient als Korrektursignal und weist die Neuronen an, ihre Vorhersagen anzupassen, bis sie der Realität entsprechen. Das als Belohnungsvorhersagefehler bekannte Phänomen funktioniert ähnlich wie ein Reinforcement-Learning-Algorithmus.

Das neue Paper von DeepMind baut auf der engen Verbindung zwischen diesen natürlichen und künstlichen Lernmechanismen auf. Im Jahr 2017 führten die Forscher einen verbesserten Reinforcement-Learning-Algorithmus ein, der seitdem eine immer beeindruckendere Leistung bei verschiedenen Aufgaben ermöglicht. Sie glauben nun, dass diese neue Methode eine noch genauere Erklärung dafür liefern könnte, wie Dopamin-Neuronen im Gehirn funktionieren.

Insbesondere ändert der verbesserte Algorithmus die Art und Weise, wie Belohnungen vorhergesagt werden. Während der alte Ansatz Belohnungen als eine einzelne Zahl schätzte, die dem durchschnittlich erwarteten Ergebnis entsprechen sollte, stellt der neue Ansatz sie genauer als Verteilung dar. (Denken Sie einen Moment an einen Spielautomaten: Sie können nach einer bestimmten Verteilung entweder gewinnen oder verlieren. Aber in keinem Fall würden Sie jemals das durchschnittlich erwartete Ergebnis erhalten.)

Die Modifikation bietet sich für eine neue Hypothese an: Sagen Dopamin-Neuronen auch Belohnungen auf die gleiche Verteilungsart voraus?

Um diese Theorie zu testen, hat sich DeepMind mit einer Gruppe in Harvard zusammengetan, um das Verhalten von Dopamin-Neuronen bei Mäusen zu beobachten. Sie stellten den Mäusen eine Aufgabe und belohnten sie basierend auf dem Würfelwurf, indem sie die Feuermuster ihrer Dopamin-Neuronen durchgehend maßen. Sie fanden heraus, dass jedes Neuron unterschiedliche Mengen an Dopamin freisetzte, was bedeutet, dass sie alle unterschiedliche Ergebnisse vorhergesagt hatten. Während einige zu optimistisch waren und höhere Belohnungen prognostizierten, als tatsächlich erhalten wurden, waren andere pessimistischer und spielten die Realität herunter. Als die Forscher die Verteilung dieser Vorhersagen abbildeten, folgten sie genau der Verteilung der tatsächlichen Belohnungen. Diese Daten liefern überzeugende Beweise dafür, dass das Gehirn tatsächlich verteilte Belohnungsvorhersagen verwendet, um seinen Lernalgorithmus zu stärken.

Durch die Messung des Verhaltens von Dopamin-Neuronen bei Mäusen stellten die Forscher fest, dass die Verteilung der Vorhersagen der Neuronen (dekodiert) eng der Verteilung der tatsächlichen Belohnungen (Ground Truth) folgte. DeepMind

Dies ist eine schöne Erweiterung des Begriffs der Dopamin-Codierung von Belohnungsvorhersagefehlern, schrieb Wolfram Schultz, ein Pionier im Dopamin-Neuronenverhalten, der nicht an der Studie beteiligt war, in einer E-Mail. Es ist erstaunlich, wie diese sehr einfache Dopamin-Reaktion vorhersagbar intuitiven Mustern grundlegender biologischer Lernprozesse folgt, die jetzt zu einem Bestandteil der KI werden.

Die Studie hat Auswirkungen sowohl auf die KI als auch auf die Neurowissenschaften. Erstens validiert es verteiltes Verstärkungslernen als vielversprechenden Weg zu fortschrittlicheren KI-Fähigkeiten. Wenn das Gehirn es nutzt, ist es wahrscheinlich eine gute Idee, sagte Matt Botvinick, Direktor für neurowissenschaftliche Forschung bei DeepMind und einer der Hauptautoren des Papiers, während einer Pressekonferenz. Es sagt uns, dass dies eine Rechentechnik ist, die in realen Situationen skaliert werden kann. Es wird gut zu anderen Rechenprozessen passen.

Zweitens könnte es ein wichtiges Update für eine der kanonischen Theorien in den Neurowissenschaften über Belohnungssysteme im Gehirn bieten, was wiederum unser Verständnis von allem, von der Motivation bis zur psychischen Gesundheit, verbessern könnte. Was könnte es zum Beispiel bedeuten, pessimistische und optimistische Dopamin-Neuronen zu haben? Wenn das Gehirn selektiv nur auf das eine oder das andere hört, könnte dies zu chemischen Ungleichgewichten führen und Depressionen auslösen?

Grundsätzlich geben die Ergebnisse durch weitere Entschlüsselungsprozesse im Gehirn auch Aufschluss darüber, was die menschliche Intelligenz ausmacht. Es gibt uns eine neue Perspektive auf das, was im Alltag in unserem Gehirn vor sich geht, sagte Botvinick.

verbergen