Die KI von DeepMind kann mittlerweile alle 57 Atari-Spiele spielen – ist aber immer noch nicht vielseitig genug

Kategorie: Künstliche Intelligenz Gesendet 01.04

Die Nachrichten: Eine künstliche Intelligenz rief an Agent57 hat gelernt, alle 57 Atari-Videospiele zu spielen in der Arcade-Lernumgebung, einer Sammlung klassischer Spiele, mit denen Forscher die Grenzen ihrer Deep-Learning-Modelle testen. Agent57 wurde von DeepMind entwickelt und verwendet denselben Deep-Reinforcement-Learning-Algorithmus, um selbst in Spielen, mit denen frühere KIs zu kämpfen hatten, ein übermenschliches Spielniveau zu erreichen. Die Fähigkeit, 57 verschiedene Aufgaben zu lernen, macht Agent57 vielseitiger als frühere Spiel-KIs.

Was ist in einem Spiel? Spiele sind eine großartige Möglichkeit, KIs zu testen. Sie bieten eine Vielzahl von Herausforderungen, die eine KI dazu zwingen, eine Reihe von Strategien zu entwickeln, und haben dennoch ein klares Erfolgsmaß – eine Punktzahl – gegen die man trainieren kann. Aber insbesondere vier Atari-Spiele haben sich als schwer zu schlagen erwiesen. In Montezuma’s Revenge and Pitfall muss eine KI viele verschiedene Strategien ausprobieren, bevor sie auf eine Gewinnerstrategie trifft. Und in Solaris und Skiing kann es lange Wartezeiten zwischen Aktion und Belohnung geben, was es für eine KI schwierig macht, zu lernen, welche Bewegungen die beste Auszahlung bringen.

Meta-Geist: Um diesen Herausforderungen zu begegnen, bringt Agent57 mehrere Verbesserungen zusammen, die DeepMind an seinem Deep-Q-Netzwerk vorgenommen hat, der KI, die 2012 erstmals eine Handvoll Atari-Spiele besiegte, einschließlich einer Form von Gedächtnis, die es ermöglicht, Entscheidungen auf Dingen zu stützen, die sie zuvor hatte im Spiel und in Belohnungssystemen, die die KI ermutigen, ihre Optionen vollständiger zu erkunden, bevor sie sich für eine Strategie entscheiden. Diese verschiedenen Techniken werden dann von einem Meta-Controller verwaltet, der die Kompromisse zwischen dem Fortfahren mit einer bestimmten Strategie und mehr Exploration ausgleicht.

Warum es wichtig ist: Bei allem Erfolg sind die besten Deep-Learning-Modelle, die wir heute haben, nicht sehr vielseitig. Die meisten neigen dazu, in einer Sache und nur in einer Sache gut zu sein. Eine KI so zu trainieren, dass sie bei mehr als einer Aufgabe hervorragende Leistungen erbringt, ist eine der größten offenen Herausforderungen beim Deep Learning. Die Fähigkeit, 57 verschiedene Aufgaben zu lernen, macht Agent57 vielseitiger als frühere Spiel-KIs, aber – und das wird oft übersehen – es kann immer noch nicht lernen, mehr als ein Spiel gleichzeitig zu spielen. Agent57 kann lernen, 57 Spiele zu spielen, aber er kann nicht lernen, 57 Spiele gleichzeitig zu spielen. Es muss für jedes neue Spiel neu trainiert werden, obwohl es dafür denselben Algorithmus verwenden kann. Auf diese Weise ähnelt Agent57 AlphaZero, dem Deep-Reinforcement-Learning-Algorithmus von DeepMind, der lernen kann, Schach, Go und Shogi zu spielen – aber auch hier nicht alles auf einmal. Wahre Vielseitigkeit, die einem menschlichen Säugling so leicht fällt, liegt noch weit außerhalb der Reichweite von KIs.