Uber hat zwei klassische Videospiele der 80er Jahre geknackt, indem es einem KI-Algorithmus eine neue Art von Gedächtnis gegeben hat

Squakenet

Eine neue Art von maschinellem Lernalgorithmus hat gerade ein paar Rückfall-Videospiele gemeistert, die sich als große Kopfschmerzen für die KI erwiesen haben.

Diejenigen, die mitmachen, werden wissen, dass KI-Algorithmen die besten menschlichen Spieler der Welt beim alten, eleganten Strategiespiel Go, einem der schwierigsten Spiele, die man sich vorstellen kann, besiegt haben. Aber zwei verpixelte Klassiker aus der Ära der 8-Bit-Computerspiele – Montezuma’s Revenge und Pitfall! – haben KI-Forscher behindert.

Dieser scheinbare Widerspruch hat einen Grund. Obwohl täuschend einfach, sind sowohl Montezuma’s Revenge als auch Pitfall! sind immun gegen die Beherrschung durch Verstärkungslernen , eine Technik, die ansonsten geschickt darin ist, Videospiele zu erobern. DeepMind, eine Tochtergesellschaft von Alphabet, die sich auf künstliche Intelligenz konzentriert, hat sie bekanntermaßen verwendet, um Algorithmen zu entwickeln, die in der Lage sind, zu lernen, wie man mehrere klassische Videospiele auf Expertenebene spielt. Reinforcement-Learning-Algorithmen passen gut zu den meisten Spielen, da sie ihr Verhalten als Reaktion auf positives Feedback optimieren – die Punktzahl steigt. Der Erfolg des Ansatzes hat die Hoffnung geweckt, dass KI-Algorithmen sich selbst beibringen könnten, alle möglichen nützlichen Dinge zu tun, die Maschinen derzeit unmöglich sind.

Das Problem mit Montezuma’s Revenge und Pitfall! ist, dass es nur wenige zuverlässige Belohnungssignale gibt. Beide Titel beinhalten typische Szenarien: Die Protagonisten erkunden blockhafte Welten voller tödlicher Kreaturen und Fallen. Aber in jedem Fall tragen viele Verhaltensweisen, die notwendig sind, um im Spiel voranzukommen, erst viel später dazu bei, die Punktzahl zu erhöhen. Gewöhnliche Reinforcement-Learning-Algorithmen schaffen es normalerweise nicht, den ersten Raum in Montezuma’s Revenge und in Pitfall zu verlassen! Sie erzielen genau null Punkte.

Die neuen Algorithmen stammen vom KI-Forschungsteam von Uber in San Francisco unter der Leitung von Jeff Clune , der auch außerordentlicher Professor an der University of Wyoming ist. Das Team demonstrierte einen grundlegend anderen Ansatz für maschinelles Lernen in einer Umgebung, die nur wenige Hinweise bietet, um einem Algorithmus zu zeigen, wie er arbeitet.

Der Ansatz führe zu einigen interessanten praktischen Anwendungen, schreiben Clune und sein Team in einem heute veröffentlichten Blogbeitrag – zum Beispiel beim Lernen von Robotern. Das liegt daran, dass zukünftige Roboter herausfinden müssen, was in Umgebungen zu tun ist, die komplex sind und nur wenige Belohnungen bieten.

Uber startete sein KI-Labor im Dezember 2016 mit dem Ziel, grundlegende Durchbrüche zu erzielen, die sich für sein Geschäft als nützlich erweisen könnten. Bessere Reinforcement-Learning-Algorithmen könnten sich letztendlich für Dinge wie autonomes Fahren und die Optimierung von Fahrzeugrouten als nützlich erweisen.

KI-Forscher haben normalerweise versucht, die Probleme zu umgehen, die von Montezuma’s Revenge and Pitfall! indem sie Reinforcement-Learning-Algorithmen anweisen, zeitweise zufällig zu erkunden, und gleichzeitig Belohnungen für die Erkundung hinzufügen – was als intrinsische Motivation bekannt ist.

Die Uber-Forscher glauben jedoch, dass dies einen wichtigen Aspekt der menschlichen Neugier nicht erfasst. Wir gehen davon aus, dass eine große Schwäche der aktuellen Algorithmen für intrinsische Motivation die Distanziertheit ist, schreiben sie. Dabei vergessen die Algorithmen vielversprechende Gebiete, die sie besucht haben, d.h. sie kehren nicht dorthin zurück, um zu sehen, ob sie zu neuen Zuständen führen.

Die neue Familie von Reinforcement-Learning-Algorithmen des Teams namens Go-Explore merkt sich, wo sie zuvor waren, und kehrt später zu einem bestimmten Bereich oder einer bestimmten Aufgabe zurück, um zu sehen, ob sie zu besseren Gesamtergebnissen beitragen könnte. Die Forscher fanden auch heraus, dass das Hinzufügen von ein wenig Domänenwissen, indem menschliche Spieler interessante oder wichtige Bereiche hervorheben, das Lernen und den Fortschritt der Algorithmen um einen bemerkenswerten Betrag beschleunigte. Dies ist von Bedeutung, da es viele reale Situationen geben kann, in denen Sie möchten, dass ein Algorithmus und eine Person zusammenarbeiten, um eine schwierige Aufgabe zu lösen.

Ihr Code erzielt in Montezuma’s Revenge durchschnittlich 400.000 Punkte – eine Größenordnung höher als der Durchschnitt menschlicher Experten. In Fallgrube! Es bringt im Durchschnitt 21.000 Punkte ein, weitaus besser als die meisten menschlichen Spieler.

Diese Ergebnisse sind sehr beeindruckend, sagt Emma Brunskill, Assistenzprofessorin an der Stanford University, die sich auf bestärkendes Lernen spezialisiert hat. Sie sagt, es sei überraschend und aufregend, dass die Techniken so große Vorteile brachten.

Andere KI-Forscher haben an diesen notorisch harten Videospielen herumgebastelt. Im Oktober demonstrierte ein Team von OpenAI, einer gemeinnützigen Organisation in San Francisco, einen Algorithmus, der dazu in der Lage ist deutliche Fortschritte machen in Montezumas Rache.

Brunskills Gruppe kürzlich in Stanford bescheidenere Fortschritte gemacht auf Pitfall! mit einem ähnlichen Ansatz wie das Uber-Team.

Jetzt, da KI-Algorithmen diese Videospiele lösen können, besteht die Herausforderung darin, aus der Spielhalle herauszukommen und reale Probleme zu lösen.

Brunskill stimmt zu, dass diese Art von Arbeit einen großen Einfluss auf die Robotik haben könnte. Sie sagt jedoch, dass andere reale Situationen, insbesondere solche, in denen menschliches Verhalten modelliert wird, weitaus schwieriger sind. Es wird sehr interessant sein zu sehen, wie gut dieser Ansatz für kompliziertere Einstellungen funktioniert, sagt sie.

Allerdings ist nicht jeder von der Uber-Forschung begeistert.

Alex Irpan, ein Softwareentwickler, der bei Google an maschinellem Lernen und Robotik arbeitet, schrieb ein Blogbeitrag in dem er fragt, warum das Uber-KI-Team neben einer Pressemitteilung kein technisches Papier vorgelegt hat, um mehr Details über ihre Arbeit zu geben.

Irpan weist auch darauf hin, dass die KI-Forscher von Uber durch die Änderung des Standes des Spiels, um ihren Ansatz zu erleichtern, das Spielfeld möglicherweise erheblich verändert haben. Angesichts dieser Tatsache stellt er die Frage, wie praktisch der Ansatz sein könnte.

Der Blogbeitrag besagt, dass dieser Ansatz für simulierte Robotikaufgaben verwendet und dann mit einer Sim-to-Real-Übertragung kombiniert werden könnte, um Richtlinien für die reale Welt zu erhalten. An dieser Front bin ich ziemlich pessimistisch, schreibt er.

Aktualisiert 11.28 mit Kommentar von Alex Irpan.

verbergen