Die KI hat nach fast 500 Millionen Versteckspielen gelernt, Werkzeuge zu benutzen

OpenAi

In den frühen Tagen des Lebens auf der Erde waren biologische Organismen äußerst einfach. Sie waren mikroskopisch kleine einzellige Kreaturen mit wenig bis gar keiner Fähigkeit zur Koordination. Doch Milliarden von Jahren der Evolution durch Konkurrenz und natürliche Selektion führten zu den komplexen Lebensformen, die wir heute haben – sowie zu einer komplexen menschlichen Intelligenz.

Forscher von OpenAI, dem in San Francisco ansässigen, gewinnorientierten KI-Forschungslabor, testen jetzt eine Hypothese: Wenn Sie diese Art von Wettbewerb in einer virtuellen Welt nachahmen könnten, würde dies auch zu einer viel ausgefeilteren künstlichen Intelligenz führen?

Das Experiment baut auf zwei bestehenden Ideen auf dem Gebiet auf: Multi-Agent-Lernen, die Idee, mehrere Algorithmen in Konkurrenz oder Koordination zu stellen, um emergentes Verhalten zu provozieren, und Reinforcement Learning, die spezifische Technik des maschinellen Lernens, die lernt, ein Ziel durch Versuch und zu erreichen Error. (DeepMind hat letzteres mit seinem bahnbrechenden Programm AlphaGo populär gemacht, das den besten menschlichen Spieler im alten chinesischen Brettspiel Go besiegte.)

In einem neues Papier Heute veröffentlicht, hat OpenAI nun erste Ergebnisse bekannt gegeben. Durch hundertmillionenfaches Spielen eines einfachen Versteckspiels entwickelten zwei gegnerische Teams von KI-Agenten komplexe Versteck- und Suchstrategien, die den Einsatz von Werkzeugen und die Zusammenarbeit beinhalteten. Die Forschung bietet auch Einblick in die vorherrschende Forschungsstrategie von OpenAI: bestehende KI-Techniken dramatisch zu skalieren, um zu sehen, welche Eigenschaften entstehen.

Nach ungefähr 25 Millionen Versteckrunden lernten die Verstecker, Forts zu bauen, um das Spiel zu gewinnen. OpenAI

Sechs Phasen der Strategie

Um das Spiel zu erstellen, entwarfen die Forscher eine virtuelle Umgebung, die aus einem umschlossenen Raum mit verschiedenen Objekten wie Blöcken, Rampen und beweglichen und unbeweglichen Barrikaden bestand. Die Agenten selbst wurden durch Reinforcement-Learning-Algorithmen gesteuert. Für jedes Spiel wurden die Agenten in zwei Teams aufgeteilt: Verstecker wurden belohnt oder bestraft, wenn sie den Suchenden auswichen bzw. nicht auswichen; Suchende wurden auch dafür belohnt oder bestraft, dass sie die Verstecke fanden oder nicht fanden. Wie bei einem klassischen Versteckspiel bekamen die Verstecker zudem ein paar Sekunden Vorsprung. Die Forscher gaben den Agenten keine weiteren Anweisungen.

Im Laufe von Hunderten Millionen Spielrunden entwickelten die Agenten mehrere Strategien und Gegenstrategien. In der ersten Phase entwickelten die Verstecker und Suchenden sehr grobe Vermeidungs- und Verfolgungsstrategien, indem sie sich im Raum bewegten, ohne eines der Objekte zu manipulieren.

In Phase drei lernten die Suchenden, mit einer Rampe über die Festungsmauern zu klettern. OpenAI

Aber um die 25-Millionen-Spiele-Marke herum wurde das Spiel anspruchsvoller. Die Verstecker lernten, die Kisten und Barrikaden in der Umgebung zu bewegen und zu verschließen, um Festungen um sich herum zu bauen, damit die Suchenden sie nie sehen würden. Nicht nur das, sie entwickelten auch Koordinationsstrategien, wie zum Beispiel das gegenseitige Passieren von Objekten, um den Festungsbauprozess zu beschleunigen.

Nach weiteren 75 Millionen Runden entdeckten die Suchenden jedoch eine Gegenstrategie und brachten den Prozess in Phase drei. Sie lernten, eine Rampe neben der Festung der Untergetauchten zu bewegen und damit über die Mauern zu klettern. In Phase vier, 10 Millionen Runden später, hatten die Verstecker gelernt, die Rampen zu verriegeln, bevor sie ihre Festung bauten. (Kein Team konnte ein Objekt entsperren, das von einem gegnerischen Team gesperrt wurde.)

Zuerst glaubten die Forscher von OpenAI, dass dies die letzte Phase des Spiels war, aber schließlich, an der 380-Millionen-Spiele-Marke, kristallisierten sich zwei weitere Strategien heraus. Die Sucher entwickelten erneut eine Strategie, um in die Festung der Versteckte einzubrechen, indem sie eine verschlossene Rampe benutzten, um auf eine unverschlossene Kiste zu klettern, und dann auf der Kiste zur Festung und über ihre Mauern surften. In der letzten Phase lernten die Untergetauchten noch einmal, alle Rampen und Kisten zu verriegeln, bevor sie ihre Festung bauten.

Schließlich, nach 380 Millionen Trainingsrunden, lernten die Suchenden „boxsurfen“, um über die Festungsmauern zu klettern. OpenAI

Emergente Intelligenz

Die Forscher glauben, dass diese ersten Ergebnisse eine vielversprechende neue Methode zur Entwicklung komplexerer KI aufzeigen. Wir haben den Versteckenden oder Suchenden nicht gesagt, dass sie in die Nähe einer Kiste rennen oder mit ihr interagieren sollen, sagt Bowen Baker, einer der Autoren der Zeitung. Aber durch den Multiagenten-Wettbewerb schufen sie sich gegenseitig neue Aufgaben, sodass sich das andere Team anpassen musste.

Diese Studie spiegelt den unverwechselbaren Ansatz von OpenAI in der KI-Forschung wider. Obwohl das Labor im Vergleich zu anderen Labors auch in die Entwicklung neuartiger Techniken investiert hat, hat es sich in erster Linie einen Namen gemacht, indem es bestehende Techniken dramatisch skaliert hat. GPT-2, das berüchtigte Sprachmodell des Labors, zum Beispiel stark ausgeliehenes algorithmisches Design von früheren Sprachmodellen, einschließlich Googles BERT ; Die Hauptinnovation von OpenAI war eine technische Meisterleistung und umfangreiche Rechenressourcen.

In gewisser Weise bestätigt diese Studie den Wert, die Grenzen bestehender Technologien in großem Maßstab zu testen. Das Team plant auch, diese Strategie fortzusetzen. Die Forscher sagen, dass die erste Versuchsrunde die Grenzen der Rechenressourcen, die sie für das Problem einsetzen konnten, nicht annähernd erreichte.

Wir möchten, dass sich die Leute vorstellen, was passieren würde, wenn Sie diese Art von Wettbewerb in einem viel komplexeren Umfeld auslösen würden, sagt Baker. Die Verhaltensweisen, die sie lernen, könnten tatsächlich in der Lage sein, einige Probleme zu lösen, von denen wir vielleicht noch nicht wissen, wie wir sie lösen sollen.

Korrektur: Die ursprüngliche Überschrift gab die Anzahl der Spiele, die die Agenten spielten, falsch an.

verbergen