211service.com
Neugier kann für wirklich intelligente KI von entscheidender Bedeutung sein
Herr. Technik
Ein mit künstlicher Neugier ausgestatteter Computeralgorithmus kann lernen, knifflige Probleme zu lösen, auch wenn nicht sofort klar ist, welche Maßnahmen ihm helfen könnten, dieses Ziel zu erreichen.
Forscher der University of California, Berkeley, haben ein intrinsisches Neugiermodell entwickelt, damit ihr Lernalgorithmus auch dann funktioniert, wenn kein starkes Feedbacksignal vorhanden ist. Das von diesem Team entwickelte Neugiermodell sieht vor, dass die KI-Software, die einen virtuellen Agenten in einem Videospiel steuert, versucht, sein Verständnis seiner Umgebung und insbesondere der Aspekte dieser Umgebung, die ihn beeinflussen, zu maximieren. Es gab frühere Bemühungen, KI-Agenten neugierig zu machen, aber diese arbeiteten tendenziell einfacher.
Der Trick könnte helfen, einen Mangel der heutigen leistungsstärksten maschinellen Lerntechniken zu beheben, und er könnte Wege aufzeigen, Maschinen besser bei der Lösung realer Probleme zu machen.
Belohnungen in der realen Welt seien sehr spärlich, sagt er Pulkit Agrawal , ein Doktorand an der UC Berkeley, der die Forschung mit Kollegen durchführte. Babys machen all diese zufälligen Experimente, und man kann sich das als eine Art Neugier vorstellen. Sie lernen irgendeine Art von Fähigkeiten.
Mehrere leistungsstarke Techniken des maschinellen Lernens haben Maschinen in den letzten Jahren intelligenter gemacht. Unter diesen hat es eine Methode, die als Reinforcement Learning bekannt ist, es Maschinen ermöglicht, Dinge zu erreichen, die im Code schwer zu definieren wären. Reinforcement Learning beinhaltet die Verwendung positiver Belohnungen, um das Verhalten eines Algorithmus in Richtung eines bestimmten Ziels zu lenken (siehe 10 Breakthrough Technologies 2017: Reinforcement Learning ).
Reinforcement Learning war ein grundlegender Bestandteil von AlphaGo , ein Programm, das von entwickelt wurde DeepMind , um das abstrakte und komplexe Brettspiel Go mit unglaublichem Geschick zu spielen . Die Technik wird jetzt erforscht, um Maschinen mit anderen Fähigkeiten auszustatten, die möglicherweise nicht manuell codiert werden können. Beispielsweise kann es einem Roboterarm ermöglichen, selbst herauszufinden, wie er eine gewünschte Aufgabe ausführen kann.
Reinforcement Learning hat jedoch seine Grenzen. Agrawal merkt an, dass das Erlernen einer Aufgabe oft sehr viel Training erfordert und der Prozess schwierig sein kann, wenn das erforderliche Feedback nicht sofort verfügbar ist. Die Methode funktioniert beispielsweise nicht bei Computerspielen, bei denen die Vorteile bestimmter Verhaltensweisen nicht sofort offensichtlich sind. Da könnte Neugier helfen.
Die Forscher probierten den Ansatz in Kombination mit Reinforcement Learning in zwei einfachen Videospielen aus: Mario Bros., ein klassisches Plattformspiel, und VizDoom, ein einfacher 3-D-Shooter-Titel.
In beiden Spielen hat der Einsatz künstlicher Neugier den Lernprozess effizienter gemacht. Im 3-D-Spiel beispielsweise verbrachte der Agent nicht übermäßig viel Zeit damit, gegen Wände zu stoßen, sondern bewegte sich in seiner Umgebung und lernte, schneller zu navigieren. Auch ohne weitere Belohnung konnte sich der Agent in beiden Spielen überraschend gut zurechtfinden. In Mario Bros. lernte es, nicht getötet zu werden, da dies seine Fähigkeit, seine Umgebung zu erkunden und etwas über sie zu lernen, verringerte.
ZU Papier Beschreibung der Forschung wird in einem Major veröffentlicht werden KI-Konferenz später dieses Jahr.
Künstliche Neugier ist seit einiger Zeit ein aktives Forschungsgebiet. Pierre-Yves Oudeyer , wissenschaftlicher Leiter der Französisches Institut für Informatik- und Automatisierungsforschung , hat in den letzten Jahren Pionierarbeit bei der Entwicklung von Computerprogrammen und Robotern geleistet, die einfache Formen der Wissbegierde aufweisen.
Was derzeit sehr aufregend ist, ist, dass diese Ideen, die sowohl von Mainstream-KI- als auch von Neurowissenschaftlern als „exotisch“ angesehen wurden, nun zu einem wichtigen Thema sowohl in der KI als auch in den Neurowissenschaften werden, sagt Oudeyer.
Die Arbeit könnte einen echten praktischen Nutzen haben. Das Team der UC Berkeley ist sehr daran interessiert, es an Robotern zu testen, die Reinforcement Learning verwenden, um herauszufinden, wie man Dinge tut, wie umständliche Objekte zu greifen. Agrawal sagt, dass Roboter eine Menge Zeit damit verschwenden können, zufällige Gesten auszuführen. Wenn ein solcher Roboter mit angeborener Neugier ausgestattet ist, sollte er seine Umgebung schneller erkunden und mit Objekten in der Nähe experimentieren, sagt er.
Brenden See , ein Forscher an der New York University, der Computermodelle der menschlichen kognitiven Fähigkeiten erstellt, sagt, dass die Arbeit vielversprechend erscheint. Die Entwicklung von Maschinen mit ähnlichen Eigenschaften sei ein wichtiger Schritt hin zum Bau von Maschinen, die wie Menschen lernen und denken, sagte er in einer E-Mail. Es ist sehr beeindruckend, dass der Agent lernen kann, durch ein Level in Mario zu navigieren, indem er nur auf neugieriges Lernen zurückgreift. Der Agent schaut nicht einmal auf den Spielstand.
Gleichzeitig, sagt Lake, ist die Neugier, die das neue Programm demonstriert, tatsächlich ziemlich anders als beispielsweise die eines Kindes. Menschen neigen dazu, ein viel tieferes Interesse an ihrer Welt zu zeigen, sagt er.
Es ist eine sehr egozentrische Form der Neugier, sagt Lake. Der Agent interessiert sich nur für Merkmale seiner Umgebung, die sich auf seine eigenen Handlungen beziehen. Die Leute sind allgemein neugierig. Die Menschen wollen etwas über die Welt lernen, und zwar auf eine Weise, die weniger direkt mit ihren eigenen Handlungen verbunden ist.