Roboter erhalten eine „Rückgängig“-Schaltfläche, die ihnen helfen könnte, schneller zu lernen

Kategorie: Nicht kategorisiert Gesendet 27. Nov

Deep Reinforcement Learning funktioniert ähnlich wie ein Kind, das eine Fertigkeit lernt: Übung macht den Meister. Für einen autonomen Agenten wie einen Roboter muss seine Umgebung jedoch zwischen den Versuchen in den ursprünglichen Zustand zurückgesetzt werden – eine Arbeit, die Stunden dauern kann, wenn Menschen zum Beispiel herumhuschen und Objekte ersetzen.

Ein neues arXiv-Papier von Forschern mit Google Brain, der University of Cambridge, dem Max-Planck-Institut für Intelligente Systeme und der UC Berkeley beschreibt eine Methode, die einem Agenten beibringen kann, die Umgebung für den nächsten Versuch zurückzusetzen und ihn daran zu hindern, Aktionen auszuführen, die dies tun würden irreversibel.

Ihr Fortschritt bestand darin, den Agenten eine Forward- und Reset-Policy zu geben, die zusammenarbeiten. Während die Vorwärtsrichtlinie mit dem Erlernen einer Fertigkeit beauftragt ist, zwingt das Drücken von Zurücksetzen einen Agenten dazu, zu lernen, wie man keine Spuren hinterlässt, wodurch eine Aktion effektiv zurückgespult wird. Aktionen, die der Roboter für irreversibel hält, werden so schnell wie möglich abgebrochen.

Die Forscher schreiben, dass sie versucht haben, ihren Agenten die Intuition zu geben, alles, was reversibel ist, als sicher einzustufen, da es möglich ist, in den ursprünglichen Zustand zurückzukehren. Durch Versuch und Irrtum entdeckt der Agent, dass immer mehr Aktionen umkehrbar sind, sodass er sicher erkunden kann.

Deep Reinforcement Learning wird häufig in Simulationen durchgeführt, insbesondere wenn reale Umgebungen Fehler weniger verzeihen, wie z. B. ein autonomes Auto, das über eine Klippe fährt. Selbst in sichereren Situationen kann das Warten auf manuelle Resets zu einem Engpass für die Datenerfassung werden. Aus diesem Grund beschränkte sich die Arbeit des Teams auf virtuelle Umgebungen. Letztendlich müssen jedoch reale Tests durchgeführt werden, und diese Forschung könnte sie schneller und sicherer machen.

Wie Jack Clark in seinem betont KI importieren Newsletter , spiegelt dieses Papier die in skizzierte Arbeit wider ein anderes Papier (PDF) von Facebook AI Research im letzten Monat, in dem ein einzelner Agent zwei separate Modi mit den Spitznamen Alice und Bob hat, von denen einer versucht, die Aufgabe umzukehren, die der andere zu erledigen versucht hat. Diese Art der Arbeit, um KI vorausplanen zu können, könnte sie (und uns) in Zukunft vor katastrophalen Fehlern bewahren.