211service.com
Wie können wir sicher sein, dass sich KI verhält? Vielleicht, indem man zusieht, wie es mit sich selbst argumentiert.
OpenAI-Blog
Eines Tages könnte es völlig normal sein, einem KI-System dabei zuzusehen, wie es mit sich selbst kämpft.
Das Konzept stammt von Forschern an OpenAI , eine gemeinnützige Organisation, die von mehreren Koryphäen des Silicon Valley gegründet wurde, darunter Y Combinator-Partner Sam Altman, LinkedIn-Vorsitzender Reid Hoffman, Facebook-Vorstandsmitglied und Palantir-Gründer Peter Thiel sowie Tesla- und SpaceX-Chef Elon Musk.
Die OpenAI-Forscher haben zuvor gezeigt, dass KI-Systeme, die sich selbst trainieren, manchmal unerwartete und unerwünschte Gewohnheiten entwickeln können. Beispielsweise kann ein Agent in einem Computerspiel herausfinden, wie es geht Panne seinen Weg zu einer höheren Punktzahl. In einigen Fällen kann es für eine Person möglich sein überwacht den Ausbildungsprozess . Aber wenn das KI-Programm etwas unglaublich Komplexes macht, ist dies möglicherweise nicht machbar. Die Forscher schlagen daher vor, stattdessen zwei Systeme über ein bestimmtes Ziel diskutieren zu lassen.
Wir glauben, dass dieser oder ein ähnlicher Ansatz uns letztendlich dabei helfen könnte, KI-Systeme so zu trainieren, dass sie kognitiv weitaus fortgeschrittenere Aufgaben ausführen, als Menschen dazu in der Lage sind, während sie gleichzeitig den menschlichen Vorlieben entsprechen, schreiben die Forscher ein Blogbeitrag Konzept skizzieren.
Nehmen wir zum Beispiel ein KI-System, das entwickelt wurde, um sich gegen menschliche oder KI-Hacker zu verteidigen. Um zu verhindern, dass das System etwas Schädliches oder Unethisches tut, kann es notwendig sein, es herauszufordern, die Logik für eine bestimmte Aktion zu erklären. Diese Logik könnte für eine Person zu komplex sein, um sie zu verstehen, daher schlagen die Forscher vor, dass eine andere KI die Weisheit der Aktion mit dem ersten System unter Verwendung natürlicher Sprache diskutiert, während die Person beobachtet. Weitere Einzelheiten finden sich in a Forschungsbericht .
KI-Programme miteinander argumentieren zu lassen, erfordert eine ausgeklügeltere Technologie als derzeit vorhanden ist. Bisher haben die OpenAI-Forscher die Idee nur mit ein paar extrem einfachen Beispielen untersucht. Zum einen versuchen zwei KI-Systeme, einen Beobachter von einem versteckten Zeichen zu überzeugen, indem sie langsam einzelne Pixel freigeben.
Die Forscher haben erstellt eine Website wo zwei beliebige Personen versuchen können, die Rollen der debattierenden KI-Systeme zu spielen, während ein dritter als Richter fungiert. Die beiden Teilnehmer wetteifern darum, den Richter von der Natur eines Bildes zu überzeugen, während sie Teile davon hervorheben. Schließlich wird es für den Beobachter einfacher zu sagen, wer ehrlich ist.
Vinzenz Conitzer , ein Forscher an der Duke University, der sich mit ethischen Fragen im Zusammenhang mit KI befasst, sagt, dass sich die Arbeit noch in einem frühen Stadium befinde, aber vielversprechend sei. Die Entwicklung von KI-Systemen, die ihre Entscheidungen erklären können, ist eine herausfordernde Forschungsagenda, sagt er. Im Erfolgsfall kann es einen großen Beitrag zum verantwortungsvollen Umgang mit KI leisten.
So wie es aussieht – und trotz manche ausgefallen Aussagen von Leuten wie Elon Musk (einem OpenAI-Förderer und bis vor kurzem Mitglied des Vorstands) – wir sind noch weit davon entfernt, KI-Systeme zu haben, die uns in der Art von Szenarien, die in Filmen dargestellt werden, täuschen und überlisten können Ex Machina und Ihr .
Dennoch erforschen einige KI-Forscher Möglichkeiten, um sicherzustellen, dass sich die Technologie nicht auf unbeabsichtigte Weise verhält. Dies kann an Bedeutung gewinnen, wenn KI-Programme immer komplexer und undurchschaubarer werden (siehe Das dunkle Geheimnis im Herzen der KI).
Ich denke, die Idee der Werteausrichtung durch Debatte ist sehr interessant und potenziell nützlich, sagt er Ariel Procaccia , Professor für Informatik an der CMU, der die Entscheidungsfindung mit autonomen Systemen untersucht.
Procaccia stellt jedoch fest, dass die Arbeit sehr vorläufig ist und dass das Konzept sogar einen grundlegenden Widerspruch enthalten kann. Um wertgeladene Fragen auf eine Weise zu diskutieren, die für einen menschlichen Richter verständlich ist, müssen die KI-Agenten möglicherweise zunächst ein solides Verständnis menschlicher Werte haben, sagt er. Der Ansatz besteht also wohl darin, den Karren vor das Pferd zu spannen.
Iyad Rawan , ein Forscher am Medienlabor des MIT, fügt hinzu, dass die Forscher aufpassen müssten, dass ein KI-Paar nicht in einen Zirkelschluss gerät. Ich denke, sie werden sehr schnell auf einige sehr knifflige Probleme stoßen, sagt er. Zunächst geht es darum, die Argumentation in natürlicher Sprache zu automatisieren, was immer noch ein ungelöstes Problem ist.