Die Technologie hinter der fiktional schreibenden, gefälschte Nachrichten spuckenden KI von OpenAI, erklärt

Wortblasen, die den Beginn einer Science-Fiction-Geschichte zeigen, und ein Computer, der die Erzählung fortsetzt Frau Tech

Letzten Donnerstag (14. Februar) veröffentlichte das gemeinnützige Forschungsunternehmen OpenAI a neues Sprachmodell in der Lage, überzeugende Prosapassagen zu generieren. So überzeugend Tatsächlich haben die Forscher darauf verzichtet, den Code offen zu beziehen, in der Hoffnung, seine potenzielle Bewaffnung als Mittel zur Massenproduktion gefälschter Nachrichten aufzuhalten .

Ein OpenAI-Mitarbeiter hat dieses von der KI geschriebene Muster ausgedruckt und neben dem Papierkorb abgelegt: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

– Greg Brockman (@gdb) 14. Februar 2019

Während die beeindruckenden Ergebnisse einen bemerkenswerten Sprung über das hinausgehen, was bestehende Sprachmodelle erreicht haben, ist die verwendete Technik nicht gerade neu. Stattdessen wurde der Durchbruch vor allem dadurch vorangetrieben, dass der Algorithmus immer mehr Trainingsdaten fütterte – ein Trick, der auch für die meisten anderen jüngsten Fortschritte beim KI-Lesen und Schreiben verantwortlich war. Es überrascht die Leute irgendwie, was man mit mehr Daten und größeren Modellen machen kann, sagt Percy Liang, Informatikprofessor in Stanford.

Die Textpassagen, die das Modell produziert, sind gut genug, um sich als von Menschen geschrieben zu tarnen. Diese Fähigkeit sollte jedoch nicht mit einem echten Sprachverständnis verwechselt werden – dem ultimativen Ziel des Teilgebiets der KI, das als Natural Language Processing (NLP) bekannt ist. (Es gibt ein Analogon zur Computervision: Ein Algorithmus kann hochrealistische Bilder ohne echtes visuelles Verständnis synthetisieren.) Tatsächlich ist es eine Aufgabe, Maschinen auf dieses Verständnisniveau zu bringen, die NLP-Forschern weitgehend entgangen ist. Liang vermutet, dass es Jahre oder sogar Jahrzehnte dauern könnte, dieses Ziel zu erreichen, und es wird wahrscheinlich Techniken beinhalten, die es noch nicht gibt.

Vier verschiedene Sprachphilosophien treiben derzeit die Entwicklung von NLP-Techniken voran. Beginnen wir mit dem von OpenAI verwendeten.

#1. Verteilungssemantik

Sprachphilosophie. Wörter erhalten ihre Bedeutung dadurch, wie sie verwendet werden. Zum Beispiel sind die Wörter Katze und Hund in ihrer Bedeutung verwandt, weil sie mehr oder weniger gleich verwendet werden. Sie können eine Katze füttern und streicheln, und Sie füttern und streicheln einen Hund. Sie können eine Orange jedoch nicht füttern und streicheln.

Verwandte Geschichte

Verwandte Geschichte Gefüttert mit Milliarden von Wörtern erstellt dieser Algorithmus überzeugende Artikel und zeigt, wie KI verwendet werden könnte, um Menschen in großem Maßstab zu täuschen.

Wie es in NLP übersetzt wird. Algorithmen, die auf Verteilungssemantik basieren, waren maßgeblich dafür verantwortlich die jüngsten Durchbrüche im NLP . Sie verwenden maschinelles Lernen, um Text zu verarbeiten, und finden Muster, indem sie im Wesentlichen zählen, wie oft und wie eng Wörter in Bezug zueinander verwendet werden. Die resultierenden Modelle können diese Muster dann verwenden, um vollständige Sätze oder Absätze zu konstruieren und Dinge wie die automatische Vervollständigung oder andere Texterkennungssysteme zu unterstützen. In den letzten Jahren haben einige Forscher auch begonnen, damit zu experimentieren, die Verteilungen zufälliger Zeichenfolgen anstelle von Wörtern zu untersuchen, sodass Modelle flexibler mit Akronymen, Satzzeichen, Slang und anderen Dingen umgehen können, die nicht im Wörterbuch erscheinen Sprachen, die keine klaren Abgrenzungen zwischen Wörtern haben.

Vorteile. Diese Algorithmen sind flexibel und skalierbar, da sie in jedem Kontext angewendet werden können und aus unbeschrifteten Daten lernen.

Nachteile Die Modelle, die sie produzieren, verstehen die Sätze, die sie konstruieren, nicht wirklich. Am Ende des Tages schreiben sie Prosa mit Wortassoziationen.

#2. Frame-Semantik

Sprachphilosophie. Sprache wird verwendet, um Handlungen und Ereignisse zu beschreiben, sodass Sätze in Subjekte, Verben und Modifikatoren unterteilt werden können. Wer , was , wo , und Wenn .

Wie es in NLP übersetzt wird. Algorithmen, die auf Frame-Semantik basieren, verwenden eine Reihe von Regeln oder viele beschriftete Trainingsdaten, um zu lernen, Sätze zu dekonstruieren. Das macht sie besonders gut zum Parsen einfacher Befehle – und damit nützlich für Chatbots oder Sprachassistenten. Wenn Sie Alexa zum Beispiel auffordern, ein Restaurant mit vier Sternen für morgen zu finden, würde ein solcher Algorithmus herausfinden, wie der Satz ausgeführt werden muss, indem er ihn in die Aktion (Find) zerlegt, die was (Restaurant mit vier Sternen) und das Wenn (Morgen).

Vorteile. Im Gegensatz zu verteilungssemantischen Algorithmen, die den Text, aus dem sie lernen, nicht verstehen, können rahmensemantische Algorithmen die verschiedenen Informationen in einem Satz unterscheiden. Diese können verwendet werden, um Fragen zu beantworten wie Wann findet diese Veranstaltung statt?

Nachteile Diese Algorithmen können nur mit sehr einfachen Sätzen umgehen und können daher keine Nuancen erfassen. Da sie viel kontextspezifisches Training erfordern, sind sie auch nicht flexibel.

#3. Modelltheoretische Semantik

Sprachphilosophie. Sprache wird verwendet, um menschliches Wissen zu vermitteln.

Wie es in NLP übersetzt wird. Die modelltheoretische Semantik basiert auf einer alten Idee in der KI, dass alles menschliche Wissen codiert werden kann, oder modelliert , in einer Reihe von logischen Regeln. Wenn Sie also wissen, dass Vögel fliegen können und Adler Vögel sind, dann können Sie daraus schließen, dass Adler fliegen können. Dieser Ansatz ist nicht mehr zeitgemäß, da die Forscher bald erkannten, dass es zu viele Ausnahmen von jeder Regel gab (z. B. Pinguine sind Vögel, können aber nicht fliegen). Aber Algorithmen, die auf modelltheoretischer Semantik basieren, sind immer noch nützlich, um Informationen aus Wissensmodellen wie Datenbanken zu extrahieren. Wie Frame-Semantik-Algorithmen parsen sie Sätze, indem sie sie in Teile zerlegen. Aber während die Rahmensemantik diese Teile als die definiert Wer , was , wo , und Wenn , die modelltheoretische Semantik definiert sie als die logischen Regeln, die Wissen codieren. Betrachten Sie zum Beispiel die Frage Was ist die bevölkerungsreichste Stadt Europas? Ein modelltheoretischer Algorithmus würde es in eine Reihe von in sich geschlossenen Abfragen zerlegen: Was sind alle Städte der Welt? Welche sind in Europa? Wie viele Einwohner haben die Städte? Welche Population ist die größte? Es wäre dann in der Lage, das Wissensmodell zu durchlaufen, um Ihnen Ihre endgültige Antwort zu geben.

Vorteile. Diese Algorithmen geben Maschinen die Fähigkeit, komplexe und nuancierte Fragen zu beantworten.

Nachteile Sie erfordern ein Wissensmodell, dessen Erstellung zeitaufwändig ist, und sind nicht flexibel in verschiedenen Kontexten.

#4. Geerdete Semantik

Sprachphilosophie. Sprache leitet Bedeutung aus gelebter Erfahrung ab. Mit anderen Worten, Menschen haben Sprache geschaffen, um ihre Ziele zu erreichen, also muss sie im Kontext unserer zielorientierten Welt verstanden werden.

Wie es in NLP übersetzt wird. Dies ist der neueste Ansatz und derjenige, von dem Liang glaubt, dass er am vielversprechendsten ist. Es versucht nachzuahmen, wie Menschen im Laufe ihres Lebens Sprache aufnehmen: Die Maschine beginnt mit einem leeren Zustand und lernt durch Konversation und Interaktion, Wörtern die richtige Bedeutung zuzuordnen. Wenn Sie in einem einfachen Beispiel einem Computer beibringen möchten, wie er Objekte in einer virtuellen Welt bewegen kann, würden Sie ihm einen Befehl wie „Roten Block nach links bewegen“ geben und ihm dann zeigen, was Sie gemeint haben. Mit der Zeit würde die Maschine lernen, die Befehle ohne Hilfe zu verstehen und auszuführen.

Vorteile. Theoretisch sollten diese Algorithmen sehr flexibel sein und einem echten Sprachverständnis am nächsten kommen.

Nachteile Das Unterrichten ist sehr zeitintensiv – und nicht alle Wörter und Sätze sind so einfach zu veranschaulichen wie Bewegen Sie den roten Block.

Kurzfristig, so glaubt Liang, wird das NLP-Gebiet durch die Nutzung bestehender Techniken, insbesondere derer, die auf Verteilungssemantik basieren, viel mehr Fortschritte machen. Aber auf längere Sicht, so glaubt er, haben sie alle Grenzen. Es gibt wahrscheinlich eine qualitative Lücke zwischen der Art und Weise, wie Menschen Sprache verstehen und die Welt wahrnehmen, und unseren aktuellen Modellen, sagt er. Diese Lücke zu schließen, würde wahrscheinlich eine neue Denkweise erfordern, fügt er hinzu, und viel mehr Zeit.

Dies erschien ursprünglich in unserem KI-Newsletter The Algorithm. Um es direkt in Ihren Posteingang geliefert zu bekommen, melden Sie sich hier kostenlos an.

verbergen