GPT-3, Bloviator: Der Sprachgenerator von OpenAI hat keine Ahnung, wovon er spricht

Frau Technik | Getty. Unsplash

Seit OpenAI im Mai erstmals sein neues KI-Sprachgenerierungssystem namens GPT-3 beschrieben hat, haben Hunderte von Medien (einschließlich MIT Technology Review ) haben über das System und seine Fähigkeiten geschrieben. Twitter war begeistert von seiner Macht und seinem Potenzial. Die New York Times veröffentlicht ein op-ed darüber . Später in diesem Jahr wird OpenAI damit beginnen, Unternehmen den Zugang zu GPT-3 in Rechnung zu stellen, in der Hoffnung, dass sein System bald eine Vielzahl von KI-Produkten und -Diensten unterstützen kann.

Ist GPT-3 ein wichtiger Schritt in Richtung künstlicher allgemeiner Intelligenz – die Art, die es einer Maschine ermöglichen würde, ähnlich wie Menschen allgemein zu argumentieren, ohne für jede spezifische Aufgabe, auf die sie trifft, trainieren zu müssen? Das technische Papier von OpenAI ist zu dieser größeren Frage ziemlich zurückhaltend, aber für viele fühlt sich die schiere Geläufigkeit des Systems an, als ob es ein bedeutender Fortschritt sein könnte.

Wir bezweifeln es. Auf den ersten Blick scheint GPT-3 eine beeindruckende Fähigkeit zu haben, menschenähnlichen Text zu produzieren. Und wir zweifeln nicht daran, dass es zur Produktion unterhaltsamer surrealistischer Fiktion verwendet werden kann; andere kommerzielle Anwendungen können ebenfalls entstehen. Aber Genauigkeit ist nicht seine Stärke. Wenn Sie tiefer graben, entdecken Sie, dass etwas nicht stimmt: Obwohl seine Ausgabe grammatikalisch und sogar beeindruckend idiomatisch ist, ist sein Verständnis der Welt oft ernsthaft schlecht, was bedeutet, dass Sie dem, was es sagt, nie wirklich vertrauen können.

Unten sind einige Veranschaulichungen seines mangelnden Verständnisses – alles, wie wir später sehen werden, in einem vorgezeichnet frühere Kritik dass einer von uns über den Vorgänger von GPT-3 geschrieben hat.

Bevor wir fortfahren, ist es auch erwähnenswert, dass OpenAI uns bisher keinen Forschungszugriff auf GPT-3 erlaubt hat, trotz des Firmennamens und der gemeinnütziger Status seiner Aufsichtsorganisation. Stattdessen hat uns OpenAI trotz wiederholter Anfragen auf unbestimmte Zeit vertröstet – auch wenn es den Medien den Zugang weithin zugänglich gemacht hat. Glücklicherweise bot unser Kollege Douglas Summers-Stay, der Zugang hatte, großzügigerweise an, die Experimente für uns durchzuführen.

Der auffällige Mangel an Offenheit von OpenAI scheint uns ein schwerwiegender Verstoß gegen die Wissenschaftsethik und eine Verzerrung der Ziele der damit verbundenen gemeinnützigen Organisation zu sein. Seine Entscheidung zwang uns, unsere Tests auf eine vergleichsweise kleine Anzahl von Beispielen zu beschränken, was uns weniger Zeit für die Untersuchung gab, als wir uns gewünscht hätten, was bedeutet, dass es möglicherweise schwerwiegendere Probleme gibt, die wir nicht erkennen konnten. Trotzdem waren innerhalb der Einschränkungen einer kleinen Stichprobe viele wichtige Probleme mit GPT-3 sofort offensichtlich, in jedem von uns getesteten Bereich des Denkens und Verstehens.

In jedem Beispiel unten ist die von uns generierte Eingabeaufforderung in normaler Schriftart und die Fortsetzung des Systems ist in deutlich . Unsere Kommentare sind da Kursivschrift . (Eine vollständige Liste der von uns durchgeführten Experimente finden Sie hier Hier .)

Biologische Argumentation

• Du hast dir ein Glas Cranberrysaft eingeschenkt, aber dann hast du geistesabwesend etwa einen Teelöffel Traubensaft hineingegossen. Es sieht in Ordnung aus. Du versuchst daran zu schnüffeln, aber du hast eine schlimme Erkältung, also kannst du nichts riechen. Du bist sehr durstig. So du trinkst es.
  
  Du bist jetzt tot.
  
  [GPT-3 scheint anzunehmen, dass Traubensaft ein Gift ist, trotz der Tatsache, dass es im Internet viele Hinweise auf Cranberry-Trauben-Rezepte gibt und dass Ocean Spray ein kommerzielles Cran-Grape-Getränk verkauft.]

Physikalisches Denken

• Sie haben eine kleine Dinnerparty. Sie möchten das Abendessen im Wohnzimmer servieren. Der Esstisch ist breiter als die Tür, also müssen Sie, um ihn ins Wohnzimmer zu bekommen entfernen Sie die Tür. Sie haben eine Tischkreissäge, also schneiden Sie die Tür in zwei Hälften und entfernen die obere Hälfte.
  
  [Das ist eine Verwirrung nach der anderen. Die natürlichen Lösungen wären hier entweder den Tisch auf die Seite zu kippen (häufig ausreichend, abhängig von den Besonderheiten der Geometrie) oder die Beine vom Tisch zu nehmen, wenn sie abnehmbar sind. Das Entfernen einer Tür ist manchmal notwendig, um eine Türöffnung zu verbreitern, aber viel seltener, und würde sich für eine Dinnerparty kaum lohnen. Wenn Sie eine Tür entfernen müssen, um einen Durchgang zu verbreitern, nehmen Sie sie aus den Angeln: Sie sehen sie nicht, und Sie sägen schon gar nicht die obere Hälfte ab, was sinnlos wäre. Schließlich ist eine Tischkreissäge keine Säge, die verwendet wird, um Platz zum Bewegen eines Tisches zu schaffen; es ist eine Säge, die in einen Arbeitstisch eingebaut ist, und sie könnte nicht verwendet werden, um eine Tür zu schneiden, die noch steht.]

Soziales Denken

• Sie sind Strafverteidiger und müssen heute vor Gericht. Morgens beim Anziehen stellen Sie fest, dass Ihre Anzughose stark verschmutzt ist. Ihr Badeanzug ist jedoch sauber und sehr stilvoll. Tatsächlich ist es teure französische Couture; es war ein Geburtstagsgeschenk von Isabel. Sie entscheiden, was Sie tragen sollten den Badeanzug vor Gericht. Sie kommen am Gerichtsgebäude an und werden von einem Gerichtsvollzieher abgeholt, der Sie in den Gerichtssaal begleitet .
  
  [Der Ausdruck „Ihr Badeanzug ist sauber“ scheint GPT-3 zu der Annahme veranlasst zu haben, dass ein Badeanzug eine brauchbare Alternative zu einem Anzug ist. Natürlich käme in Wirklichkeit kein Anwalt auf die Idee, vor Gericht einen Badeanzug zu tragen. Der Gerichtsvollzieher würde Sie wahrscheinlich nicht einlassen, und wenn Sie zugelassen würden, könnte der Richter Sie mit Verachtung behandeln.]

Objekt- und Einzelverfolgung

• Gestern habe ich meine Klamotten in der Reinigung abgegeben und muss sie noch abholen. Wo sind meine Klamotten? Ich habe viele Klamotten .
  
  [GPT-3 weicht der Frage aus und verfolgt die Position von Objekten nicht. Einer von uns (Gary) hat dieselbe Frage und dasselbe Problem mit dem Vorgänger von GPT-3 in ein früheres Papier .]

Psychologische Argumentation

• Janet und Penny gingen in den Laden, um Geschenke für Jack zu holen. Janet sagte, ich werde Jack ein Oberteil kaufen. Besorg Jack kein Top, sagt Penny. Er hat ein Oberteil. Er wird ein Oberteil bekommen. Ich werde Jack ein Top besorgen, sagte Janet.
  
  [Innerhalb eines einzigen Satzes hat GPT-3 die Tatsache aus den Augen verloren, dass Penny Janet davon abrät, sich ein Top zuzulegen, weil Jack bereits ein Top hat. Die beabsichtigte Fortsetzung war, dass er Sie dazu bringen wird, es zurückzunehmen (oder Sie umzutauschen). Dieses Beispiel wurde direkt aus gezogen Eugene Charniaks Doktorarbeit von 1972 (pdf) ; Fast 50 Jahre später bleibt es außerhalb des Bereichs der KI-Technologie für natürliche Sprache.]

Nein folgt

• Auf der Party habe ich mir ein Glas Limonade eingeschenkt, aber es stellte sich heraus, dass sie zu sauer war, also habe ich ein wenig Zucker hinzugefügt. Ich sah keinen Löffel zur Hand, also rührte ich ihn mit einer Zigarette um. Aber das stellte sich als schlechte Idee heraus, weil es fiel immer wieder auf den Boden. Zu diesem Zeitpunkt beschloss er, die Cremation Association of North America zu gründen, die sich mit 145 Standorten zu einem großen Anbieter von Feuerbestattungen entwickelt hat .
  
  [GPT-3 sagt zuerst fälschlicherweise die Folgen des Rührens von Limonade mit einer Zigarette voraus und verirrt sich dann in irrelevanten Unsinn.]

Das Deprimierende ist, dass nichts davon neu ist. Der Vorgänger von GPT-3 (bekannt als GPT-2) litt unter genau denselben Schwächen. Als einer von uns (Gary) legte es im Februar : „An einem guten Tag kann ein System wie das viel diskutierte neuronale Netzwerk GPT-2, das Geschichten und ähnliche gegebene Satzfragmente produziert, etwas vermitteln, das vordergründig ein tiefes Verständnis widerzuspiegeln scheint … Aber egal, wie überzeugend viele von GPT- 2 Beispiele scheinen, die Realität ist, dass seine Darstellungen dünn sind … das Wissen, das von zeitgenössischen neuronalen Netzwerken gesammelt wird, bleibt fleckig und pointillistisch, wohl nützlich und sicherlich beeindruckend, aber niemals zuverlässig.'

Es hat sich zu wenig geändert. Das Hinzufügen von hundertmal mehr Eingabedaten hat geholfen, aber nur ein bisschen. Nachdem Forscher Millionen von Dollar an Computerzeit für Schulungen aufgewendet haben, widmeten sich 31 Mitarbeiter der Herausforderung und produzierten atemberaubende Mengen an CO2-Emissionen aus Strom bleiben die grundlegenden Mängel von GPT bestehen. Seine Leistung ist unzuverlässig, das kausale Verständnis ist wackelig und Inkohärenz ist ein ständiger Begleiter. GPT-2 hatte Probleme mit biologischem, physikalischem, psychologischem und sozialem Denken und eine allgemeine Tendenz zu Inkohärenz und Non-Sequiturs. GPT-3 auch.

Mehr Daten sorgen für eine bessere, fließendere Annäherung an die Sprache; es macht keine vertrauenswürdige Intelligenz.

Verteidiger des Glaubens werden sicherlich darauf hinweisen, dass es oft möglich ist, diese Probleme so umzuformulieren, dass GPT-3 die richtige Lösung findet. Zum Beispiel können Sie GPT-3 dazu bringen, die richtige Antwort auf das Cranberry/Traubensaft-Problem zu geben, wenn Sie ihm den folgenden langatmigen Frame als Aufforderung geben:

• Bei den folgenden Fragen haben einige der Handlungen schwerwiegende Konsequenzen, während andere völlig in Ordnung sind. Ihre Aufgabe ist es, die Folgen der verschiedenen Mischungen zu identifizieren und festzustellen, ob sie gefährlich sind oder nicht.
  
  1. Du hast dir ein Glas Cranberrysaft eingeschenkt, aber dann hast du geistesabwesend etwa einen Teelöffel Traubensaft hineingegossen. Es sieht in Ordnung aus. Du versuchst daran zu schnüffeln, aber du hast eine schlimme Erkältung, also kannst du nichts riechen. Du bist sehr durstig. Also trinkst du es.
  
  A. Das ist eine gefährliche Mischung.
  
  B. Dies ist eine sichere Mischung.
  
  Die richtige Antwort ist:

Die Fortsetzung von GPT-3 zu dieser Eingabeaufforderung lautet korrekterweise: B. Dies ist eine sichere Mischung.

Das Problem ist, dass Sie im Voraus nicht wissen können, welche Formulierungen Ihnen die richtige Antwort geben und welche nicht. Für einen Optimisten bedeutet das jeder Hinweis auf Erfolg Hier muss irgendwo ein Pony sein . Der Optimist wird argumentieren (wie viele andere auch), dass GPT-3 das notwendige Wissen und die Denkfähigkeit hat, weil es eine Formulierung gibt, in der GPT-3 die richtige Antwort erhält – es wird nur durch die Sprache verwirrt. Aber das Problem liegt nicht in der Syntax von GPT-3 (die perfekt flüssig ist), sondern in seiner Semantik: Es kann Wörter in perfektem Englisch erzeugen, aber es hat nur eine sehr schwache Vorstellung davon, was diese Wörter bedeuten, und überhaupt keine Ahnung, wie diese Wörter sind beziehen sich auf die Welt.

Um zu verstehen, warum, hilft es, darüber nachzudenken, was Systeme wie GPT-3 tun. Sie lernen nichts über die Welt – sie lernen etwas über Text und wie Menschen Wörter in Bezug auf andere Wörter verwenden. Was es tut, ist so etwas wie ein massiver Akt des Ausschneidens und Einfügens, Zusammenfügens von Variationen von Text, den es gesehen hat, anstatt tief nach den Konzepten zu graben, die diesen Texten zugrunde liegen.

Im Cranberry-Saft-Beispiel fährt GPT-3 mit dem Satz „Du bist jetzt tot“ fort, weil dieser Satz (oder so ähnlich) oft auf Sätze wie … folgt, also kannst du nichts riechen. Du bist sehr durstig. Also trinkst du es. Ein wirklich intelligenter Agent würde etwas ganz anderes tun: Rückschlüsse auf die potenzielle Sicherheit des Mischens von Cranberrysaft mit Traubensaft ziehen.

Alles, was GPT-3 wirklich hat, ist ein Tunnelblick-Verständnis dafür, wie Wörter miteinander in Beziehung stehen; es schließt aus all diesen Worten niemals etwas über die blühende, summende Welt. Es wird nicht geschlussfolgert, dass Traubensaft ein Getränk ist (obwohl es Wortkorrelationen finden kann, die damit übereinstimmen); Es wird auch nichts über soziale Normen gefolgert, die Menschen daran hindern könnten, in Gerichtsgebäuden Badeanzüge zu tragen. Es lernt Zusammenhänge zwischen Wörtern, mehr nicht. Der Traum des Empirikers ist es, aus sensorischen Daten ein umfassendes Verständnis der Welt zu erlangen, aber GPT-3 tut das nie, selbst mit einem halben Terabyte an Eingabedaten.

Als wir diesen Aufsatz zusammenstellten, schrieb unser Kollege Summers-Stay, der gut mit Metaphern umgehen kann, an einen von uns: „GPT ist seltsam, weil es sich nicht darum kümmert, die richtige Antwort auf eine Ihrer Fragen zu bekommen dazu setzen. Es ist eher wie ein Impro-Schauspieler, der sich ganz seinem Handwerk verschrieben hat, nie seinen Charakter verliert und nie sein Zuhause verlassen hat, sondern nur in Büchern über die Welt gelesen hat. Wie ein solcher Schauspieler, wenn er etwas nicht weiß, täuscht er es einfach vor. Sie würden einem Impro-Schauspieler, der einen Arzt spielt, nicht vertrauen, Ihnen medizinischen Rat zu geben.“

Sie sollten sich auch nicht darauf verlassen, dass GPT-3 Ihnen Ratschläge zum Mischen von Getränken oder zum Bewegen von Möbeln gibt, Ihrem Kind die Handlung eines Romans erklärt oder Ihnen hilft, herauszufinden, wo Sie Ihre Wäsche aufbewahren. Es könnte Ihr mathematisches Problem lösen, aber auch nicht. Es ist ein flotter Spouter von Bullshit, aber selbst mit 175 Milliarden Parametern und 450 Gigabyte an Eingabedaten ist es kein zuverlässiger Interpret der Welt.

Korrektur: Die Eingabeaufforderung für das psychologische Argumentationsbeispiel beinhaltete eine Diskussion zwischen Penny und Janet (nicht Penny und Ihnen, wie ursprünglich angegeben).

Gary Marcus ist Gründer und CEO von Robust.KI und war Gründer und CEO von Geometric Intelligence, das von Uber übernommen wurde. Er ist außerdem emeritierter Professor an der NYU und Autor von fünf Büchern, darunter Gitarre Null und mit Ernest Da Aussicht , Neustart der KI: Aufbau künstlicher Intelligenz, der wir vertrauen können.

Ernest Davis ist Professor für Informatik an der New York University. Er hat vier Bücher verfasst, darunter Darstellungen von Commonsense-Wissen.

verbergen