Warum GPT-3 derzeit die beste und schlechteste KI ist

Die Sprach-KI von Open AI begeisterte die Öffentlichkeit mit ihrer offensichtlichen Beherrschung der englischen Sprache – aber ist das alles eine Illusion?





Sierra & Lenny

  • Will Douglas Himmel Archivseite
24. Februar 2021


  • Warum es wichtig ist:

    Große Computermodelle, die natürliche Sprache lernen, sind ein großer Schritt in Richtung KI, die die menschliche Welt verstehen und mit ihr interagieren kann.


  • Schlüsselfiguren:

    • OpenAI



    • Google

    • Facebook


  • Verfügbarkeit:

    Jetzt

GPT-3 hat die Vorstellungskraft der Öffentlichkeit erregt wie keine KI seit DeepMinds AlphaGo oder IBMs Schachspiel DeepBlue.

Gebaut von OpenAI , ein Forschungslabor mit Sitz in San Francisco, ist es ein großes Sprachmodell – ein Algorithmus, der Deep Learning verwendet, der mit dem Text von Tausenden von Büchern und dem größten Teil des Internets trainiert wurde, um Wörter und Sätze aneinander zu reihen. Als es 2020 auf den Markt kam, schien seine Fähigkeit, von Menschen geschriebenen Text mit unheimlichem Realismus nachzuahmen, vielen wie ein Meilenstein auf dem Weg zu echter maschineller Intelligenz.

Das Fortschrittsproblem

Diese Geschichte war Teil unserer März-Ausgabe 2021



  • Siehe den Rest des Problems
  • Abonnieren

Hier ist ein Beispiel dafür, was es tun kann . Der Teil in Kursivschrift war die Eingabeaufforderung eines Menschen.

—

ich In einem schockierenden Fund entdeckten Wissenschaftler eine Herde von Einhörnern, die in einem abgelegenen, bisher unerforschten Tal in den Anden lebten. Noch überraschender war für die Forscher die Tatsache, dass die Einhörner perfekt Englisch sprachen. Es wurde auch festgestellt, dass sie perfekt frisiertes Haar hatten und etwas trugen, das wie Dior-Make-up aussah.



Wir waren schockiert, als wir die Einhörner entdeckten, sagte der Anthropologe Daniel St. Maurice. Sie waren wie nichts, was wir je zuvor gesehen hatten. Wir hatten Legenden über die Einhörner gehört, aber nie gedacht, dass sie wirklich existieren.

Als die Wissenschaftler zum ersten Mal im Tal ankamen, waren die Einhörner überrascht und erschrocken über die Anwesenheit von Menschen, aber auch aufgeregt. Die Einhörner begrüßten die Forscher und erklärten, dass sie schon sehr lange auf sie gewartet hätten.

2021

10 bahnbrechende Technologien

Wie Sie sehen können, ist GPT-3 in der Lage, komplexe Sätze zu produzieren, die sich so lesen, als ob sie von einem Menschen stammen könnten. Die Beispielsätze enthalten kulturelle Bezüge und eine glaubwürdige Darstellung, wie die Wissenschaftler reagieren würden. Maschinen, die Sprache auf diese Weise verwenden können, sind aus mehreren Gründen wichtig. Sprache ist entscheidend, um die Alltagswelt zu verstehen: Menschen verwenden sie, um zu kommunizieren, Ideen auszutauschen und Konzepte zu beschreiben. Eine sprachbeherrschende KI würde dabei die Welt besser verstehen.

Große Sprachmodelle haben auch viele praktische Anwendungen . Sie treiben bessere Chatbots an, die flüssigere Gespräche führen; sie können Artikel und Geschichten über alles erstellen, wenn sie dazu aufgefordert werden; Sie können Textteile zusammenfassen oder Fragen dazu beantworten. Der Zugriff auf GPT-3 ist nur auf Einladung möglich, aber die Leute haben es bereits zur Macht benutzt Dutzende Apps , von einem Tool, das Startup-Ideen generiert, bis hin zu einem KI-Skript-Abenteuerspiel, das in einem Dungeon spielt.

GPT-3 ist nicht das einzige große Sprachmodell, das 2020 erscheint. Microsoft, Google und Facebook haben alle ihr eigenes angekündigt. Aber GPT-3 war bei weitem der beste Generalist. Und es erweckt den Eindruck, als könne es alles schreiben: Fanfiction, philosophische Polemik und sogar Code. Als die Leute im letzten Sommer begannen, GPT-3 selbst auszuprobieren, überschwemmten Tausende von Beispielen seiner Vielseitigkeit die sozialen Medien. Diskussionen wurden sogar darüber entfacht, ob GPT-3 die erste künstliche allgemeine Intelligenz sei.

Es ist nicht. Trotz der unglaublich überzeugenden Textpassagen, die es hervorbringen kann, macht GPT-3 nichts wirklich Neues. Stattdessen zeigt es, dass Größe alles sein kann. Um GPT-3 zu erstellen, verwendete OpenAI mehr oder weniger den gleichen Ansatz und die gleichen Algorithmen wie für sein älteres Geschwister, GPT-2 , aber es überdimensionierte sowohl das neuronale Netzwerk als auch den Trainingssatz. GPT-3 hat 175 Milliarden Parameter – die Werte in einem Netzwerk, die während des Trainings angepasst werden – im Vergleich zu den 1,5 Milliarden von GPT-2. Es wurde auch mit viel mehr Daten trainiert.

Vor GPT-2 dauerte das Training eines Sprachmodells mit Deep Learning normalerweise zwei Durchgänge: Es wurde mit einem universellen Datensatz trainiert, um ihm ein grundlegendes Sprachverständnis zu vermitteln, und dann mit einem kleineren Satz trainiert, der auf eine bestimmte Aufgabe ausgerichtet war, z Verständnis oder Übersetzung. GPT-2 hat gezeigt, dass man mit nur einem Durchgang gute Ergebnisse durch die Bank erzielen kann, wenn man mehr Beispiele auf ein größeres Modell wirft. Mit GPT-3 verdoppelte sich OpenAI also und machte das größte Sprachmodell aller Zeiten.

Die Ergebnisse, die die Aufmerksamkeit aller auf sich zogen, waren jedoch oft herausgepickt. GPT-3 wiederholt oder widerspricht sich oft in Textpassagen, die länger als ein paar hundert Wörter sind. Es kommt mit Heulern heraus. GPT-3 verbirgt seine Dummheit hinter einer silbernen Zunge, aber es dauert normalerweise ein paar Versuche, bis es etwas erzeugt, das die Risse nicht zeigt.

Verwandte Geschichte

OpenAIs neuer Sprachgenerator GPT-3 ist erschreckend gut – und völlig geistlos

Die KI ist das größte Sprachmodell, das jemals geschaffen wurde, und kann bei Bedarf erstaunliche menschenähnliche Texte generieren, bringt uns aber der wahren Intelligenz nicht näher.

Die Fähigkeiten von GPT-3 machen es auch schwer, die wachsenden Probleme der KI zu ignorieren. Sein enormer Stromverbrauch ist eine schlechte Nachricht für das Klima: Forscher der Universität Kopenhagen in Dänemark schätzen dass das Training von GPT-3 ungefähr den gleichen CO2-Fußabdruck hinterlassen hätte wie das Fahren eines Autos die Entfernung zum Mond und zurück, wenn es in einem vollständig mit fossilen Brennstoffen betriebenen Rechenzentrum trainiert worden wäre. Und die Kosten einer solchen Schulung – die von einigen Experten im Fall von GPT-3 auf mindestens 10 Millionen US-Dollar geschätzt werden – stellen die neuesten Forschungsergebnisse in Frage außerhalb der Reichweite aller außer den reichsten Labors .

OpenAI berichtet, dass das Training von GPT-3 mehrere tausend Petaflop/s-Tage an Rechenleistung verbraucht hat. Ein Petaflop/s-Tag ist eine Einheit des Stromverbrauchs, die darin besteht, 1015 – das sind tausend Billionen oder eine Billiarde – neuronale Netzwerkberechnungen pro Sekunde für einen Tag durchzuführen. Im Vergleich dazu verbrauchte GPT-2 nur Dutzende von Petaflop/s-Tagen.

Ein weiteres Problem besteht darin, dass GPT-3 einen Großteil der Desinformationen und Vorurteile, die es online findet, aufsaugt und bei Bedarf reproduziert. Wie das Team, das es gebaut hat, in der sagte Papier, das die Technologie beschreibt : Internet-trainierte Modelle haben Internet-Scale-Bias.

Der Anstrich der Menschlichkeit, den GPT-3 maschinengenerierten Texten verleiht, macht es leicht, ihm zu vertrauen. Dies hat einige dazu veranlasst, zu argumentieren, dass GPT-3 und alle menschenähnlichen Sprachmodelle mit einer Sicherheitswarnung, einem Aufkleber „Benutzer aufpassen“ versehen sein sollten, der die Leute darauf hinweist, dass sie mit Software und nicht mit einem Menschen chatten.

Vor ein paar Monaten veröffentlichte jemand a GPT-3-betriebener Bot auf Reddit , wo es Hunderte von Kommentaren veröffentlichte und mehrere Tage lang mit Dutzenden von Benutzern interagierte, bevor es entlarvt wurde. Ein Großteil seiner Aktivität war harmlos. Aber der Bot antwortete auch auf Kommentare zu Selbstmordgedanken und gab persönliche Ratschläge, in denen er die Unterstützung seiner Eltern erwähnte.

Trotz all dieser Probleme ist GPT-3 ein Gewinn für diejenigen, die glauben, dass größer besser ist. Solche Modelle zeigen, dass Sie mit Rechenleistung und Daten weit kommen, und wir können in Zukunft mehr von beidem erwarten. Wie könnte ein GPT-4 aussehen? Wir können davon ausgehen, dass Chatbots raffinierter werden und längere zusammenhängende Textstücke besser aneinanderreihen können, mit einer noch umfassenderen Beherrschung von Gesprächsthemen.

Aber Sprache ist nur eine Möglichkeit, die Welt zu verstehen und mit ihr zu interagieren. Sprachmodelle der nächsten Generation werden andere Fähigkeiten wie Bilderkennung integrieren. OpenAI führt GPT-3 bereits in diese Richtung mit KIs, die Sprache verwenden, um Bilder zu verstehen, und Bilder, um Sprache zu verstehen.

Wenn Sie wissen möchten, wie es um Deep Learning heute steht, schauen Sie sich GPT-3 an. Es ist ein Mikrokosmos der Besten und Schlechtesten in der KI.