Es gibt eine neue Möglichkeit, die Sprach-KI zu zähmen, damit sie Sie nicht in Verlegenheit bringt

Ein Bild der Textausgabe des KI-Modells GPT-2. Frau Tech

In den letzten zwei Jahren hat das KI-Teilgebiet der Verarbeitung natürlicher Sprache enorme Fortschritte gemacht. Beispielsweise wurde ein Sprachmodell namens GPT-2 verwendet, das vom in San Francisco ansässigen Forschungslabor OpenAI entwickelt wurde Fiktion erzeugen , Fake-News-Artikel , und praktisch unendlich Wählen Sie Ihr eigenes Textspiel im Adventure-Stil .

Aber diese Art von Modellen sind im Wesentlichen massive Textvorhersagesysteme, die den Sinn nicht berücksichtigen, sodass die von ihnen produzierten Sätze eher oberflächlich flüssig als wirklich aussagekräftig sind. Es ist schwierig, einem Model zu sagen, dass es sich zum Beispiel an ein bestimmtes Thema wie die Gesundheitsfürsorge halten soll. Doch Modelle wie GPT-2 kann noch gespielt werden um rassistische und giftige Ergebnisse zu produzieren, was sie noch weniger nützlich macht.

Das haben Forscher von Uber AI jetzt herausgefunden entwickelt eine Möglichkeit, diese Sprachmodelle zu steuern, wodurch es für Benutzer einfacher wird, das Thema oder sogar die Stimmung der von ihnen generierten Sätze zu spezifizieren. Angesichts der Aufforderung, sich auf das Militär zu konzentrieren, könnte beispielsweise ein Modell, das sich auf das Militär konzentrieren soll, eine Ausgabe wie die folgende erzeugen: Die Ausgabe konzentrierte sich auf die Tatsache, dass die Regierung Milliarden für das Militär ausgegeben hatte und die Truppen nicht einsetzen konnte Zeit. Wenn es stattdessen gesagt würde, sich auf die Politik zu konzentrieren, könnte das Ergebnis eher so aussehen: Das Problem konzentrierte sich auf einen einzelnen Abschnitt der Gesetzgebung. Es ist unklar, ob der Ausschuss für eine Verlängerung des Gesetzes stimmen wird.

Während das Modell die Bedeutung immer noch nicht versteht, bringt die Technik mehr Kontrolle. Es bringt uns einen Schritt näher, die Sprünge in der KI-generierten Sprache auf domänenspezifischere Anwendungen wie Chatbots für das Gesundheitswesen oder Finanzdienstleistungen zu übertragen. Es könnte auch verwendet werden, um Modelle davon abzuhalten, anstößige Ergebnisse zu produzieren.

Die Technik verwendet zwei getrennte statistische Modelle. Das erste ist einfach das ursprüngliche Sprachmodell, wie GPT-2, das Sätze basierend auf der Wahrscheinlichkeit konstruiert, dass bestimmte Wörter neben anderen erscheinen. Das zweite Modell beurteilt, wie gut die Ausgabe des ersten Modells ein gewünschtes Attribut widerspiegelt – ob es beispielsweise an einem vorgeschriebenen Thema oder einer bestimmten Stimmung festhält. Wenn das gewünschte Attribut ein Thema wie Weltraum ist, kann das Modell die Ausgabe des ersten Modells dahingehend bewerten, wie viele relevante Wörter es enthält, z. B. Planet, Galaxie und Umlaufbahn. Wenn das Attribut ein Gefühl wie Positivität ist, könnte das Bewertungsmodell darauf trainiert werden, den emotionalen Inhalt seiner Wörter zu bewerten.

Wenn eine anfängliche Aufforderung in das erste Modell eingespeist wird, beginnt es mit dem Prozess der Vorhersage nachfolgender Wörter. Aber nach jedem Wort überprüft es seine Punktzahl mit dem Bewertungsmodell und justiert anhand des Feedbacks nach. Der letzte Satz endet mit dem gewünschten Attribut, behält aber auch die Gewandtheit des riesigen Sprachmodells bei.

Die neue Methode ist sehr flexibel und kann mehrere Ziele kombinieren. Es könnte zum Beispiel angeleitet werden, mit einem negativen Ton über das Kochen zu schreiben. Es hat auch den Vorteil, dass es rechnerisch effizient ist. Andere Methoden können die Ausgabe eines Sprachmodells auf bestimmte Themen oder Emotionen konzentrieren, aber sie können eine erhebliche Umschulung erfordern. Im Maßstab von GPT-2 ist dies sowohl ökologisch als auch finanziell teuer. Ein Doktorand wie ich verfügt nicht über diese Ressourcen, sagt Sumanth Dathathri, der am Caltech studiert und während eines Praktikums bei Uber die Arbeit mitverfasst hat. Die neue Methode vermeidet ein erneutes Training vollständig, indem sie mehr Kontrolle über das bereits vorhandene Modell gewährt.

Das Team geht davon aus, dass diese Technik in vielen verschiedenen Anwendungen eingesetzt wird, seien es Dialogsysteme, Übersetzungssysteme oder sogar Kunst. Im Jahr 2016 entwickelte das Labor a ähnliche Methode zur Steuerung der Bilderzeugung statt der Sprache. Es gab viele Künstler, die damit schöne Sachen produzierten, erinnert sich Jason Yosinski, ein Gründungsmitglied von Uber AI, der die Zeitung leitete. Ich konnte viele andere Künstler sehen, die hier dasselbe tun.

Um mehr Geschichten wie diese direkt in Ihren Posteingang zu bekommen, melden Sie sich für unseren von Webby nominierten KI-Newsletter The Algorithm an. Es ist kostenlos.

verbergen