Dies könnte zum nächsten großen Durchbruch in der KI mit gesundem Menschenverstand führen

Frau Technik | Pixel

Sie haben uns wahrscheinlich schon unzählige Male sagen hören: GPT-3, die gigantische KI, die unheimlich menschenähnliche Sprache ausspuckt, ist ein Wunder. Es ist auch weitgehend sehen . Das können Sie mit einem einfachen Trick feststellen: Fragen Sie nach die Farbe von Schafen , und es wird empfehlen schwarz so oft wie weiß – was den Ausdruck „schwarze Schafe“ in unserer Umgangssprache widerspiegelt.

Das ist das Problem mit Sprachmodellen: Weil sie nur auf Text trainiert werden, fehlt ihnen der gesunde Menschenverstand. Jetzt haben Forscher der University of North Carolina, Chapel Hill, eine neue Technik entwickelt, um das zu ändern. Sie nennen es Vokenisierung, und es gibt Sprachmodellen wie GPT-3 die Fähigkeit zu sehen.

Es ist nicht das erste Mal, dass Menschen versucht haben, Sprachmodelle mit Computer Vision zu kombinieren. Dies ist tatsächlich ein schnell wachsender Bereich der KI-Forschung. Die Idee ist, dass beide Arten von KI unterschiedliche Stärken haben. Sprachmodelle wie GPT-3 werden durch unbeaufsichtigtes Lernen trainiert, das keine manuelle Datenkennzeichnung erfordert, wodurch sie einfach zu skalieren sind. Bildmodelle wie Objekterkennungssysteme lernen dagegen eher direkt von der Realität. Mit anderen Worten, ihr Verständnis stützt sich nicht auf die Art der Abstraktion der Welt, die der Text bietet. Sie können anhand von Bildern von Schafen erkennen, dass sie tatsächlich weiß sind.

Verwandte Geschichte

Diese seltsamen, beunruhigenden Fotos zeigen, dass KI immer klüger wird Models lernen, wie man Bilder aus Bildunterschriften generiert, ein Zeichen dafür, dass sie unsere Welt immer besser verstehen.

KI-Modelle, die sowohl Sprache als auch visuelle Eingaben parsen können, haben auch sehr praktische Anwendungen. Wenn wir zum Beispiel Roboterassistenten bauen wollen, brauchen sie Computervision, um durch die Welt zu navigieren, und Sprache, um mit Menschen darüber zu kommunizieren.

Aber die Kombination beider Arten von KI ist leichter gesagt als getan. Es ist nicht so einfach, ein vorhandenes Sprachmodell mit einem vorhandenen Objekterkennungssystem zusammenzuheften. Es erfordert das Training eines neuen Modells von Grund auf mit einem Datensatz, der Text und Bilder enthält, auch bekannt als visueller Sprachdatensatz.

Der gebräuchlichste Ansatz zum Kuratieren eines solchen Datensatzes besteht darin, eine Sammlung von Bildern mit beschreibenden Bildunterschriften zusammenzustellen. Ein Bild wie das folgende würde zum Beispiel die Überschrift Eine orangefarbene Katze sitzt im Koffer, bereit zum Packen, tragen. Dies unterscheidet sich von typischen Bilddatensätzen, die dasselbe Bild mit nur einem Substantiv wie Katze kennzeichnen würden. Ein bildsprachlicher Datensatz kann daher einem KI-Modell nicht nur beibringen, wie man Objekte erkennt, sondern auch, wie sie sich mit Hilfe von Verben und Präpositionen aufeinander beziehen und aufeinander einwirken.

Aber Sie können sehen, warum dieser Datenpflegeprozess ewig dauern würde. Aus diesem Grund sind die existierenden Bildsprachen-Datensätze so mickrig. Ein beliebter Nur-Text-Datensatz wie die englische Wikipedia (die tatsächlich fast alle englischsprachigen Wikipedia-Einträge enthält) kann fast 3 Milliarden Wörter enthalten. Ein Datensatz in visueller Sprache wie Microsoft Common Objects in Context oder MS COCO enthält nur 7 Millionen. Es sind einfach nicht genug Daten, um ein KI-Modell für irgendetwas Nützliches zu trainieren.

Die Vokenisierung umgeht dieses Problem, indem sie unüberwachte Lernmethoden verwendet, um die winzige Datenmenge in MS COCO auf die Größe der englischen Wikipedia zu skalieren. Das resultierende visuelle Sprachmodell übertrifft modernste Modelle in einigen der härtesten Tests, die heute zur Bewertung des KI-Sprachverständnisses verwendet werden.

Sie übertreffen den Stand der Technik bei diesen Tests nicht, indem Sie es nur ein bisschen versuchen, sagt Thomas Wolf, Mitbegründer und Chief Science Officer des Startups Hugging Face für die Verarbeitung natürlicher Sprache, der nicht an der Forschung beteiligt war. Dies ist kein Spielzeug Test. Deshalb ist das super spannend.

Von Token zu Voken

Lassen Sie uns zunächst einige Begrifflichkeiten klären. Was um alles in der Welt ist ein Voken?

In der KI-Sprache werden die Wörter, die zum Trainieren von Sprachmodellen verwendet werden, als Token bezeichnet. Daher entschieden sich die UNC-Forscher, das Bild, das mit jedem Token in ihrem visuellen Sprachmodell verbunden ist, als Voken zu bezeichnen. Vokenisierer nennen sie den Algorithmus, der Vokens für jedes Token findet, und Vokenisierung nennen sie den ganzen Prozess.

Damit soll nicht nur gezeigt werden, wie sehr KI-Forscher es lieben, Wörter zu erfinden. (Das tun sie wirklich.) Es hilft auch, die Grundidee hinter der Vokenisierung aufzuschlüsseln. Anstatt mit einem Bilddatensatz zu beginnen und manuell Sätze als Bildunterschriften zu schreiben – ein sehr langsamer Prozess – begannen die UNC-Forscher mit einem Sprachdatensatz und verwendeten unbeaufsichtigtes Lernen, um jedes Wort einem relevanten Bild zuzuordnen (dazu später mehr). Dies ist ein hochgradig skalierbarer Prozess.

Die Technik des unbeaufsichtigten Lernens ist hier letztlich der Beitrag der Arbeit. Wie findet man eigentlich für jedes Wort ein passendes Bild?

Vokenisierung

Kehren wir kurz zu GPT-3 zurück. GPT-3 ist Teil einer Familie von Sprachmodellen, die als Transformer bekannt sind und bei der Einführung des ersten Modells im Jahr 2017 einen großen Durchbruch bei der Anwendung des unbeaufsichtigten Lernens auf die Verarbeitung natürlicher Sprache darstellten. Transformer lernen die Muster der menschlichen Sprache, indem sie beobachten, wie Wörter sind im Kontext verwendet und dann basierend auf diesem Kontext eine mathematische Darstellung jedes Wortes erstellt, die als Worteinbettung bezeichnet wird. Die Einbettung für das Wort Katze könnte beispielsweise zeigen, dass es häufig um die Wörter miau und orange verwendet wird, aber seltener um die Wörter bark oder blue.

Auf diese Weise nähern sich Transformer der Bedeutung von Wörtern an und so kann GPT-3 solche menschenähnlichen Sätze schreiben. Es stützt sich teilweise auf diese Einbettungen, um ihm mitzuteilen, wie Wörter zu Sätzen und Sätze zu Absätzen zusammengesetzt werden.

Es gibt eine parallele Technik, die auch für Bilder verwendet werden kann. Anstatt Text nach Wortverwendungsmustern zu durchsuchen, werden Bilder nach visuellen Mustern durchsucht. Es tabelliert, wie oft eine Katze beispielsweise auf einem Bett im Vergleich zu einem Baum erscheint, und erstellt eine Katzeneinbettung mit diesen Kontextinformationen.

Die Erkenntnis der UNC-Forscher war, dass sie beide Einbettungstechniken auf MS COCO verwenden sollten. Sie wandelten die Bilder in visuelle Einbettungen und die Bildunterschriften in Worteinbettungen um. Das wirklich Schöne an diesen Einbettungen ist, dass sie dann in einem dreidimensionalen Raum grafisch dargestellt werden können und Sie buchstäblich sehen können, wie sie miteinander in Beziehung stehen. Visuelle Einbettungen, die eng mit Worteinbettungen verwandt sind, erscheinen in der Grafik näher. Mit anderen Worten, die visuelle Katzeneinbettung sollte sich (theoretisch) mit der textbasierten Katzeneinbettung überschneiden. Ziemlich cool.

Sie können sehen, wohin das führt. Sobald alle Einbettungen grafisch dargestellt und verglichen und miteinander in Beziehung gesetzt wurden, ist es einfach, Bilder (Vokens) mit Wörtern (Tokens) abzugleichen. Und denken Sie daran, da die Bilder und Wörter auf der Grundlage ihrer Einbettungen abgeglichen werden, werden sie auch auf der Grundlage des Kontexts abgeglichen. Dies ist nützlich, wenn ein Wort völlig unterschiedliche Bedeutungen haben kann. Die Technik bewältigt dies erfolgreich, indem für jede Instanz des Wortes unterschiedliche Vokens gefunden werden.

Beispielsweise:

Hier ist sie Kontakt.

Manche Katzen lieben Menschen Kontakt .

Das Token ist in beiden Beispielen das Wort Kontakt. Aber im ersten Satz deutet der Kontext darauf hin, dass sich das Wort auf Kontaktinformationen bezieht, also ist das Voken das Kontaktsymbol. Im zweiten Satz deutet der Kontext darauf hin, dass sich das Wort auf Berührung bezieht, also zeigt das Voken eine Katze, die gestreichelt wird.

Die Forscher nutzten die visuellen und Wort-Einbettungen, die sie mit MS COCO erstellt hatten, um ihren Vokenizer-Algorithmus zu trainieren. Einmal trainiert, war der Vokenisierer dann in der Lage, Vokens für die Tokens in der englischen Wikipedia zu finden. Es ist nicht perfekt. Der Algorithmus fand nur Vokens für etwa 40 % der Tokens. Aber das sind immer noch 40 % eines Datensatzes mit fast 3 Milliarden Wörtern.

Mit diesem neuen Datensatz trainierten die Forscher ein Sprachmodell namens BERT neu, ein von Google entwickelter Open-Source-Transformator, der älter als GPT-3 ist. Anschließend testeten sie das neue und verbesserte BERT mit sechs verschiedenen Sprachverständnistests, darunter SQuAD, das Stanford Question Answering Dataset, das Modelle auffordert, Leseverständnisfragen zu einer Reihe von Artikeln zu beantworten, und SWAG, das versucht, Modelle mit Feinheiten von zu Fall zu bringen die englische Sprache, um zu prüfen, ob es sich nur um Nachahmung und Auswendiglernen handelt. Der verbesserte BERT schnitt bei allen besser ab, was laut Wolf nicht zu verachten ist.

Die Forscher, Hao Tan, ein Doktorand, und Mohit Bansal, sein Berater, werden ihre neue Vokenisierungstechnik in zwei Wochen auf der Conference on Empirical Methods in Natural Language Processing vorstellen. Obwohl die Arbeit noch am Anfang steht, sieht Wolf ihre Arbeit als einen wichtigen konzeptionellen Durchbruch, um das unbeaufsichtigte Lernen für visuelle Sprachmodelle zum Laufen zu bringen. Es war ein ähnlicher Funke, der damals dazu beigetragen hat, die Verarbeitung natürlicher Sprache dramatisch voranzutreiben.

In NLP hatten wir diesen großen Durchbruch vor über zwei Jahren, und dann war NLP plötzlich ein Bereich, in dem viele Dinge passierten, und es war allen anderen KI-Bereichen irgendwie voraus, sagt er. Aber wir haben dieses Problem, Text mit anderen Dingen zu verbinden. Es ist also wie bei diesem Roboter, der nur sprechen, aber nicht sehen, nicht hören kann.

Dieses Papier ist ein Beispiel, bei dem es ihnen gelungen ist, es mit einer anderen Modalität zu verbinden, und es funktioniert besser , er sagt. Sie können sich vorstellen, dass vielleicht einige dieser Techniken wiederverwendet werden könnten, wenn Sie dieses wirklich mächtige Sprachmodell in einem Roboter nutzen möchten. Vielleicht verwenden Sie dasselbe, um die Sinne des Roboters mit Text zu verbinden.

verbergen