Durcheinandergewürfelte Sätze zeigen, dass KIs Sprache immer noch nicht wirklich verstehen

Frau Technik | Unsplash / Brett Jordan

Viele KIs, die Sprache zu verstehen scheinen und bei einer Reihe von allgemeinen Verständnisaufgaben besser abschneiden als Menschen, bemerken nicht, wenn die Wörter in einem Satz durcheinander geraten, was zeigt, dass sie es tun Sprache überhaupt nicht verstehen . Das Problem liegt in der Art und Weise, wie Systeme zur Verarbeitung natürlicher Sprache (NLP) trainiert werden; es weist auch auf einen Weg hin, sie besser zu machen.

Verwandte Geschichte

Die Art und Weise, wie wir KI trainieren, ist grundlegend fehlerhaft Der Prozess, mit dem die meisten der heute verwendeten maschinellen Lernmodelle erstellt werden, kann nicht sagen, ob sie in der realen Welt funktionieren oder nicht – und das ist ein Problem.

Forscher an der Auburn University in Alabama und Adobe Research den Fehler entdeckt als sie versuchten, ein NLP-System dazu zu bringen, Erklärungen für sein Verhalten zu finden, beispielsweise warum es behauptete, dass verschiedene Sätze dasselbe bedeuten. Als sie ihren Ansatz testeten, stellten sie fest, dass das Mischen von Wörtern in einem Satz die Erklärungen nicht veränderte. Dies ist ein allgemeines Problem für alle NLP-Modelle, sagt Anh Nguyen von der Auburn University, die die Arbeit leitete.

Das Team untersuchte mehrere hochmoderne NLP-Systeme auf Basis von BERT (ein von Google entwickeltes Sprachmodell, das vielen der neuesten Systeme, einschließlich GPT-3, zugrunde liegt). Alle diese Systeme schneiden besser ab als Menschen KLEBER (Allgemeine Bewertung des Sprachverständnisses), eine Reihe von Standardaufgaben zum Testen des Sprachverständnisses, z. B. Erkennen von Paraphrasen, Beurteilen, ob ein Satz positive oder negative Gefühle ausdrückt, und verbales Denken.

Mann beißt Hund: Sie fanden heraus, dass diese Systeme nicht erkennen konnten, wenn Wörter in einem Satz durcheinander gebracht wurden, selbst wenn die neue Reihenfolge die Bedeutung änderte. Zum Beispiel haben die Systeme richtig erkannt, dass die Sätze Verursacht Marihuana Krebs? und Wie kann das Rauchen von Marihuana zu Lungenkrebs führen? waren Paraphrasen. Aber sie waren sich noch sicherer, dass Sie Rauchen Krebs wie Marihuana Lunge geben können? und Lung kann das Rauchen von Marihuana geben, wie Sie Krebs bekommen? meinte auch das gleiche. Die Systeme entschieden auch, dass Sätze mit gegensätzlichen Bedeutungen – wie z. B. Verursacht Marihuana Krebs? und Verursacht Krebs Marihuana? – stellten dieselbe Frage.

Die einzige Aufgabe, bei der es auf die Wortreihenfolge ankam, war eine, bei der die Modelle die grammatikalische Struktur eines Satzes überprüfen mussten. Ansonsten änderten sich zwischen 75 % und 90 % der Antworten der getesteten Systeme nicht, wenn die Wörter gemischt wurden.

Was ist los? Die Modelle scheinen ein paar Schlüsselwörter in einem Satz aufzugreifen, egal in welcher Reihenfolge sie vorkommen. Sie verstehen Sprache nicht so wie wir, und GLUE – ein sehr beliebter Benchmark – misst nicht den tatsächlichen Sprachgebrauch. In vielen Fällen zwingt die Aufgabe, für die ein Modell trainiert wird, es nicht, sich um die Wortreihenfolge oder die Syntax im Allgemeinen zu kümmern. Mit anderen Worten, GLUE bringt NLP-Modellen bei, durch Reifen zu springen.

Viele Forscher haben begonnen, einen härteren Testsatz namens SuperGLUE zu verwenden, aber Nguyen vermutet, dass es ähnliche Probleme geben wird.

Dieses Problem wurde auch von Yoshua Bengio und Kollegen identifiziert, die das fanden Wörter in einem Gespräch neu anordnen Manchmal änderten sich die Antworten von Chatbots nicht. Und ein Team von Facebook AI Research fand heraus Beispiele dafür geschehen mit Chinesisch . Nguyens Team zeigt, dass das Problem weit verbreitet ist.

Spielt es eine Rolle? Es kommt auf die Anwendung an. Auf der einen Seite wäre eine KI nützlich, die immer noch versteht, wenn Sie einen Tippfehler machen oder etwas Verstümmeltes sagen, wie es ein anderer Mensch könnte. Aber im Allgemeinen ist die Wortreihenfolge entscheidend, wenn es darum geht, die Bedeutung eines Satzes zu erkennen.

beheben wie? Die gute Nachricht ist, dass es möglicherweise nicht allzu schwer zu beheben ist. Die Forscher fanden heraus, dass das Erzwingen einer Fokussierung auf die Wortreihenfolge eines Modells, indem es darauf trainiert wurde, eine Aufgabe zu erledigen, bei der es auf die Wortreihenfolge ankommt (z. B. das Erkennen von Grammatikfehlern), das Modell auch bei anderen Aufgaben besser abschneidet. Dies deutet darauf hin, dass die Optimierung der Aufgaben, für die die Modelle trainiert werden, sie insgesamt besser macht.

Nguyens Ergebnisse sind ein weiteres Beispiel dafür, wie Modelle greifen oft zu kurz wozu die Menschen glauben, dass sie in der Lage sind. Er denkt, es zeigt, wie schwer es ist, es zu machen KIs, die wie Menschen verstehen und argumentieren . Niemand habe eine Ahnung, sagt er.

verbergen