211service.com
Auch eine KI zur Generierung von Fake News könnte dabei helfen, diese zu erkennen
Hendrik Strobelt und Sebastian Gehrmann
Letzten Monat hat OpenAI die Veröffentlichung seines neuesten Sprachmodells, GPT-2, ziemlich dramatisch zurückgehalten, weil es befürchtete, dass es zur Automatisierung der Massenproduktion von Fehlinformationen verwendet werden könnte. Die Entscheidung beschleunigte auch die laufende Diskussion der KI-Community darüber, wie diese Art von gefälschten Nachrichten erkannt werden können. In einem neuen Experiment , untersuchten Forscher des MIT-IBM Watson AI Lab und des HarvardNLP, ob die gleichen Sprachmodelle, die solch überzeugende Prosa schreiben können, auch andere modellgenerierte Passagen erkennen können.
Die Idee hinter dieser Hypothese ist einfach: Sprachmodelle erzeugen Sätze, indem sie das nächste Wort in einer Textfolge vorhersagen. Wenn sie also die meisten Wörter in einer bestimmten Passage leicht vorhersagen können, ist es wahrscheinlich, dass sie von einem ihrer eigenen geschrieben wurde.
Die Forscher testeten ihre Idee, indem sie eine interaktives Werkzeug basierend auf der öffentlich zugänglichen heruntergestuften Version von OpenAIs GPT-2. Wenn Sie dem Tool eine Textpassage zuführen, hebt es die Wörter grün, gelb oder rot hervor, um die abnehmende Leichtigkeit der Vorhersagbarkeit anzuzeigen; es hebt sie in Lila hervor, wenn es sie überhaupt nicht vorhergesagt hätte. Je höher der Anteil roter und violetter Wörter, desto höher ist theoretisch die Chance, dass die Passage von einem Menschen geschrieben wurde; Je größer der Anteil grüner und gelber Wörter, desto wahrscheinlicher wurde es von einem Sprachmodell geschrieben.
Eine Passage zum Leseverständnis aus einem standardisierten US-Test, geschrieben von einem Menschen. Hendrik Strobelt und Sebastian Gehrmann
Eine Passage, die von OpenAIs heruntergestuftem GPT-2 geschrieben wurde. Hendrik Strobelt und Sebastian Gehrmann
Tatsächlich fanden die Forscher heraus, dass Passagen, die von den heruntergestuften und Vollversionen von GPT-2 geschrieben wurden, fast vollständig grün und gelb waren, während wissenschaftliche Zusammenfassungen, die von Menschen geschrieben wurden, und Text aus Passagen zum Leseverständnis in standardisierten US-Tests viel Rot und Violett aufwiesen.
Aber nicht so schnell. Janelle Shane, eine Forscherin, die den beliebten Blog betreibt Neuronale Netze seltsam werden lassen und wer an der anfänglichen Recherche unbeteiligt war, legte dem Tool mehr zu strenge Prüfung . Anstatt es nur mit Text zu füttern, der von GPT-2 generiert wurde, fütterte sie es auch mit Passagen, die von anderen Sprachmodellen geschrieben wurden, darunter eines, das auf Amazon-Rezensionen trainiert wurde, und eines, das auf Dungeons and Dragons-Biografien trainiert wurde. Sie stellte fest, dass das Tool einen großen Teil der Wörter in jeder dieser Passagen nicht vorhersagen konnte, und nahm daher an, dass sie von Menschen geschrieben waren. Dies identifiziert eine wichtige Erkenntnis: Ein Sprachmodell kann gut darin sein, seine eigene Ausgabe zu erkennen, aber nicht unbedingt die Ausgabe anderer.
Diese Geschichte erschien ursprünglich in unserem KI-Newsletter The Algorithm. Um es direkt in Ihren Posteingang geliefert zu bekommen, melden Sie sich hier kostenlos an.