211service.com
Es ist einfach, giftige Sprache am Toxic-Comment-Detektor von Alphabet vorbeizuschlüpfen
Am Donnerstag veröffentlichte Alphabet einen auf maschinellem Lernen basierenden Dienst namens Perspective, der toxische Kommentare auf Websites identifizieren soll. Es stammt von Jigsaw, einer Abteilung, die an Technologien arbeitet, um das Internet sicherer und ziviler zu machen. Aber als ich mit Perspective spielte, waren die Ergebnisse unberechenbar.
Perspective bewertet Kommentare auf einer Skala von 1 bis 100 für Toxizität, definiert als unhöflicher, respektloser oder unvernünftiger Kommentar, der Sie wahrscheinlich dazu bringt, eine Diskussion zu verlassen. Scheiß auf dich, Trump-Anhänger werden als hochgiftig beurteilt, während ich ehrlich gesagt beides nicht unterstütze, zum Beispiel. Aber Perspective hat Probleme, die Stimmung hinter einem Kommentar zu erkennen – ein Problem, von dem ich vorhergesagt hatte, dass es Jigsaw zusetzen würde, als ich seine Ambitionen im Dezember untersuchte (siehe If Only AI Could Save Us From Ourselbs).
Trump sucks erzielte kolossale 96 Prozent, das Neonazi-Codewort 14/88 jedoch nur 5 Prozent. „Wenige Muslime sind eine terroristische Bedrohung“ war zu 79 Prozent giftig, während Rassenkrieg jetzt 24 Prozent erreichte. Hitler war ein Antisemit mit 70 Prozent, aber Hitler war kein Antisemit mit nur 53 Prozent und Der Holocaust hat nie stattgefunden mit nur 21 Prozent. Und während gas the joos 29 Prozent erzielte, wurde es umformuliert in Please gas the joos. Danke schön. senkte die Punktzahl auf nur 7 Prozent. (Juden sind Menschen, aber 72 Prozent. Juden sind keine Menschen? 64 Prozent.)
Laut Jigsaw wurde Perspective darauf trainiert, Toxizität anhand von Hunderttausenden von Kommentaren zu erkennen, die von menschlichen Gutachtern bewertet wurden. Das Ergebnis scheint ein System zu sein, das für bestimmte Wörter und Phrasen sensibilisiert ist – aber nicht für Bedeutungen.
Das Wort Vergewaltigung zum Beispiel erzielt allein 77 Prozent – was vielleicht erklärt, warum Vergewaltigung mit 81 Prozent ein schreckliches Verbrechen ist. (Ein ähnliches Muster ist bei Obszönitäten zu sehen: Ich liebe das, verdammt noch mal, erreicht 94 Prozent.)
In ähnlicher Weise führen Negationen und andere Nuancen der Sprache zu paradoxen Ergebnissen. Hinzufügen einer nicht zu schaffen Wenigen Muslimen sind nicht Eine terroristische Bedrohung senkt die Toxizität von 79 Prozent auf 60 Prozent, da Perspective keine terroristische Bedrohung harmloser erscheint, obwohl die beabsichtigte Bedeutung zunimmt mehr giftig.
Wie ich in meinem vorherigen Artikel über Jigsaw angemerkt habe, erlaubt der aktuelle Stand des maschinellen Lernens der Software nicht, die Absicht und den Kontext von Kommentaren zu erfassen. Durch den Musterabgleich auf Oberflächenebene kann Conversation AI möglicherweise filtern stilistisch— aber nicht semantisch .
Das macht die Technik nicht nutzlos. Ein System wie Perspective könnte die Arbeit von Moderatoren beschleunigen, indem es Extremfälle kennzeichnet. Es macht Sinn, dass die New York Times arbeitet mit Jigsaw zusammen, um seinen Moderatoren bei der Überwachung von Kommentaren zu Artikeln zu helfen. Der New York Times hat jedoch kein Missbrauchsproblem; Es wird versucht, qualitativ hochwertige Kommentare zu identifizieren, bei denen die stilistische Übereinstimmung wahrscheinlich effektiver ist. Wenn es um vorsätzlichen Missbrauch geht, kann die Software von Jigsaw in zweideutigen Fällen menschliches Urteilsvermögen nicht ersetzen.
Wir können sagen, dass Trolle dumm sind (Toxizitätswert 96 Prozent), aber die Sprache der Toxizität und Belästigung ist oft reich an Möglichkeiten, mit denen maschinelle Lernsysteme nicht umgehen können. Der Kommentar You should be made into a lamp, eine Anspielung auf Behauptungen, die Haut von KZ-Opfern sei für Lampenschirme verwendet worden, wurde in den letzten Monaten einer Reihe von Journalisten und anderen Persönlichkeiten des öffentlichen Lebens zugeworfen. Es erzielt nur 4 Prozent bei Perspective. Aber antworte am besten nicht, indem du sagst, du bist ein Nazi, denn das sind 87 Prozent.