Der Algorithmus von Google zur Erkennung von Hassreden ist rassistisch voreingenommen

Kategorie: Silicon Valley Gesendet 13. August

KI-Systeme, die missbräuchliche Online-Inhalte erkennen sollen, kennzeichnen Tweets viel eher als anstößig, wenn sie von Personen gepostet wurden, die sich als Afroamerikaner identifizieren.

Die Nachrichten: Forscher bauten zwei KI-Systeme und testeten sie an zwei Datensätzen von mehr als 100.000 Tweets, die von Menschen mit Labels wie anstößig, keine oder Hassrede kommentiert worden waren. Einer der Algorithmen kennzeichnete fälschlicherweise 46 % der harmlosen Tweets von afroamerikanischen Autoren als anstößig. Tests mit größeren Datensätzen, darunter einem aus 5,4 Millionen Tweets, ergaben, dass Posts von afroamerikanischen Autoren mit 1,5-mal höherer Wahrscheinlichkeit als anstößig gekennzeichnet wurden. Als die Forscher dann Googles testeten Perspektive , einem KI-Tool, mit dem das Unternehmen Online-Diskussionen moderieren kann, fanden sie ähnliche rassistische Vorurteile.

Eine schwierige Balance zu finden: Massenerschießungen durch weiße Rassisten in den USA und Neuseeland haben zu wachsenden Forderungen von Politikern geführt, dass Social-Media-Plattformen mehr tun müssen, um Hassreden auszumerzen. Diese Studien unterstreichen, wie kompliziert diese Aufgabe ist. Ob eine Sprache anstößig ist, kann davon abhängen, wer sie sagt und wer sie hört. Zum Beispiel unterscheidet sich eine schwarze Person, die das N-Wort verwendet, sehr von einer weißen Person, die es verwendet. Aber KI-Systeme verstehen diese Nuance nicht und können es derzeit nicht.

Das Risiko: Indem wir übereilt Software verwenden, um beleidigende Sprache automatisch auszusortieren, riskieren wir, Stimmen von Minderheiten zum Schweigen zu bringen. Das Moderieren von Online-Inhalten ist a traumatisierender, schwieriger Job , daher sind Technologieunternehmen bestrebt, sich auf KI-Systeme anstelle von Menschen zu verlassen (sie sind auch viel billiger). Diese Studie zeigt die enormen Risiken, die diesem Ansatz innewohnen.

Melden Sie sich hier für unseren täglichen Newsletter The Download an, um Ihre Dosis der neuesten Nachrichten aus der Welt der aufstrebenden Technologie zu erhalten, die Sie unbedingt lesen müssen.