Willkommen in TikToks endlosem Zyklus von Zensur und Fehlern

Frau Technik | Envato

Ziggi Tyler ist Teil des Creator Marketplace von TikTok, einer privaten Plattform, auf der Marken mit den besten Entwicklern der App in Kontakt treten können. Und letzte Woche bemerkte er etwas ziemlich Beunruhigendes daran, wie die Ersteller-Bios dort automatisch moderiert wurden.

Als er versuchte, bestimmte Sätze in seine Biografie einzugeben, wurden einige davon – Black Lives Matter, Supporting Black People, Supporting Black Voices und Supporting Black Success – als unangemessener Inhalt markiert. Aber weiße Versionen derselben Phrasen waren akzeptabel.

Wenn ich in den Creator Marketplace gehe und „Supporting White Supremacy“ eingebe und auf „Akzeptieren“ drücke, ist das in Ordnung, sagte er in einem TikTok-Video , stand vor dem, was er sagte, war eine Videoaufnahme von ihm, wie er genau das auf seinem eigenen Telefon tat. Um auf dem Marktplatz gelistet zu werden, musste er löschen, was er geschrieben hatte.

Verwandte Geschichte

TikTok änderte die Gesichtsform einiger Leute, ohne zu fragen

Benutzer bemerkten, was ein Schönheitsfilter zu sein schien, den sie nicht angefordert hatten – und den sie nicht ausschalten konnten.

In einem Folgevideo , Tyler zeigte die Sätze Ich bin ein Neonazi und Ich bin ein Antisemetiker, die akzeptiert wurden, während Ich bin ein Schwarzer markiert wurde. Die Geschichte explodierte, teilweise angetrieben von einem Publikum, das bereits frustriert darüber war, wie schwarze Schöpfer auf TikTok behandelt werden. In einem Kommentar zu Insider , entschuldigte sich ein Unternehmenssprecher für den erheblichen Fehler und sagte, dass das, was Tyler sah, das Ergebnis eines automatischen Filters sei, der Wörter blockiert, die mit Hassreden in Verbindung gebracht werden. Das System, so hieß es, sei fälschlicherweise so eingestellt, dass es Phrasen ohne Rücksicht auf die Wortstellung kennzeichnet. Das Unternehmen teilte recode mit, dass dieser spezielle Fehler auf die Einbeziehung der Wörter „Schwarz“ und „Publikum“ zurückzuführen sei, da seine Hassreden-Erkennung den Würfel im Publikum aufgegriffen und die Paarung als unangemessen gekennzeichnet habe.

An die Öffentlichkeit gehen, viral werden

Es ist bei weitem nicht der einzige derartige Vorfall auf der Plattform. Vor ein paar Wochen, TikTok irrtümlich angewendet was wie ein obligatorischer Schönheitsfilter aussah, der bei einigen Android-Benutzern zu einem schlankeren Kinn führte.

Im April bemerkte ein TikTok-Ersteller, dass die neue Funktion zur automatischen Untertitelung der Plattform den Satz asiatische Frauen blockierte. Und Anfang 2021 stellten Intersex-Ersteller fest, dass der Hashtag #intersex in der App nicht mehr auffindbar war.

Dies sind alles Beispiele für ein Muster, das sich auf TikTok wiederholt: Zuerst bemerkt ein Ersteller ein bizarres und potenziell schädliches Problem mit der Moderation oder dem Algorithmus der Plattform, das sich oft überproportional auf Randgruppen auswirkt. Dann machen sie ein Video darüber, was los ist, und dieses Video bekommt viele Aufrufe. Irgendwann interessiert sich vielleicht ein Journalist für das, was vor sich geht, bittet das Unternehmen um eine Erklärung, und das Problem ist behoben. TikTok veröffentlicht dann eine Erklärung, dass das Problem das Ergebnis eines Fehlers war, und betont die Arbeit, die sie leisten, um die Ersteller und die betroffenen Ursachen zu unterstützen.

Es ist nicht unbedingt eine Überraschung, dass diese Videos Schlagzeilen machen. Die Leute machen ihre Videos, weil sie arbeiten. Das Abrufen von Ansichten ist seit Jahren eine der effektivsten Strategien, um eine große Plattform dazu zu bringen, etwas zu reparieren. Tiktok, Twitter und Facebook haben es Nutzern erleichtert, Missbrauch und Regelverstöße durch andere Nutzer zu melden. Aber wenn diese Unternehmen ihre eigenen Richtlinien zu brechen scheinen, stellen die Leute oft fest, dass der beste Weg nach vorne darin besteht, einfach zu versuchen, darüber auf der Plattform selbst zu posten, in der Hoffnung, viral zu werden und Aufmerksamkeit zu erregen, die zu einer Art Lösung führt. Tylers zwei Videos im Marketplace-Bios haben beispielsweise jeweils mehr als 1 Million Aufrufe.

„Inhalte werden markiert, weil sie jemand aus einer Randgruppe sind, der über seine Erfahrungen mit Rassismus spricht. Hate Speech und das Reden über Hate Speech kann einem Algorithmus sehr ähnlich sehen.

Casey Fiesler, University of Colorado, Boulder

Ich werde wahrscheinlich einmal pro Woche in irgendetwas getaggt, sagt Casey Fiesler, Assistenzprofessor an der University of Colorado, Boulder, der sich mit Technologieethik und Online-Communities befasst. Sie ist auf TikTok mit mehr als 50.000 Followern aktiv, aber obwohl sich nicht alles, was sie sieht, wie ein legitimes Anliegen anfühlt, sagt sie, dass die regelmäßige Parade von Problemen der App real ist. TikTok hatte in den letzten Monaten mehrere solcher Fehler, die sich alle überproportional auf Randgruppen auf der Plattform ausgewirkt haben.

MIT Technology Review hat TikTok zu jedem dieser jüngsten Beispiele befragt, und die Antworten sind ähnlich: Nach der Untersuchung stellt TikTok fest, dass das Problem irrtümlicherweise erstellt wurde, betont, dass die fraglichen blockierten Inhalte nicht gegen ihre Richtlinien verstoßen, und verlinkt, um das Unternehmen zu unterstützen gibt solche Gruppen.

Die Frage ist, ob dieser Zyklus – ein technischer oder politischer Fehler, eine virale Reaktion und eine Entschuldigung – geändert werden kann.

Probleme lösen, bevor sie entstehen

Es gibt zwei Arten von Schäden dieser wahrscheinlich algorithmischen Inhaltsmoderation, die die Leute beobachten, sagt Fiesler. Einer ist falsch negativ. Die Leute sagen: „Warum gibt es auf dieser Plattform so viele Hassreden und warum wird sie nicht abgeschaltet?“

Der andere ist falsch positiv. Ihre Inhalte werden gekennzeichnet, weil sie jemand aus einer Randgruppe sind, die über ihre Erfahrungen mit Rassismus spricht, sagt sie. Hate Speech und das Reden über Hate Speech kann einem Algorithmus sehr ähnlich sehen.

Beide Kategorien, bemerkte sie, schaden denselben Menschen: Diejenigen, die überproportional missbraucht werden, werden am Ende algorithmisch zensiert, weil sie darüber sprechen.

TikToks mysteriöse Empfehlungsalgorithmen sind Teil seines Erfolgs – aber seine unklaren und sich ständig ändernden Grenzen wirken bereits abschreckend auf einige Benutzer. Fiesler stellt fest, dass viele TikTok-Ersteller Wörter auf der Plattform selbst zensieren, um zu vermeiden, dass eine Überprüfung ausgelöst wird. Und obwohl sie nicht genau weiß, wie viel diese Taktik bringt, hat Fielser auch damit begonnen, für alle Fälle selbst. Kontosperren, algorithmische Mysterien und bizarre Moderationsentscheidungen sind ein ständiger Bestandteil der Konversation in der App.

Verwandte Geschichte

Wie Facebook süchtig danach wurde, Fehlinformationen zu verbreiten

Die KI-Algorithmen des Unternehmens gaben ihm eine unersättliche Angewohnheit für Lügen und Hassreden. Jetzt kann der Mann, der sie gebaut hat, das Problem nicht beheben.

Schlimmer noch, viele dieser Fehler, argumentierte Fiesler, wären leicht vorhersehbar, wenn Unternehmen einfach mehr darüber nachdenken würden, wie verschiedene Benutzer tatsächlich mit ihrer App interagieren würden. Der Hassrede-Bug, auf den Tyler gestoßen ist, wäre kaum zu übersehen, wenn das Unternehmen ihn zum Beispiel an der Sprache testen würde, die schwarze Schöpfer tatsächlich verwenden, um sich selbst zu beschreiben.

Die richtige Moderation ist komplex, sagt Feisler, aber das entschuldigt diese ständige Wiederholung nicht.

Ich habe oft mehr Verständnis für die Herausforderungen dieser Dinge als die meisten Menschen, sagt sie. Aber selbst ich denke: ‚Wirklich?‘ Irgendwann gibt es Muster, und Sie sollten wissen, wonach Sie suchen müssen.

Ich habe Fiesler gefragt, ob irgendetwas diesen Zyklus verlangsamen könnte, auch wenn es derzeit unmöglich ist, es direkt zu lösen. Ein Teil der Antwort ist eine der ältesten Geschichten in der Technologie: Stellen Sie Menschen mit unterschiedlichen Hintergründen ein und hören Sie ihnen zu .

Aber auch mehr Transparenz müsse Teil der Lösung sein, sagt sie. Warum der Hassreden-Detektor von TikTok letzte Woche so schief gelaufen ist, kann Fiesler nicht genau sagen, weil die App nicht sehr viele Informationen darüber veröffentlicht hat, wie es funktioniert – nicht für Forscher wie sie, und nicht für die Benutzer, deren Inhalte automatisiert entfernt oder unterdrückt werden Prozesse, die, wie die Geschichte zeigt, leicht schief gehen können. Wenn ich als Journalist TikTok (und zu anderen Zeiten andere Plattformen) um detailliertere Erklärungen dazu gebeten habe, warum etwas, das sie einen Fehler nennen, passiert ist und was sie tun, um zu verhindern, dass es in Zukunft wieder auftritt, die Die Antwort ist kurz, unbefriedigend oder das Unternehmen lehnt es ab, die Aufzeichnung insgesamt zu kommentieren.

Wenn YouTuber ständig unangemessen gekennzeichnete Inhalte erhalten, muss es wirklich einfache Einspruchsverfahren geben, sagt sie.

In der Zwischenzeit: Der Kreislauf wird fortgesetzt.

verbergen