Schreckliche Menschen haben gelernt, das Internet auszunutzen. Yasmin Green wehrt sich.

Das Jigsaw-Team von Alphabet bringt Menschen, die online radikalisiert wurden, Video für Video vom Abgrund zurück. Durch

• Martin Giles Archivseite

19. Februar 2018

Landon Speer

Hassreden, Online-Radikalisierung, Anleitungen zum Bombenbau, staatlich geförderte Fake News, Webzensur – das Internet ist ein schrecklicher Ort.

Ein Teil davon jedenfalls. Diesen Anteil so gering wie möglich zu halten, ist die Aufgabe von Yasmin Green, Direktorin für Forschung und Entwicklung bei Jigsaw, einem Zweig von Googles Mutterkonzern Alphabet. Mit einer multinationalen Gruppe von rund 60 Spezialisten, darunter Softwareingenieure, Forscher und Produktmanager, nimmt sie es mit Terroristen und Trollen gleichermaßen auf. Sie können auch auf die riesigen Ressourcen von Google zurückgreifen. Aber Green und ihre Kollegen verbringen nicht ihre ganze Zeit mit Programmieren und Bauen; Viele von ihnen reisen auch zu geopolitischen Brennpunkten, um Radikalisierung aus nächster Nähe zu studieren. Sie sprach mit MIT Technology Review über einige der Methoden der Gruppe.

Diese Geschichte war Teil unserer März-Ausgabe 2018

• Siehe den Rest des Problems
• Abonnieren

Was hat Sie an der Rolle bei Jigsaw gereizt?

Ich habe den Iran, wo ich geboren wurde, in sehr jungen Jahren verlassen und bin in Großbritannien aufgewachsen. Ich erinnere mich, dass ich im Alter von 19 Jahren zurückgegangen bin und erstaunt war über das Ausmaß der Zensur im Land, sowohl offline als auch online. Begriffe wie World Wide Web klingen für Menschen, die nicht in Ländern leben, in denen Informationen kostenlos sind, oft ironisch. Daher zog es mich in ein Unternehmen, das versucht, Informationen für alle zugänglich zu machen.

Landon Speer

Jigsaw befasst sich mit Online-Bedrohungen, aber die Teammitglieder besuchen im Rahmen ihrer Arbeit auch Konfliktzonen. Was ist das Ziel dieser Reisen?

Wir möchten sicherstellen, dass wir Technologie entwickeln, die auf einem Verständnis menschlicher Erfahrungen basiert. Ein großer Teil unserer Methodik besteht darin, Teammitglieder ins Feld zu schicken, um Menschen zu interviewen, die bei den Herausforderungen, die wir zu bewältigen versuchen, an vorderster Front stehen, sei es Repression oder Konflikt. Einer unserer Exkursionen führte in den Irak, wo wir Menschen gegenüberstanden, die sich der als ISIS bekannten Terrorgruppe angeschlossen und dann wieder verlassen hatten. Wir wollten den Radikalisierungsprozess verstehen, sowohl die menschlichen Elemente als auch die Rolle, die die Technologie dabei spielte. Wir hörten, wie Menschen ISIS entdeckten, wie Menschen rekrutiert wurden und wie Technologie für die Logistik ihrer Reisen [um der Gruppe beizutreten] nützlich war.

Was ist die wichtigste Lektion, die wir über die Fähigkeit des IS gelernt haben, das Internet für die Rekrutierung zu nutzen?

ISIS beherrscht so ziemlich viele Medien, vom Radio bis zum Flugblatt. Wenn es um das Internet geht, haben sie die Macht des Microtargeting wirklich verstanden. Sie erstellen Inhalte in einer langen Liste von Sprachen, darunter Arabisch und Englisch, aber es geht weiter und weiter und reicht sogar bis zu Chinesisch und Hebräisch. Die Sprache, die mich wirklich umgehauen hat, als ich ein Video gesehen habe, war die Gebärdensprache. Also erstellen sie sehr lokales Rekrutierungsmaterial und verwenden die Algorithmen, die über soziale Medien verfügbar sind, um dieses Material zu verbreiten und Menschen in allen Ecken der Welt zu erreichen.

Einige der Inhalte, die terroristische Netzwerke online posten, müssen eindeutig entfernt werden. Aber wie gehen wir mit subtileren Formen der Propaganda um?

Es gibt definitiv Inhaltskategorien, bei denen Sie sichergehen möchten, dass sie nicht das Licht der Welt erblicken, wie Enthauptungen und Tutorials zum Bombenbau. Dann gibt es eine ganze Reihe anderer Inhalte, die wirklich nicht für Gewalt eintreten, aber den Menschen helfen könnten, den Weg dorthin voranzutreiben. Unsere Forschung zielte darauf ab, zu verstehen, was die Rekrutierungsthemen waren, die Menschen dazu brachten, sich bei ISIS anzumelden. Es stellte sich heraus, dass sie im Allgemeinen nicht von Enthauptungen angezogen wurden; Stattdessen waren sie davon überzeugt, dass diese Gruppe religiös legitim war und die Ursache des Dschihad ihre religiöse Pflicht war. ISIS prägte das Gespräch, stellte Fragen, auf die [er] scheinbar überzeugende Antworten hatte.

Ich glaube, niemand hätte gedacht, dass wir online so viel Einschüchterung und Hassreden haben würden, wie wir es derzeit tun, und wir müssen uns wirklich anstrengen, um sicherzustellen, dass wir einen Schritt voraus sind.

Wie haben Sie versucht, dieser Online-Radikalisierung entgegenzuwirken?

Einer der Erkenntnisse für uns war, dass das Timing entscheidend ist. Bis potenzielle Rekruten von der Ideologie überzeugt sind, ist es zu spät, sie zu beeinflussen; Sie müssen zu ihnen kommen, wenn sie sympathisch, aber noch nicht verkauft sind. Also wandten wir uns gezielter Online-Werbung zu. Wir haben eine sogenannte Umleitungsmethode entwickelt, die gezielte Anzeigen verwendet, um Menschen zu erreichen, die mit ISIS sympathisieren, sich ihm aber noch nicht verschrieben haben, und sie zu Online-Videos von gemäßigten Geistlichen, Überläufern und Bürgerjournalisten umleitet, die ihre Radikalisierung abwenden könnten.

Welche Ergebnisse hat diese Methode geliefert?

Das achtwöchige Pilotprojekt, das auf Arabisch und Englisch lief, erreichte 320.000 Menschen. Es hatte eine außergewöhnlich hohe Klickrate auf die Anzeigen und führte zu einer halben Million Minuten Video-Wiedergabezeit. Angesichts der Tatsache, dass die Leute nicht mehr als ein paar Sekunden mit einem Video verbringen, an dem sie nicht interessiert sind, ist das ermutigend. Nach unserem Pilotprojekt hat YouTube die Methode in seine Suchergebnisse integriert. Die Open-Source-Methode wurde auch von anderen wie der Gen Next Foundation repliziert, und wir unterstützen weiterhin einige neue Bereitstellungen.

Jigsaw versucht auch, gegen die Online-Zensur vorzugehen. Wie schlimm ist dieses Problem?

Wenn Sie sich den Index von Freedom House dazu ansehen, sagen sie, dass die Situation jedes Jahr schlimmer wird. Das ist wirklich entmutigend, weil es im Gegensatz zu dem steht, was Leute, die das Internet entwickeln, dafür wollen. Die Situation ist so volatil. Wenn es zu Bürgerunruhen kommt, wie kürzlich im Iran, sehen Sie das Dilemma repressiver Regierungen, ob sie das Internet abschalten sollen oder nicht, weil [Zensur] die Bevölkerung aufhetzt und öffentliche Aufmerksamkeit und Empörung auf sich zieht. Aber wenn sich die Machthaber bedroht fühlen, zensieren sie.

Was können Unternehmen wie Alphabet dagegen tun?

Wir fühlen uns einer wirklich großen Verantwortung verpflichtet, Menschen dabei zu helfen, Zugang zu Informationen zu erhalten, insbesondere wenn es zu Konflikten und Repressionen kommt. Eines unserer Produkte konzentriert sich darauf, unabhängige Medien auf der ganzen Welt vor einer Art Zensurangriff namens Distributed Denial of Service (DDoS) zu schützen, der Websites offline schaltet, indem er sie mit Traffic überschwemmt. Es heißt Project Shield. Die Idee dazu kam aus unserer Feldarbeit. Unser Team sprach mit der kenianischen Wahlbeobachtungsgruppe, und ihre Website war am Tag einer wichtigen Wahl abgeschaltet worden. Google verfügt über eine enorme Infrastruktur und erstklassige DDoS-Minderungsfähigkeiten, die Project Shield nutzt. Ohne dass Websites bei Google oder Jigsaw gehostet werden müssen, bietet es an, den Datenverkehr zu überprüfen, bevor er auf einem Server ankommt, damit wir den schädlichen Datenverkehr erkennen und herausfiltern können.

Kommen wir zum Problem der Fake News. Wie können wir staatlich geförderte Desinformationsbemühungen besser identifizieren?

Verwandte Geschichte

Verwandte Geschichte Yasmin Green, Leiterin der Forschungs- und Entwicklungsabteilung von Alphabet’s Jigsaw, nutzt Technologie in der Hoffnung, die Welt zu einem besseren Ort zu machen. Es ist nicht einfach.

Das Ziel dieser Kampagnen ist es, Ideen und Erzählungen über gefälschte Personas und Nachrichtenseiten zu pflanzen und diese Samen dann von der Masse befruchten zu lassen, damit die Gespräche wie organisch aussehen. Die Forschungsfrage, die wir uns gestellt haben, ist, ob es technische Marker für koordinierte, verdeckte Aktivitäten im Vergleich zu den eher organischen Aktivitäten gibt, die wir online erwarten. Wenn ja, könnten wir diese bei der automatisierten Erkennung verwenden.

Wir betrachten hier mehrere Dimensionen. Koordinierte Kampagnen neigen dazu, organische zu überdauern, und die beteiligten Personen warten in der Regel darauf, Anweisungen von ihren Vorgesetzten zu erhalten, sodass es manchmal eine kleine Verzögerung gibt, bevor sie plötzlich gemeinsam handeln. Diese Akteure neigen auch dazu, in extrem engen Netzwerken oder Clustern verbunden zu sein, die anomal aussehen. Es gibt auch eine semantische Dimension. Diese Kampagnen verwenden oft ähnliche Wörter und Ausdrücke, die ein Signal für eine zentralisierte Kontrolle sein können.

Internetunternehmen wurden dafür kritisiert, dass sie nicht genug gegen Hassreden und Belästigungen im Internet tun. Ist diese Kritik gerecht?

Ich glaube, niemand hätte gedacht, dass wir online so viel Einschüchterung und Hassreden haben würden, wie wir es derzeit tun, und wir müssen uns wirklich anstrengen, um sicherzustellen, dass wir einen Schritt voraus sind.

Was unternimmt Jigsaw, um Online-Trolle zu frustrieren?

Wir haben ein Team, das sich damit beschäftigt, zu sehen, wie die Verarbeitung natürlicher Sprache und maschinelles Lernen verwendet werden können, um Online-Toxizität zu identifizieren und Moderatoren und Communities dabei zu helfen, sie zu bekämpfen. Wir haben ein öffentlich zugängliches Modell namens Perspective entwickelt, das Sie unter finden können www.perspectiveapi.com . Dies hilft Ihnen, Kommentare nach ihrem Toxizitätsgrad zu bewerten. Das Forschungsteam sucht nach Wegen, um eine andere Ebene der Granularität zu erreichen, damit wir besser erkennen können, was passiert und wie Moderatoren es kontrollieren können.

Es gab viele Bedenken, dass Voreingenommenheit in Algorithmen bestimmten Gruppen in der Gesellschaft schaden könnte. Liegt Ihnen das auch am Herzen?

Ja. Wir verbringen viel Zeit damit, darüber nachzudenken, wie wir sicherstellen können, dass wir keine Vorurteile in unserer KI in Perspektive haben, die den Zielen dieses Projekts schaden könnten, das darin besteht, integrative und einfühlsame Gespräche zu führen.

Sie verbringen einen Großteil Ihres Lebens damit, sich auf die dunkle Seite des Internets zu konzentrieren. Sind Sie hinsichtlich seines Potenzials immer noch optimistisch?

Das bin ich, aber wir müssen weiterhin innovative Technologien entwickeln, die helfen können, diese wirklich schwierigen Herausforderungen zu bewältigen.

verbergen