Ein Deepfake-Bot wird verwendet, um minderjährige Mädchen auszuziehen

Savka Jankovic / EyeEm

Aktualisierung 28.10.: Seit der Veröffentlichung dieses Artikels wurde der Deepfake-Bot auf Telegram auf iOS wegen Verstoßes gegen die App Store-Richtlinien blockiert. laut den Forschern . Der Haupttelegram-Kanal, der den Bot gehostet hat, und ein angeschlossener Kanal zum Teilen seiner Kreationen wurden ebenfalls entfernt.

Im Juni 2019, Vice die Existenz aufgedeckt einer verstörenden App, die KI benutzte, um Frauen auszuziehen. Es hieß DeepNude und ermöglichte es Benutzern, ein Foto einer bekleideten Frau für 50 US-Dollar hochzuladen und ein Foto von ihr scheinbar nackt zurückzubekommen. Tatsächlich nutzte die Software Generative Adversarial Networks, den Algorithmus hinter Deepfakes, um die Frauenkleider gegen hochrealistische nackte Körper auszutauschen. Je spärlicher das Opfer bekleidet ist, desto besser. Bei Männern hat es nicht funktioniert.

Innerhalb von 24 Stunden hatte der Vice-Artikel eine solche Gegenreaktion ausgelöst, dass die Macher der App schnell reagierten nahm es herunter . Der Twitter-Account von DeepNude kündigte an, dass keine weiteren Versionen veröffentlicht würden und niemand sonst Zugriff auf die Technologie erhalten würde.

Aber ein neue Untersuchung von Sensity AI (ehemals Deeptrace Labs), einem Cybersicherheitsunternehmen, das sich auf die Erkennung des Missbrauchs manipulierter Medien konzentriert, hat nun eine sehr ähnliche Technologie gefunden, die von einem öffentlich verfügbaren Bot auf der Messaging-App Telegram verwendet wird. Dieses Mal hat es eine noch einfachere Benutzeroberfläche: Jeder kann dem Bot ein Foto über die mobile oder Web-App von Telegram senden und innerhalb von Minuten einen Akt zurückerhalten. Der Dienst ist auch völlig kostenlos, obwohl Benutzer eine Basis von 100 Rubel (ca. 1,50 US-Dollar) für Vergünstigungen wie das Entfernen des Wasserzeichens auf den entfernten Fotos oder das Überspringen der Verarbeitungswarteschlange bezahlen können.

Bis Juli 2020 wurde der Bot bereits eingesetzt, um mindestens 100.000 Frauen anzugreifen und auszuziehen, von denen die meisten wahrscheinlich keine Ahnung hatten. Normalerweise sind es junge Mädchen, sagt Giorgio Patrini, CEO und Chefwissenschaftler von Sensity, der den Bericht mitverfasst hat. Leider ist es manchmal auch ziemlich offensichtlich, dass einige dieser Leute minderjährig sind.

Die Gamifizierung von Belästigung

Der am 11. Juli 2019 gestartete Deepfake-Bot ist mit sieben Telegram-Kanälen mit insgesamt über 100.000 Mitgliedern verbunden. (Diese Zahl berücksichtigt nicht die doppelte Mitgliedschaft auf allen Kanälen, aber die Hauptgruppe hat allein mehr als 45.000 einzelne Mitglieder.)

Der zentrale Kanal ist dem Hosten des Bots selbst gewidmet, während die anderen für Funktionen wie technischen Support und Bildfreigabe verwendet werden. Die Kanäle zum Teilen von Bildern enthalten Schnittstellen, mit denen Menschen ihre Nacktkreationen posten und bewerten können. Je mehr ein Foto gemocht wird, desto mehr wird sein Schöpfer mit Tokens belohnt, um auf die Premium-Funktionen des Bots zuzugreifen. Der Schöpfer erhält einen Anreiz, als würde er ein Spiel spielen, sagt Patrini.

Die Community, die über die Suche und soziale Medien leicht zu finden ist, hat im letzten Jahr stetig an Mitgliedern zugenommen. Eine Umfrage unter 7.200 Benutzern ergab, dass etwa 70 % von ihnen aus Russland oder anderen russischsprachigen Ländern stammen. Die Opfer scheinen jedoch aus einem breiteren Spektrum von Ländern zu stammen, darunter Argentinien, Italien, Russland und die USA. Die meisten von ihnen sind Privatpersonen, die die Nutzer des Bots nach eigenen Angaben aus dem wirklichen Leben kennen oder die sie auf Instagram gefunden haben. Die Forscher konnten nur eine kleine Handvoll der Frauen identifizieren und versuchten, sie zu kontaktieren, um ihre Erfahrungen zu verstehen. Keine der Frauen antwortete, sagt Patrini.

Die Forscher wandten sich auch an Telegram und die zuständigen Strafverfolgungsbehörden, einschließlich des FBI. Telegram antwortete weder auf ihre Notiz noch auf die Folgeanfrage von MIT Technology Review nach einem Kommentar. Patrini sagt, dass sie auch keine spürbaren Auswirkungen auf diese Gemeinschaften gesehen haben, seit sie sich an die Behörden gewandt haben.

Deepfake-Rache-Pornos

Missbrauchstäter verwenden seit einiger Zeit pornografische Bilder, um Frauen zu belästigen. 2019, eine Studie von der American Psychological Association fanden heraus, dass eine von 12 Frauen irgendwann in ihrem Leben Opfer von Rachepornos wird. Eine Studie von der australischen Regierung, die Australien, das Vereinigte Königreich und Neuseeland betrachtete, stellte fest, dass dieses Verhältnis bis zu eins zu drei beträgt. Deepfake-Rachepornos verleihen der Belästigung eine ganz neue Dimension, weil die Opfer nicht wissen, dass solche Bilder existieren.

Es gibt auch viele Fälle, in denen Deepfakes verwendet wurden, um Prominente und andere hochkarätige Personen anzugreifen. Die Technologie wurde zuerst in den Tiefen des Internets populär, um Prominente in Pornovideos zu verwandeln, und sie wurde im Rahmen von Belästigungskampagnen zum Schweigen gebracht Journalistinnen . Patrini sagt, er habe auch mit Influencern und YouTubern gesprochen, die Deepfake-Pornobilder von ihnen direkt an ihre Sponsoren geschickt hätten, was ihnen eine immense emotionale und finanzielle Belastung gekostet habe.

Patrini vermutet, dass diese gezielten Angriffe noch viel schlimmer werden könnten. Er und seine Forscherkollegen haben bereits den Fortschritt und die Verbreitung der Technologie miterlebt. Beispielsweise entdeckten sie auf der russischen Social-Media-Plattform VK ein weiteres Ökosystem mit über 380 Seiten, das der Erstellung und dem Teilen expliziter Deepfakes gewidmet ist. (Nach der Veröffentlichung dieses Artikels schickte ein Sprecher von VK eine Erklärung an MIT Technology Review: „VK toleriert solche Inhalte oder Links auf der Plattform nicht und blockiert Communities, die sie verbreiten. Wir werden eine zusätzliche Prüfung durchführen und unangemessene Inhalte blockieren und Gemeinschaften.') Die Forscher fanden auch heraus, dass der Ausziehalgorithmus allmählich auf Videos angewendet wird, beispielsweise auf Aufnahmen von Bikinimodels, die einen Laufsteg entlanglaufen. Im Moment muss der Algorithmus Frame für Frame angewendet werden – er ist im Moment sehr rudimentär, sagt Patrini. Aber ich bin sicher, die Leute werden es perfektionieren und auch einen Lizenzservice dafür einrichten.

Leider gibt es immer noch wenige Möglichkeiten, diese Art von Aktivitäten zu stoppen – aber das Bewusstsein für die Probleme wächst. Unternehmen wie Facebook und Google sowie Forscher, die Tools für die Deepfake-Erstellung entwickeln, haben damit begonnen, ernsthafter in Gegenmaßnahmen wie die automatisierte Deepfake-Erkennung zu investieren. Im vergangenen Jahr stellte der US-Kongress das ebenfalls vor eine neue Rechnung Dadurch würde ein Mechanismus geschaffen, mit dem Opfer Rechtsmittel gegen Reputationsschäden einlegen können.

In der Zwischenzeit, sagt Patrini, wird Sensity diese Art von böswilligen Deepfakes weiter verfolgen und melden und versuchen, mehr über die Motivationen derer zu erfahren, die sie erstellen, und die Auswirkungen auf das Leben der Opfer. „Tatsächlich sind die Daten, die wir in diesem Bericht teilen, nur die Spitze des Eisbergs“, sagt er.

Update: Dem Artikel wurde eine offizielle Erklärung der russischen Social-Media-Plattform VK hinzugefügt.

verbergen