Eine KI sah ein beschnittenes Foto von AOC. Es wurde automatisch vervollständigt, dass sie einen Bikini trug.

Frau Technik | Getty

Es ist bekannt, dass Sprachgenerierungsalgorithmen rassistische und sexistische Ideen einbetten. Sie sind in der Sprache des Internets geschult, einschließlich der dunklen Ecken von Reddit und Twitter, die Hassreden und Desinformation enthalten können. Welche schädlichen Ideen auch immer in diesen Foren vorhanden sind, sie werden als Teil ihres Lernens normalisiert.

Forscher haben jetzt demonstriert dass dasselbe für Bildgenerierungsalgorithmen gelten kann. Füttere einen mit einem Foto eines Mannes, der direkt unter seinem Hals abgeschnitten ist, und in 43 % der Fälle wird er automatisch im Anzug vervollständigt. Füttere denselben mit einem beschnittenen Foto einer Frau, sogar einer berühmten Frau wie der US-Repräsentantin Alexandria Ocasio-Cortez, und in 53 % der Fälle wird sie automatisch mit einem tief ausgeschnittenen Oberteil oder Bikini vervollständigt. Dies hat Auswirkungen nicht nur auf die Bilderzeugung, sondern auf alle Computer-Vision-Anwendungen, einschließlich videobasierte Kandidatenbewertungsalgorithmen , Gesichtserkennung und Überwachung.

Ryan Steed, Doktorand an der Carnegie Mellon University, und Aylin Caliskan, Assistenzprofessorin an der George Washington University, untersuchten zwei Algorithmen: iGPT von OpenAI (eine Version von GPT-2, die mit Pixeln statt mit Wörtern trainiert wird) und Googles SimCLR . Während jeder Algorithmus das Lernen von Bildern anders angeht, haben sie eine wichtige Eigenschaft gemeinsam – sie werden beide vollständig verwendet unbeaufsichtigtes Lernen , was bedeutet, dass sie keine Menschen brauchen, um die Bilder zu beschriften.

Dies ist eine relativ neue Innovation ab 2020. Es werden hauptsächlich frühere Computer-Vision-Algorithmen verwendet beaufsichtigt Lernen, bei dem sie mit manuell beschrifteten Bildern gefüttert werden: Katzenfotos mit dem Tag Katze und Babyfotos mit dem Tag Baby. Aber im Jahr 2019 fanden die Forscherin Kate Crawford und der Künstler Trevor Paglen heraus, dass diese von Menschen erstellten Labels in ImageNet, dem grundlegendsten Bilddatensatz für das Training von Computer-Vision-Modellen, enthalten manchmal verstörende Sprache , wie Schlampe für Frauen und rassistische Beleidigungen für Minderheiten.

Das neueste Papier zeigt eine noch tiefere Quelle der Toxizität. Auch ohne diese menschlichen Etiketten kodieren die Bilder selbst unerwünschte Muster. Das Problem ähnelt dem, was die Natural Language Processing (NLP)-Community bereits entdeckt hat. Die riesigen Datensätze, die zusammengestellt wurden, um diese datenhungrigen Algorithmen zu füttern, erfassen alles im Internet. Und das Internet hat eine Überrepräsentation von leicht bekleideten Frauen und anderen oft schädlichen Stereotypen.

Um ihre Studie durchzuführen, passten Steed und Caliskan geschickt eine Technik an, die Caliskan zuvor verwendet hatte, um Verzerrungen in unüberwachten NLP-Modellen zu untersuchen. Diese Modelle lernen, Sprache zu manipulieren und zu erzeugen, indem sie Wörterinbettungen verwenden, eine mathematische Darstellung der Sprache, die Wörter, die häufig zusammen verwendet werden, gruppiert und Wörter trennt, die häufig getrennt vorkommen. In einem 2017 erschienenes Papier in Wissenschaft , maß Caliskan die Abstände zwischen den verschiedenen Wortpaaren, die Psychologen verwendeten, um menschliche Vorurteile zu messen der implizite Assoziationstest (IAT) . Sie stellte fest, dass diese Entfernungen die Ergebnisse des IAT fast perfekt wiedergaben. Stereotype Wortpaare wie Mann und Beruf oder Frau und Familie lagen eng beieinander, während gegensätzliche Paarungen wie Mann und Familie oder Frau und Beruf weit auseinander lagen.

iGPT basiert auch auf Einbettungen: Es gruppiert oder trennt Pixel basierend darauf, wie oft sie gemeinsam in seinen Trainingsbildern vorkommen. Diese Pixeleinbettungen können dann verwendet werden, um zu vergleichen, wie nah oder fern zwei Bilder im mathematischen Raum sind.

Verwandte Geschichte

Die wahren Gefahren der KI liegen näher, als wir denken

Vergessen Sie superintelligente KI: Algorithmen richten bereits echten Schaden an. Die gute Nachricht: Der Kampf hat begonnen.

In ihrer Studie stellten Steed und Caliskan erneut fest, dass diese Entfernungen die Ergebnisse von IAT widerspiegeln. Fotos von Männern und Krawatten und Anzügen erscheinen dicht beieinander, während Fotos von Frauen weiter voneinander entfernt erscheinen. Die Forscher kamen mit SimCLR zu den gleichen Ergebnissen, obwohl es eine andere Methode zum Ableiten von Einbettungen aus Bildern verwendete.

Diese Ergebnisse haben besorgniserregende Implikationen für die Bilderzeugung. Andere Bilderzeugungsalgorithmen, wie z Generative gegnerische Netzwerke , haben dazu geführt eine Explosion von Deepfake-Pornografie das richtet sich fast ausschließlich an Frauen . Insbesondere iGPT bietet eine weitere Möglichkeit für Menschen, sexualisierte Fotos von Frauen zu erstellen.

Aber die möglichen nachgelagerten Effekte sind viel größer. Im Bereich NLP sind unüberwachte Modelle zum Rückgrat für alle Arten von Anwendungen geworden. Forscher beginnen mit einem bestehenden unüberwachten Modell wie BERT oder GPT-2 und verwenden maßgeschneiderte Datensätze, um es für einen bestimmten Zweck zu optimieren. Dieser teilüberwachte Ansatz, eine Kombination aus unüberwachtem und überwachtem Lernen, hat sich zu einem De-facto-Standard entwickelt.

Ebenso beginnt der Computer-Vision-Bereich den gleichen Trend zu sehen. Steed und Caliskan machen sich Sorgen darüber, was diese eingebrannten Vorurteile bedeuten könnten, wenn die Algorithmen für sensible Anwendungen wie Polizei oder Einstellung verwendet werden, wo Modelle bereits Videoaufnahmen von Kandidaten analysieren, um zu entscheiden, ob sie für den Job geeignet sind. Dies sind sehr gefährliche Anwendungen, die Folgeentscheidungen treffen, sagt Caliskan.

Deborah Raji, eine Mozilla-Stipendiatin, die Co-Autorin war eine einflussreiche Studie Die Studie enthüllt die Verzerrungen bei der Gesichtserkennung und soll als Weckruf für das Gebiet der Computervision dienen. Lange Zeit bezog sich ein Großteil der voreingenommenen Kritik auf die Art und Weise, wie wir unsere Bilder kennzeichnen, sagt sie. Nun sagt dieses Papier, dass die tatsächliche Zusammensetzung des Datensatzes zu diesen Verzerrungen führt. Wir müssen Rechenschaft darüber ablegen, wie wir diese Datensätze kuratieren und diese Informationen sammeln.

Steed und Caliskan fordern von den Unternehmen, die diese Modelle entwickeln, mehr Transparenz, um sie als Open Source zu veröffentlichen und die akademische Gemeinschaft ihre Untersuchungen fortsetzen zu lassen. Sie ermutigen auch andere Forscher, weitere Tests durchzuführen, bevor sie ein Visionsmodell einsetzen, z. B. indem sie die Methoden verwenden, die sie für dieses Papier entwickelt haben. Und schließlich hoffen sie, dass das Feld verantwortungsbewusstere Methoden zur Zusammenstellung und Dokumentation dessen entwickelt, was in Trainingsdatensätzen enthalten ist.

Laut Caliskan besteht das Ziel letztendlich darin, ein größeres Bewusstsein und eine bessere Kontrolle bei der Anwendung von Computer Vision zu erlangen. Wir müssen sehr vorsichtig damit sein, wie wir sie einsetzen, sagt sie, aber gleichzeitig können wir jetzt, da wir diese Methoden haben, versuchen, sie für das soziale Wohl einzusetzen.

verbergen