211service.com
So passiert KI-Voreingenommenheit wirklich – und warum ist es so schwer, sie zu beheben
Frau Tech; Foto: PIXOLOGICSTUDIO/SCIENCE PHOTO LIBRARY
In den letzten Monaten haben wir dokumentiert, wie die überwiegende Mehrheit der heutigen KI-Anwendungen auf der als Deep Learning bekannten Kategorie von Algorithmen basiert und wie Deep-Learning-Algorithmen Muster in Daten finden. Wir haben auch behandelt, wie sich diese Technologien auf das Leben der Menschen auswirken: wie sie Ungerechtigkeiten bei der Einstellung, dem Verkauf und der Sicherheit aufrechterhalten können und dies möglicherweise bereits im Strafrechtssystem tun .
Aber es reicht nicht aus, nur zu wissen, dass diese Voreingenommenheit existiert. Wenn wir in der Lage sein wollen, es zu beheben, müssen wir die Mechanik verstehen, wie es überhaupt entsteht.
Wie AI-Bias entsteht
Wir kürzen unsere Erklärung der KI-Voreingenommenheit oft ab, indem wir sie auf voreingenommene Trainingsdaten schieben. Die Realität ist nuancierter: Voreingenommenheit kann sich einschleichen lange vor den Daten wird sowie bei gesammelt viele andere Etappen des Deep-Learning-Prozesses. Für die Zwecke dieser Diskussion konzentrieren wir uns auf drei Schlüsselphasen.
Das Problem eingrenzen. Das erste, was Informatiker tun, wenn sie ein Deep-Learning-Modell erstellen, ist zu entscheiden, was sie damit eigentlich erreichen wollen. Ein Kreditkartenunternehmen möchte beispielsweise die Kreditwürdigkeit eines Kunden vorhersagen, aber Kreditwürdigkeit ist ein ziemlich nebulöses Konzept. Um es in etwas zu übersetzen, das berechnet werden kann, muss das Unternehmen entscheiden, ob es beispielsweise seine Gewinnspannen maximieren oder die Anzahl der zurückgezahlten Kredite maximieren möchte. Es könnte dann die Kreditwürdigkeit im Kontext dieses Ziels definieren. Das Problem ist, dass diese Entscheidungen aus anderen geschäftlichen Gründen als Fairness oder Diskriminierung getroffen werden, erklärt Solon Barocas, Assistenzprofessor an der Cornell University, der sich auf Fairness beim maschinellen Lernen spezialisiert hat. Wenn der Algorithmus entdeckte, dass die Vergabe von Subprime-Darlehen ein effektiver Weg zur Gewinnmaximierung ist, würde er am Ende zu räuberischem Verhalten führen, selbst wenn dies nicht die Absicht des Unternehmens war.
Sammeln der Daten. Es gibt zwei Hauptwege, auf denen sich Verzerrungen in Trainingsdaten zeigen: Entweder sind die von Ihnen gesammelten Daten nicht repräsentativ für die Realität, oder sie spiegeln bestehende Vorurteile wider. Der erste Fall könnte beispielsweise eintreten, wenn einem Deep-Learning-Algorithmus mehr Fotos von hellhäutigen als von dunkelhäutigen Gesichtern zugeführt werden. Das resultierende Gesichtserkennungssystem wäre unweigerlich schlechter darin, dunkelhäutige Gesichter zu erkennen. Der zweite Fall ist genau das, was passiert ist, als Amazon entdeckte, dass sein internes Rekrutierungstool war Abweisung weiblicher Kandidaten . Da es auf historische Einstellungsentscheidungen trainiert wurde, die Männer gegenüber Frauen bevorzugten, lernte es, dasselbe zu tun.
Aufbereitung der Daten. Schließlich ist es möglich, während der Datenvorbereitungsphase Verzerrungen einzuführen, was die Auswahl der Attribute beinhaltet, die der Algorithmus berücksichtigen soll. (Dies darf nicht mit der Problem-Framing-Phase verwechselt werden. Sie können dieselben Attribute verwenden, um ein Modell für sehr unterschiedliche Ziele zu trainieren, oder sehr unterschiedliche Attribute verwenden, um ein Modell für dasselbe Ziel zu trainieren.) Im Fall der Kreditwürdigkeitsmodellierung ein Attribut könnte das Alter, das Einkommen oder die Anzahl der abbezahlten Kredite des Kunden sein. Im Falle des Rekrutierungstools von Amazon könnte ein Attribut das Geschlecht, das Bildungsniveau oder die langjährige Erfahrung des Kandidaten sein. Dies wird oft als die Kunst des Deep Learning bezeichnet: Die Auswahl, welche Attribute berücksichtigt oder ignoriert werden sollen, kann die Vorhersagegenauigkeit Ihres Modells erheblich beeinflussen. Aber während sein Einfluss auf die Genauigkeit leicht zu messen ist, ist es sein Einfluss auf die Verzerrung des Modells nicht.
Warum KI-Voreingenommenheit schwer zu beheben ist
Angesichts dieses Kontexts sind Ihnen einige der Herausforderungen bei der Minderung von Vorurteilen möglicherweise bereits klar. Hier heben wir vier Hauptmerkmale hervor.
Unbekannte Unbekannte. Die Einführung von Verzerrungen ist während der Konstruktion eines Modells nicht immer offensichtlich, da Sie die nachgelagerten Auswirkungen Ihrer Daten und Entscheidungen möglicherweise erst viel später erkennen. Sobald Sie dies getan haben, ist es schwierig, rückwirkend festzustellen, woher diese Voreingenommenheit kam, und dann herauszufinden, wie Sie sie loswerden können. Als die Ingenieure im Fall von Amazon zunächst feststellten, dass ihr Tool weibliche Kandidaten bestraft, programmierten sie es so um, dass explizit geschlechtsspezifische Wörter wie „Frauen“ ignoriert wurden. Sie stellten bald fest, dass das überarbeitete System immer noch an Fahrt gewann implizit geschlechtsspezifische Wörter – Verben, die stark mit Männern über Frauen korrelierten, wie z.
Unvollkommene Prozesse. Erstens sind viele der Standardpraktiken im Deep Learning nicht auf die Erkennung von Verzerrungen ausgelegt. Deep-Learning-Modelle werden auf ihre Leistung getestet, bevor sie eingesetzt werden, wodurch eine scheinbar perfekte Gelegenheit geschaffen wird, Vorurteile aufzudecken. Doch in der Praxis sieht das Testen meist so aus: Informatiker teilen ihre Daten zufällig auf Vor Training in eine Gruppe, die tatsächlich für das Training verwendet wird, und eine andere, die nach Abschluss des Trainings für die Validierung reserviert ist. Das bedeutet, dass die Daten, die Sie zum Testen der Leistung Ihres Modells verwenden, dieselben Verzerrungen aufweisen wie die Daten, die Sie zum Trainieren verwendet haben. Daher werden verzerrte oder voreingenommene Ergebnisse nicht angezeigt.
Fehlender sozialer Kontext. Ebenso ist die Art und Weise, wie Informatikern beigebracht wird, Probleme zu formulieren, oft nicht mit der besten Art und Weise vereinbar, über soziale Probleme nachzudenken. Zum Beispiel im ein neues Papier , Andrew Selbst, Postdoc am Data & Society Research Institute, identifiziert, was er die Portabilitätsfalle nennt. In der Informatik gilt es als gute Praxis, ein System zu entwerfen, das für verschiedene Aufgaben in verschiedenen Kontexten verwendet werden kann. Aber das ignoriere viel sozialen Kontext, sagt Selbst. Sie können kein System haben, das in Utah entworfen und dann direkt in Kentucky angewendet wird, weil verschiedene Gemeinschaften unterschiedliche Versionen von Fairness haben. Oder Sie können kein System haben, bei dem Sie „faire“ Ergebnisse der Strafjustiz beantragen und dann auf die Beschäftigung anwenden. Wie wir in diesen Kontexten über Fairness denken, ist einfach völlig anders.
Die Definitionen von Fairness. Es ist auch nicht klar, wie die Abwesenheit von Voreingenommenheit aussehen sollte. Das gilt nicht nur für die Informatik – diese Frage wird seit langem in Philosophie, Sozialwissenschaften und Recht diskutiert. Was an der Informatik anders ist, ist, dass das Konzept der Fairness in mathematischen Begriffen definiert werden muss, wie z. B. das Abwägen der Falsch-Positiv- und Falsch-Negativ-Raten eines Vorhersagesystems. Aber wie Forscher herausgefunden haben, gibt es viele verschiedene mathematische Definitionen von Fairness, die sich auch gegenseitig ausschließen. Bedeutet Fairness beispielsweise, dass die gleichen Anteil von Schwarzen und Weißen sollten hohe Punktzahlen bei der Risikobewertung erhalten? Oder dass die gleichen Risikograd sollte unabhängig von der Rasse zur gleichen Punktzahl führen? Es ist unmöglich, beide Definitionen gleichzeitig zu erfüllen ( Hier ist ein genauerer Blick auf das Warum), also muss man sich irgendwann für eine entscheiden. Aber während in anderen Bereichen diese Entscheidung als etwas angesehen wird, das sich im Laufe der Zeit ändern kann, hat die Informatik die Vorstellung, dass sie festgelegt werden sollte. Indem Sie die Antwort beheben, lösen Sie ein Problem, das ganz anders aussieht, als die Gesellschaft über diese Probleme denkt, sagt Selbst.
Wohin gehen wir von hier aus
Wenn Sie von unserer Wirbelsturmtour über das gesamte Ausmaß des KI-Bias-Problems taumeln, bin ich es auch. Aber glücklicherweise arbeitet ein starkes Kontingent von KI-Forschern hart daran, das Problem anzugehen. Sie haben verschiedene Ansätze verfolgt: Algorithmen, die helfen erkennen und mildern versteckte Verzerrungen in Trainingsdaten oder die die abmildern Vorurteile vom Modell unabhängig von der Datenqualität gelernt; Prozesse die Unternehmen halten verantwortlich zu den gerechteren Ergebnissen und Diskussionen die die verschiedenen Definitionen von Fairness durcheinander bringen.
Das „Beheben“ von Diskriminierung in algorithmischen Systemen sei nicht einfach zu lösen, sagt Selbst. Es ist ein fortlaufender Prozess, genau wie Diskriminierung in jedem anderen Aspekt der Gesellschaft.
Dies erschien ursprünglich in unserem KI-Newsletter The Algorithm. Um es direkt in Ihren Posteingang geliefert zu bekommen, melden Sie sich hier kostenlos an.