Untersuchung von Algorithmen auf Bias

Gerichte, Banken und andere Institutionen verwenden automatisierte Datenanalysesysteme, um Entscheidungen über Ihr Leben zu treffen. Überlassen wir es nicht den Entwicklern von Algorithmen zu entscheiden, ob sie es angemessen tun. Durch

• Matthias Spielkamp Archivseite

12. Juni 2017

Paul Delkan

Es war eine bemerkenswerte Geschichte. Machine Bias, lautete die Schlagzeile und der Teaser proklamiert : Im ganzen Land wird Software verwendet, um zukünftige Kriminelle vorherzusagen. Und es ist voreingenommen gegenüber Schwarzen.

ProPublica, eine mit dem Pulitzer-Preis ausgezeichnete gemeinnützige Nachrichtenorganisation, hatte die als COMPAS bekannte Risikobewertungssoftware analysiert. Es wird verwendet, um vorherzusagen, welche Kriminellen am ehesten rückfällig werden. Geleitet von solchen Prognosen treffen Richter in Gerichtssälen in den Vereinigten Staaten Entscheidungen über die Zukunft von Angeklagten und Verurteilten und legen alles fest, von Kautionssummen bis hin zu Strafen. Als ProPublica die Risikobewertungen von COMPAS für mehr als 10.000 Menschen In einem Bezirk in Florida festgenommen, mit der Frage, wie oft diese Personen tatsächlich erneut straffällig wurden, stellte es fest, dass der Algorithmus Rückfälle für schwarze und weiße Angeklagte mit ungefähr der gleichen Rate korrekt vorhersagte. Aber wenn der Algorithmus falsch war, war er für Schwarze und Weiße auf unterschiedliche Weise falsch. Insbesondere Schwarze werden fast doppelt so häufig wie Weiße als höheres Risiko eingestuft, aber nicht tatsächlich erneut straffällig. Und COMPAS machte bei Weißen tendenziell den gegenteiligen Fehler: Sie werden mit viel größerer Wahrscheinlichkeit als Schwarze als risikoärmer eingestuft, begehen aber andere Verbrechen.

Dinge überprüft

• Maschinenvorspannung

  ProPublica, 23. Mai 2016

  
  
  

• COMPAS-Risikoskalen: Demonstrieren von Genauigkeit, Gerechtigkeit und prädiktiver Parität

  Northpointe, 8. Juli 2016

• Technische Antwort auf Northpointe

  ProPublica, 29. Juli 2016

• Falsch-Positive, falsch-Negative und falsche Analysen: Eine Erwiderung auf „Maschinenverzerrung“

  Anthony Flores, Christopher Lowenkamp und Kristin Bechtel
  10. August 2016

  
  
  

Diese Geschichte war Teil unserer Juli-Ausgabe 2017

• Siehe den Rest des Problems
• Abonnieren

Ob es angemessen ist, Systeme wie COMPAS zu verwenden, ist eine Frage, die über rassistische Vorurteile hinausgeht. Der Oberste Gerichtshof der USA könnte bald den Fall eines Verurteilten aus Wisconsin aufgreifen, der sagt, sein Recht auf ein ordnungsgemäßes Verfahren sei verletzt worden, als der ihn verurteilende Richter COMPAS konsultierte, weil die Funktionsweise des Systems für den Angeklagten undurchsichtig war. Potenzielle Probleme mit anderen automatisierten Entscheidungsfindungssystemen (ADM) bestehen auch außerhalb des Justizsystems. Anhand von Online-Persönlichkeitstests helfen ADMs festzustellen, ob jemand der Richtige für eine Stelle ist. Kreditbewertungsalgorithmen spielen eine enorme Rolle dabei, ob Sie eine Hypothek, eine Kreditkarte oder sogar die kostengünstigsten Handyangebote erhalten.

Es ist nicht unbedingt eine schlechte Idee, Risikobewertungssysteme wie COMPAS zu verwenden. In vielen Fällen können ADM-Systeme die Fairness erhöhen. Die menschliche Entscheidungsfindung ist manchmal so inkohärent, dass sie beaufsichtigt werden muss, um sie mit unseren Gerechtigkeitsstandards in Einklang zu bringen. Wie eine besonders beunruhigende Studie zeigte, gab es Bewährungsausschüsse wahrscheinlicher, Sträflinge zu befreien wenn die Richter gerade eine Essenspause gehabt hätten. Das war den Richtern wohl nie in den Sinn gekommen. Ein ADM-System könnte solche Inkonsistenzen entdecken und den Prozess verbessern.

Aber oft wissen wir nicht genug über die Funktionsweise von ADM-Systemen, um zu wissen, ob sie gerechter sind als Menschen allein. Zum Teil, weil die Systeme Entscheidungen auf der Grundlage zugrunde liegender Annahmen treffen, die selbst den Designern der Systeme nicht klar sind, ist es nicht unbedingt möglich festzustellen, welche Algorithmen voreingenommen sind und welche nicht. Und selbst wenn die Antwort klar erscheint, wie in den Ergebnissen von ProPublica zu COMPAS, ist die Wahrheit manchmal komplizierter.

Der Gesetzgeber, die Gerichte und eine informierte Öffentlichkeit sollten entscheiden, welche Prioritäten wir Algorithmen geben wollen.

Was sollten wir tun, um ADMs besser in den Griff zu bekommen? Demokratische Gesellschaften brauchen mehr Kontrolle über solche Systeme, als sie es bisher getan haben. AlgorithmWatch, eine in Berlin ansässige gemeinnützige Interessenvertretung, die ich zusammen mit einem Informatiker, einem Rechtsphilosophen und einem Journalistenkollegen gegründet habe, hat sich zum Ziel gesetzt, Menschen dabei zu helfen, die Auswirkungen solcher Systeme zu verstehen. Dass die meisten ADM-Verfahren für die Betroffenen Black Boxes sind, ist kein Naturgesetz. Es muss enden, behaupten wir in unserem Manifest . Dennoch unterscheidet sich unsere Einstellung zu diesem Thema von vielen Kritikern – weil wir befürchten, dass die Technologie zu Unrecht dämonisiert werden könnte. Wichtig ist, dass Gesellschaften und nicht nur Algorithmenhersteller die Werturteile treffen, die in ADMs einfließen.

Fairnessmaßnahmen

COMPAS ermittelt seine Risiko-Scores aus den Antworten zu a Fragebogen die die kriminelle Vorgeschichte und die Einstellungen eines Angeklagten zu Kriminalität untersucht. Führt dies zu verzerrten Ergebnissen?

Nach der Untersuchung von ProPublica bestritt Northpointe, das Unternehmen, das COMPAS entwickelt hat, die Geschichte und argumentierte, dass die Journalisten die Daten falsch interpretiert hätten. So auch drei Kriminalrechtsforscher , einschließlich einer von einer Justizreformorganisation. Wer hat Recht – die Reporter oder die Forscher? Krishna Gummadi, Leiter der Forschungsgruppe Vernetzte Systeme am Max-Planck-Institut für Softwaresysteme in Saarbrücken, Deutschland, gibt eine überraschende Antwort: Sie alle sind es.

Laut Gummadi, der die Fairness von Algorithmen umfassend erforscht hat, widersprechen sich die Ergebnisse von ProPublica und Northpointe nicht. Sie unterscheiden sich, weil sie unterschiedliche Maßstäbe für Fairness verwenden.

Bei richtiger Anwendung bieten Strafjustizalgorithmen die Chance einer Generation, vielleicht sogar eines ganzen Lebens, das Strafmaß zu reformieren und Masseninhaftierungen auf wissenschaftliche Weise aufzulösen.

Stellen Sie sich vor, Sie entwerfen ein System, um vorherzusagen, welche Kriminellen erneut straffällig werden. Eine Option ist die Optimierung auf True Positives, was bedeutet, dass Sie so viele Personen wie möglich identifizieren, die einem hohen Risiko ausgesetzt sind, eine weitere Straftat zu begehen. Ein Problem bei diesem Ansatz besteht darin, dass er tendenziell die Anzahl falsch positiver Ergebnisse erhöht: Personen, die zu Unrecht als wahrscheinliche Wiederholungstäter eingestuft werden. Das Zifferblatt kann so eingestellt werden, dass es so wenig falsch positive Ergebnisse wie möglich liefert, aber das führt tendenziell zu mehr falsch negativen Ergebnissen: wahrscheinliche Wiederholungstäter, die durchschlüpfen und eine mildere Behandlung als gerechtfertigt erhalten.

Das Erhöhen der Inzidenz von True Positives oder das Senken von False Positives sind beides Möglichkeiten, um ein statistisches Maß zu verbessern, das als positiver prädiktiver Wert oder PPV bekannt ist. Das ist der Prozentsatz aller positiven Ergebnisse, die wahr sind.

Wie Gummadi betont, verglich ProPublica die Falsch-Positiv-Raten und die Falsch-Negativ-Raten für Schwarze und Weiße und stellte fest, dass sie zugunsten von Weißen verzerrt waren. Northpointe hingegen verglich die PPVs für verschiedene Rassen und stellte fest, dass sie ähnlich waren. Zum Teil, weil sich die Rückfallraten für Schwarze und Weiße tatsächlich unterscheiden, ist es mathematisch wahrscheinlich, dass die positiven Vorhersagewerte für Menschen in jeder Gruppe ähnlich sind, während die Raten falsch negativer Ergebnisse nicht ähnlich sind.

Dies sagt uns unter anderem, dass die breitere Gesellschaft – Gesetzgeber, Gerichte, eine informierte Öffentlichkeit – entscheiden sollte, welche Prioritäten solche Algorithmen haben sollen. Sind wir in erster Linie daran interessiert, so wenig Risiko wie möglich einzugehen, dass jemand auf Kaution verzichtet oder erneut straffällig wird? Welche Kompromisse sollten wir eingehen, um Gerechtigkeit zu gewährleisten und die massiven sozialen Kosten der Inhaftierung zu senken?

Unabhängig davon, wie die Zifferblätter eingestellt sind, wird jeder Algorithmus voreingenommen sein – schließlich trifft er eine Vorhersage auf der Grundlage verallgemeinerter Statistiken, nicht auf der individuellen Situation einer Person. Aber wir können solche Systeme immer noch verwenden, um Entscheidungen zu lenken, die klüger und gerechter sind als die, die Menschen normalerweise alleine treffen.

Die Kontroverse um die Stop-and-Frisk-Praktiken der New Yorker Polizeibehörde zeigt, warum. Zwischen Januar 2004 und Juni 2012 führte die New Yorker Polizei 4,4 Millionen Kontrollen im Rahmen eines Programms durch, das es den Beamten ermöglichte, Menschen auf der Straße vorübergehend festzunehmen, zu befragen und nach Waffen und anderer Schmuggelware zu durchsuchen. Aber tatsächlich führten 88 Prozent der 4,4 Millionen Stopps zu keinen weiteren Maßnahmen – was bedeutet, dass eine große Mehrheit der Stopps nichts falsch gemacht hat New York Times sagte in einem Leitartikel, der die Praxis entschlüsselt. Mehr noch: In etwa 83 Prozent der Fälle war die angehaltene Person schwarz oder hispanisch, obwohl die beiden Gruppen etwas mehr als die Hälfte der Bevölkerung ausmachten. Dieses durch Datenanalyse beleuchtete Beispiel menschlicher Voreingenommenheit erinnert daran, dass ADM-Systeme eine positive Rolle in der Strafjustiz spielen könnten. Richtig eingesetzt, bieten sie die Chance einer ganzen Generation und vielleicht eines ganzen Lebens, das Strafmaß zu reformieren und Masseninhaftierungen auf wissenschaftliche Weise aufzulösen, so Anthony Flores, Christopher Lowenkamp und Kristin Bechtel, drei Forscher, die Fehler in der Methodik von ProPublica gefunden haben verwendet, um COMPAS zu analysieren. Die Autoren befürchten, dass diese Gelegenheit aufgrund von Fehlinformationen und Missverständnissen über die Technologie entgleitet.

Aber wenn wir akzeptieren, dass Algorithmen das Leben gerechter machen könnten, wenn sie gut gestaltet sind, wie können wir dann wissen, ob sie so gestaltet sind?

Demokratische Gesellschaften sollten jetzt daran arbeiten, festzulegen, wie viel Transparenz sie von ADM-Systemen erwarten. Brauchen wir neue Vorschriften für die Software, um sicherzustellen, dass sie ordnungsgemäß überprüft werden kann? Gesetzgeber, Richter und die Öffentlichkeit sollten mitbestimmen können, welche Fairnessmaßnahmen von Algorithmen priorisiert werden. Aber wenn die Algorithmen diese Werturteile nicht wirklich widerspiegeln, wer wird dann zur Rechenschaft gezogen?

Dies sind die schwierigen Fragen, die wir beantworten müssen, wenn wir erwarten, von Fortschritten in der algorithmischen Technologie zu profitieren.

Matthias Spielkamp ist Geschäftsführer von AlgorithmWatch, einer Interessenvertretung, die die Risiken und Chancen automatisierter Entscheidungsfindung analysiert.

verbergen