211service.com
Predictive-Policing-Algorithmen sind rassistisch. Sie müssen abgebaut werden.
Franziska Barczyk
Yeshimabeit Milner war in der High School, als sie zum ersten Mal sah, wie Kinder, die sie kannte, mit Handschellen gefesselt und in Polizeiautos gestopft wurden. Es war der 29. Februar 2008, und der Rektor einer nahe gelegenen Schule in Miami, in der mehrheitlich Haitianer und Afroamerikaner leben, hatte einen seiner Schüler in einen Würgegriff gelegt. Am nächsten Tag veranstalteten mehrere Dutzend Kinder eine friedliche Demonstration. Es lief nicht gut.
An diesem Abend begann Miamis NBC 6 News at Six mit einem Segment namens Chaos on Campus. (Da ist ein Clip auf YouTube .) Die Spannungen an der Edison Senior High sind hoch, nachdem ein Kampf um Rechte in einem Kampf mit dem Gesetz endet, hieß es in der Sendung. Schnitt zu verschwommenen Telefonaufnahmen von schreienden Teenagern: Das Chaos, das Sie sehen, ist eine Schlägerei in der Cafeteria der Schule.
Studenten erzählten Reportern, dass die Polizei sie mit Schlagstöcken geschlagen, auf den Boden geworfen und gegen Wände gestoßen habe. Die Polizei behauptete, sie seien diejenigen gewesen, die angegriffen wurden – mit Wasserflaschen, Limonaden, Milch und so weiter – und forderte Notfallunterstützung. Etwa 25 Studenten wurden festgenommen, und viele wurden wegen mehrerer Verbrechen angeklagt, darunter gewaltsamer Widerstand gegen die Festnahme. Milner erinnert sich, dass sie im Fernsehen zugesehen und Kinder gesehen hat, die sie zur Grundschule gegangen war, als sie in Gewahrsam genommen wurden. Es war so verrückt, sagt sie.
„Es gibt eine lange Geschichte von Daten, die gegen schwarze Gemeinschaften bewaffnet werden.“
Für Milner waren die Ereignisse dieses Tages und die langfristigen Auswirkungen auf die Verhafteten von entscheidender Bedeutung. Bald darauf, noch während der Schulzeit, beschäftigte sie sich mit datenbasiertem Aktivismus und dokumentierte die Erfahrungen von Kommilitonen mit rassistischer Polizeiarbeit. Heute ist sie Direktorin von Daten für Schwarze Leben , eine Basisorganisation für digitale Rechte, die sie 2017 mitbegründet hat. Was sie als Teenager gelernt hat, hat sie dazu gebracht, sich dagegen zu wehren Vorurteile im Strafrechtssystem und die Demontage dessen, was sie die Schule-zu-Gefängnis-Pipeline nennt. Es gibt eine lange Geschichte der Bewaffnung von Daten gegen schwarze Gemeinschaften, sagt sie.
Ungleichheit und der Missbrauch von Polizeimacht sind nicht gerecht auf den Straßen spielen oder bei Schulunruhen. Für Milner und andere Aktivisten liegt der Fokus nun darauf, wo das größte Potenzial für lang anhaltenden Schaden besteht: Predictive Policing Tools und der Missbrauch von Daten durch Polizeikräfte. Eine Reihe von Studien haben gezeigt, dass diese Tools verewigen systemisch Rassismus , und doch wissen wir noch sehr wenig darüber, wie sie funktionieren, wer sie zu welchem Zweck einsetzt. All dies muss sich ändern, bevor eine ordnungsgemäße Abrechnung stattfinden kann. Zum Glück kann sich das Blatt wenden.
Es gibt zwei große Arten von Predictive-Policing-Tools. Standortbasierte Algorithmen nutzen Verbindungen zwischen Orten, Ereignissen und historischen Kriminalitätsraten, um vorherzusagen, wo und wann Verbrechen mit größerer Wahrscheinlichkeit stattfinden – beispielsweise bei bestimmten Wetterbedingungen oder bei großen Sportveranstaltungen. Die Tools identifizieren Hot Spots, und die Polizei plant Patrouillen um diese Hinweise herum. Einer der gebräuchlichsten, genannt PredPol, der von verwendet wird Dutzende von Städten in den USA , unterteilt Standorte in 500 x 500 Fuß große Blöcke und aktualisiert seine Vorhersagen im Laufe des Tages – eine Art Wettervorhersage für Kriminalität.
Andere Tools stützen sich auf Daten über Personen wie Alter, Geschlecht, Familienstand, Geschichte des Drogenmissbrauchs und Vorstrafen, um vorherzusagen, wer eine hohe Wahrscheinlichkeit hat, an zukünftigen kriminellen Aktivitäten beteiligt zu sein. Diese personenbezogenen Instrumente können entweder von der Polizei eingesetzt werden, um einzugreifen, bevor eine Straftat begangen wird, oder von Gerichten, um während der vorgerichtlichen Anhörung oder der Urteilsverkündung festzustellen, ob eine festgenommene Person wahrscheinlich erneut straffällig wird. Beispielsweise gibt ein Tool namens COMPAS, das in vielen Gerichtsbarkeiten verwendet wird, um Entscheidungen über die vorgerichtliche Entlassung und Verurteilung zu treffen, eine statistische Punktzahl zwischen 1 und 10 aus, um zu quantifizieren, wie wahrscheinlich es ist, dass eine Person im Falle einer Freilassung erneut festgenommen wird.
Das Problem liegt in den Daten, von denen sich die Algorithmen ernähren. Zum einen werden Vorhersagealgorithmen leicht durch Festnahmeraten verzerrt. Nach Angaben des US-Justizministeriums sind Sie es mehr als doppelt so häufig verhaftet werden wenn du schwarz bist, als wenn du weiß bist. Eine schwarze Person wird fünfmal häufiger ohne triftigen Grund angehalten als eine weiße Person. Die Massenverhaftung an der Edison Senior High war nur ein Beispiel für eine Art unverhältnismäßiger Polizeireaktion, die in schwarzen Gemeinden nicht ungewöhnlich ist.
Die Kinder, die Milner bei der Verhaftung beobachtete, wurden aufgrund dieser Verhaftungsakte auf eine lebenslange voreingenommene Beurteilung eingestellt. Aber nicht nur ihr eigenes Leben war an diesem Tag betroffen. Die durch ihre Festnahmen generierten Daten wären in Algorithmen eingespeist worden, die überproportional auf alle jungen Schwarzen abzielen würden, die die Algorithmen bewerteten. Obwohl die Algorithmen die Rasse per Gesetz nicht als Prädiktor verwenden, fungieren andere Variablen wie der sozioökonomische Hintergrund, die Bildung und die Postleitzahl als Stellvertreter. Auch ohne explizite Berücksichtigung der Rasse sind diese Tools rassistisch.
Aus diesem Grund ist für viele das Konzept der vorausschauenden Polizeiarbeit selbst das Problem. Der Schriftsteller und Akademiker Dorothy Roberts , der Jura und soziale Rechte an der University of Pennsylvania studiert, brachte es gut auf den Punkt Online-Podiumsdiskussion im Juni. Bei Rassismus ging es immer darum, vorherzusagen, bestimmte Rassengruppen so erscheinen zu lassen, als seien sie dazu prädisponiert, schlechte Dinge zu tun, und rechtfertigen es daher, sie zu kontrollieren, sagte sie.
Risikobewertungen sind seit Jahrzehnten Teil des Strafjustizsystems. Aber Polizeibehörden und Gerichte haben in den letzten Jahren aus zwei Hauptgründen mehr Gebrauch von automatisierten Tools gemacht. Erstens haben Budgetkürzungen zu einem Effizienzschub geführt. Die Leute rufen an, um die Polizei zu defundieren, aber sie wurden bereits defundiert, sagt Milner. Städte gehen seit Jahren pleite und ersetzen Polizisten durch Algorithmen. Genaue Zahlen sind schwer zu bekommen, aber es wird angenommen, dass Vorhersagewerkzeuge von Polizeikräften oder verwendet werden Gerichte in den meisten US-Bundesstaaten.
Der zweite Grund für den verstärkten Einsatz von Algorithmen ist der weit verbreitete Glaube, sie seien objektiver als Menschen: Sie wurden ursprünglich eingeführt, um die Entscheidungsfindung in der Strafjustiz gerechter zu gestalten. Ab den 1990er Jahren verwendeten frühe automatisierte Techniken regelbasierte Entscheidungsbäume, aber heute erfolgt die Vorhersage mit maschinellem Lernen.
CLAY BANKS ÜBER UNSPLASHNoch zunehmende Beweise schlägt vor, dass menschliche Vorurteile in diese Tools eingebrannt wurden, weil die maschinellen Lernmodelle auf voreingenommenen Polizeidaten trainiert werden. Weit davon entfernt, Rassismus zu vermeiden, sind sie möglicherweise einfach besser darin, ihn zu verbergen. Viele Kritiker sehen diese Tools mittlerweile als eine Form von Tech-Waschen , wo eine Fassade der Objektivität Mechanismen verdeckt, die Ungerechtigkeiten in der Gesellschaft aufrechterhalten.
Es ist wirklich nur in den letzten Jahren, dass sich die Ansichten der Menschen über diese Tools von etwas, das Vorurteile lindern könnte, zu etwas, das sie verankern könnte, gewandelt haben, sagt er Alice Xiang , ein Anwalt und Datenwissenschaftler, der die Forschung zu Fairness, Transparenz und Rechenschaftspflicht bei der Partnership on AI leitet. Diese Vorurteile haben sich verstärkt, seit die erste Generation von Vorhersagetools vor 20 oder 30 Jahren auf den Markt kam. Wir haben zuerst schlechte Daten genommen und dann Tools verwendet, um sie noch schlimmer zu machen, sagt er Katy Weathington , der algorithmische Voreingenommenheit an der University of Colorado Boulder studiert. Es war immer und immer wieder eine sich selbst verstärkende Schleife.
Die Dinge könnten noch schlimmer werden. Im Gefolge der Proteste gegen die Voreingenommenheit der Polizei Nach dem Tod von George Floyd durch einen Polizisten in Minneapolis verdoppeln einige Polizeidienststellen ihren Einsatz von Vorhersagewerkzeugen. Vor einem Monat schickte der Kommissar der New Yorker Polizeibehörde, Dermot Shea, einen Brief an seine Beamten. Im gegenwärtigen Klima müssen wir die Kriminalität anders bekämpfen, schrieb er. Wir werden es mit weniger Straßenstopps tun – und Sie vielleicht weniger Gefahren und Haftung aussetzen – während wir Daten, Informationen und die gesamte uns zur Verfügung stehende Technologie besser nutzen … Das bedeutet für die NYPD, dass wir unsere Präzision verdoppeln werden – polizeiliche Bemühungen.
Die Polizei mag die Idee von Tools, die ihnen einen Hinweis geben und es ihnen ermöglichen, früh einzugreifen, weil sie glauben, dass dies die Kriminalitätsrate niedrig hält, sagt Raschida Richardson , Direktor für Politikforschung am AI Now Institute. In der Praxis kann sich ihre Verwendung jedoch wie Belästigung anfühlen. Forscher haben herausgefunden, dass einige Polizeidienststellen den Beamten meistgesuchte Listen von Personen geben, die das Tool als Personen mit hohem Risiko identifiziert. Dies kam zum ersten Mal ans Licht, als Menschen in Chicago berichteten, dass die Polizei an ihre Türen geklopft und ihnen gesagt hatte, dass sie beobachtet würden. In anderen Staaten, sagt Richardson, warnte die Polizei Personen auf den Listen, dass sie einem hohen Risiko ausgesetzt seien, in Bandenkriminalität verwickelt zu werden, und forderte sie auf, Maßnahmen zu ergreifen, um dies zu vermeiden. Wenn sie später wegen irgendeiner Art von Verbrechen festgenommen wurden, nutzten die Staatsanwälte die vorherige Warnung, um höhere Anklagen zu erheben. Es ist fast wie eine digitale Form der Falle, bei der man den Leuten vage Informationen gibt und sie ihnen dann vorhält, sagt sie.
'Es ist fast wie eine digitale Form der Falle.'
Ebenso Studien – einschließlich eine, die vom Centre for Data Ethics and Innovation der britischen Regierung in Auftrag gegeben wurde letztes Jahr – deuten darauf hin, dass die Identifizierung bestimmter Gebiete als Hot Spots die Beamten darauf vorbereitet, auf Patrouillen mit Schwierigkeiten zu rechnen, was dazu führt, dass sie Menschen dort eher aus Vorurteilen als aus Notwendigkeit anhalten oder festnehmen.
Ein weiteres Problem mit den Algorithmen besteht darin, dass viele an weißer Bevölkerung außerhalb der USA trainiert wurden, teilweise weil Strafregister in verschiedenen US-Gerichtsbarkeiten schwer zu bekommen sind. Static 99, ein Tool zur Vorhersage von Rückfällen bei Sexualstraftätern, wurde in Kanada trainiert, wo nur etwa 3 % der Bevölkerung Schwarze sind, verglichen mit 12 % in den USA. Mehrere andere Tools, die in den USA verwendet werden, wurden in Europa entwickelt, wo 2 % der Bevölkerung schwarz sind. Aufgrund der Unterschiede in den sozioökonomischen Bedingungen zwischen Ländern und Bevölkerungsgruppen sind die Instrumente an Orten, an denen sie nicht geschult wurden, wahrscheinlich weniger genau. Darüber hinaus verwenden einige vor vielen Jahren trainierte Pretrial-Algorithmen immer noch Prädiktoren, die veraltet sind. Einige sagen beispielsweise immer noch voraus, dass ein Angeklagter, der kein Festnetztelefon hat, weniger wahrscheinlich vor Gericht erscheint.
Aber funktionieren diese Tools, wenn auch unvollkommen? Es kommt darauf an, was man unter Arbeit versteht. Im Allgemeinen ist es praktisch unmöglich, den Einsatz von Predictive-Policing-Instrumenten von anderen Faktoren zu trennen, die sich auf Kriminalitäts- oder Inhaftierungsraten auswirken. Dennoch haben eine Handvoll kleiner Studien begrenzte Schlussfolgerungen gezogen. Einige zeigen Anzeichen dafür, dass der Einsatz von Risikobewertungsinstrumenten durch die Gerichte geringfügige positive Auswirkungen hatte. EIN Studie von 2016 über ein maschinelles Lerntool, das in Pennsylvania verwendet wird, um Bewährungsentscheidungen zu informieren fand keine Beweise dafür, dass es die öffentliche Sicherheit gefährdete (d. h. es wurden Personen mit hohem Risiko korrekt identifiziert, die nicht auf Bewährung entlassen werden sollten) und einige Beweise dafür, dass es gewaltfreie Personen identifizierte, die sicher freigelassen werden könnten.
Rashida Richardson ist Direktorin für Politikforschung am AI Now Institute. Zuvor leitete sie bei der American Civil Liberties Union die Arbeit zu rechtlichen Fragen rund um Datenschutz und Überwachung.
MIT FREUNDLICHER GENEHMIGUNG VON AI NOWEine andere Studie aus dem Jahr 2018 hat sich das angesehen ein Werkzeug, das von den Gerichten in Kentucky verwendet wird und stellten fest, dass, obwohl die Risikobewertungen zwischen den Bezirken uneinheitlich interpretiert wurden, was zu Diskrepanzen bei der Freilassung und der Nichtentlassung führte, das Tool die Inhaftierungsraten leicht reduziert hätte, wenn es richtig verwendet worden wäre. Und die American Civil Liberties Union berichtet, dass ein Bewertungsinstrument, das im Rahmen des New Jersey Criminal Justice Reform Act von 2017 angenommen wurde, zu a 20 % Rückgang der Zahl der Menschen, die inhaftiert sind, während sie auf den Prozess warten .
Befürworter solcher Tools sagen, dass Algorithmen fairer sein können als menschliche Entscheidungsträger, oder zumindest Unfairness explizit machen. In vielen Fällen, insbesondere bei Anhörungen vor Gerichtsverfahren, wird von den Richtern erwartet, dass sie in kurzer Zeit viele Dutzend Fälle durchgehen. In einer Studie über vorgerichtliche Anhörungen in Cook County, Illinois, fanden Forscher heraus, dass Richter durchschnittlich nur 30 Sekunden damit verbrachten, jeden Fall zu prüfen.
Unter solchen Bedingungen ist es vernünftig anzunehmen, dass Richter voreilige Entscheidungen treffen, die zumindest teilweise von ihren persönlichen Vorurteilen getrieben werden. Melissa Hamilton an der University of Surrey in Großbritannien, die sich mit rechtlichen Fragen rund um Risikobewertungsinstrumente befasst, steht deren Einsatz in der Praxis kritisch gegenüber, glaubt jedoch, dass sie im Prinzip bessere Arbeit leisten können als Menschen. Die Alternative ist das Black-Box-Gehirn eines menschlichen Entscheidungsträgers, sagt sie.
Aber es gibt ein offensichtliches Problem. Die Verhaftungsdaten, die zum Trainieren von Vorhersagewerkzeugen verwendet werden, geben kein genaues Bild krimineller Aktivitäten wieder. Festnahmedaten werden verwendet, weil sie von den Polizeidienststellen aufgezeichnet werden. Aber Verhaftungen führen nicht zwangsläufig zu Verurteilungen. Wir versuchen, Menschen zu messen, die Verbrechen begehen, aber alles, was wir haben, sind Daten über Verhaftungen, sagt Xiang.
„Wir versuchen, Personen zu messen, die Verbrechen begehen, aber alles, was wir haben, sind Daten über Verhaftungen.“
Darüber hinaus kodieren Verhaftungsdaten Muster rassistischen Polizeiverhaltens. Infolgedessen sagen sie eher ein hohes Kriminalitätspotenzial in Minderheitenvierteln oder unter Minderheiten voraus. Selbst wenn Verhaftungs- und Kriminalitätsdaten übereinstimmen, gibt es eine Vielzahl sozioökonomischer Gründe, warum bestimmte Bevölkerungsgruppen und bestimmte Stadtteile historisch höhere Kriminalitätsraten aufweisen als andere. Die Einspeisung dieser Daten in Vorhersagewerkzeuge ermöglicht es der Vergangenheit, die Zukunft zu gestalten.
Einige Tools verwenden auch Daten darüber, wo ein Anruf bei der Polizei getätigt wurde, was die tatsächlichen Kriminalitätsmuster noch schwächer widerspiegelt als Festnahmedaten, und noch mehr durch rassistische Motive verzerrt . Erwägen der Fall von Amy Cooper , die die Polizei rief, nur weil ein schwarzer Vogelbeobachter, Christian Cooper, sie bat, ihren Hund im New Yorker Central Park an die Leine zu nehmen.
Nur weil es einen Anruf gibt, dass ein Verbrechen stattgefunden hat, heißt das noch lange nicht, dass tatsächlich ein Verbrechen stattgefunden hat, sagt Richardson. Wenn der Anruf zu einem Datenpunkt wird, um die Entsendung der Polizei in eine bestimmte Nachbarschaft zu rechtfertigen oder sogar um eine bestimmte Person anzugreifen, erhalten Sie eine Rückkopplungsschleife, in der datengesteuerte Technologien diskriminierende Polizeiarbeit legitimieren.
Da immer mehr Kritiker argumentieren, dass diese Tools ihren Zweck nicht erfüllen, werden Forderungen nach einer Art algorithmischer positiver Aktion laut, bei der die Voreingenommenheit in den Daten in irgendeiner Weise ausgeglichen wird. Eine Möglichkeit, dies für Risikobewertungsalgorithmen zu tun, wäre theoretisch die Verwendung unterschiedlicher Risikoschwellen – drei Verhaftungen für eine schwarze Person könnten auf das gleiche Risikoniveau hinweisen wie beispielsweise zwei Verhaftungen für eine weiße Person.
Dies war einer der Ansätze, die in einer Studie untersucht wurden veröffentlichen D im Mai von Jennifer Skeem, die Public Policy an der University of California, Berkeley, studiert, und Christopher Lowenkamp, sozialwissenschaftlicher Analyst am Verwaltungsbüro der US-Gerichte in Washington, DC. Das Paar untersuchte drei verschiedene Optionen, um die Verzerrung in Algorithmen zu beseitigen, die das Rückfallrisiko für rund 68.000 Teilnehmer bewertet hatten, die halb weiß und halb schwarz waren. Sie fanden heraus, dass das beste Gleichgewicht zwischen den Rassen erreicht wurde, wenn Algorithmen die Rasse explizit berücksichtigten – was mit bestehenden Tools gesetzlich verboten ist – und Schwarzen eine höhere Schwelle als Weißen zuwiesen, um als hohes Risiko eingestuft zu werden.
Natürlich ist diese Idee ziemlich umstritten. Es bedeutet im Wesentlichen, die Daten zu manipulieren, um einen Teil der Verbrechen aufgrund der Rasse des Täters zu vergeben, sagt Xiang: Das ist etwas, das den Menschen sehr unangenehm ist. Die Idee, Mitglieder verschiedener Gruppen an unterschiedliche Standards zu halten, widerspricht dem Sinn für Fairness vieler Menschen, selbst wenn dies auf eine Weise getan wird, die historische Ungerechtigkeit ansprechen soll. (Sie können diesen Kompromiss selbst in unserem ausprobieren interaktive Geschichte über algorithmische Voreingenommenheit im Strafrechtssystem , mit der Sie mit einer vereinfachten Version des COMPAS-Tools experimentieren können.)
Zu einer solchen Diskussion ist das US-Rechtssystem jedenfalls nicht bereit. Die Rechtsberufe sind bei diesen Risikobewertungsinstrumenten weit hinterher, sagt Hamilton. Sie hat in den letzten Jahren Anwältinnen und Anwälte geschult und festgestellt, dass Strafverteidiger oft gar nicht wissen, dass ihre Mandanten so eingeschätzt werden. Wenn Sie sich dessen nicht bewusst sind, werden Sie es nicht herausfordern, sagt sie.
Das mangelnde Bewusstsein kann auf die Trübheit des Gesamtbildes zurückgeführt werden: Die Strafverfolgungsbehörden waren so verschwiegen, wie sie diese Technologien einsetzen, dass es für jeden sehr schwer ist, zu beurteilen, wie gut sie funktionieren. Selbst wenn Informationen verfügbar sind, ist es schwierig, ein System mit einem bestimmten Ergebnis zu verknüpfen. Und die wenigen detaillierten Studien, die durchgeführt wurden, konzentrieren sich auf bestimmte Instrumente und ziehen Schlussfolgerungen, die möglicherweise nicht auf andere Systeme oder Rechtsordnungen zutreffen.
Es ist nicht einmal klar, welche Tools verwendet werden und wer sie verwendet. Wir wissen nicht, wie viele Polizeidienststellen Predictive Policing eingesetzt haben oder derzeit verwenden, sagt Richardson.
Zum Beispiel kam die Tatsache, dass die Polizei in New Orleans ein von der geheimen Data-Mining-Firma Palantir entwickeltes Vorhersagetool verwendete, erst nach einem ans Licht Untersuchung von The Vergine . Und öffentliche Aufzeichnungen zeigen, dass die Die New Yorker Polizei hat Palantir 2,5 Millionen Dollar gezahlt sagt aber nicht wofür.
GETTYDie meisten Tools werden von einer bunt zusammengewürfelten Mischung aus kleinen Firmen, staatlichen Behörden und Forschern an Polizeidienststellen lizenziert. Einige sind proprietäre Systeme; manche nicht. Sie alle arbeiten auf leicht unterschiedliche Weise. Auf der Grundlage der Ergebnisse der Tools stellen die Forscher so gut wie möglich nach, was ihrer Meinung nach vor sich geht.
Hamid Khan, ein Aktivist, der jahrelang dafür gekämpft hat, dass die Polizei von Los Angeles ein Vorhersagetool namens PredPol fallen lässt, forderte eine Überprüfung des Tools durch den Generalinspektor der Polizeibehörde. Gemäß Khan , im März 2019 sagte der Generalinspekteur, dass die Aufgabe unmöglich sei, weil das Tool so kompliziert sei.
In Großbritannien versuchte Hamilton, sich ein Tool namens OASys anzusehen, das – wie COMPAS – häufig bei vorgerichtlichen Anhörungen, Verurteilungen und Bewährungen verwendet wird. Das Unternehmen, das OASys herstellt, führt seine eigenen Audits durch und hat nicht viele Informationen darüber veröffentlicht, wie es funktioniert, sagt Hamilton. Sie hat wiederholt versucht, Informationen von den Entwicklern zu erhalten, aber sie reagierten nicht mehr auf ihre Anfragen. Sie sagt, ich glaube, sie haben in meinen Studien nachgeschaut und entschieden: Nein.
Der bekannte Refrain von Unternehmen, die diese Tools herstellen, ist, dass sie keine Informationen weitergeben können, da dies Geschäftsgeheimnisse oder vertrauliche Informationen über Personen preisgeben würde, die die Tools bewertet haben.
All dies bedeutet, dass nur eine Handvoll von ihnen im Detail untersucht wurde, obwohl einige Informationen über einige von ihnen verfügbar sind. Static 99 wurde von einer Gruppe von Datenwissenschaftlern entwickelt, die Details über seine Algorithmen teilten. Public Safety Assessment, eines der gängigsten Tools zur Risikobewertung vor Gerichtsverfahren in den USA, wurde ursprünglich von Arnold Ventures, einer privaten Organisation, entwickelt, aber es stellte sich heraus, dass es einfacher war, Gerichtsbarkeiten davon zu überzeugen, es zu übernehmen, wenn einige Details über seine Funktionsweise bekannt wurden , sagt Hamilton. Dennoch haben sich die Hersteller beider Tools geweigert, die Datensätze freizugeben, die sie für das Training verwendet haben, das erforderlich wäre, um ihre Funktionsweise vollständig zu verstehen.
Der Kauf eines Risikobeurteilungsgerätes unterliegt den gleichen Vorschriften wie der Kauf eines Schneepfluges.
Es gibt nicht nur wenig Einblick in die Mechanismen innerhalb dieser Tools, sondern Kritiker sagen, dass Polizeibehörden und Gerichte nicht genug tun, um sicherzustellen, dass sie Tools kaufen, die wie erwartet funktionieren. Für das NYPD unterliegt der Kauf eines Risikobewertungsinstruments den gleichen Vorschriften wie der Kauf eines Schneepflugs, sagt Milner.
Die Polizei kann mit voller Kraft Technik kaufen, ohne zu wissen, was sie verwendet, ohne Zeit zu investieren, um sicherzustellen, dass sie sicher verwendet werden kann, sagt Richardson. Und dann gibt es keine laufende Prüfung oder Analyse, um festzustellen, ob es überhaupt funktioniert.
Bemühungen, dies zu ändern, stoßen auf Widerstand. Letzten Monat New York City bestanden das Gesetz über die öffentliche Aufsicht über die Überwachungstechnologie (POST). , die von der NYPD verlangt, alle ihre Überwachungstechnologien aufzulisten und zu beschreiben, wie sie sich auf die Einwohner der Stadt auswirken. Die NYPD ist die größte Polizei in den USA, und die Befürworter des Gesetzentwurfs hoffen, dass die Offenlegung auch Aufschluss darüber geben wird, welche Technologie andere Polizeidienststellen im Land verwenden. Aber so weit zu kommen war schwer. Richardson, der sich für die Gesetzesvorlage einsetzte, hatte seit 2017 zugesehen, wie sie in der Schwebe saß, bis weit verbreitete Forderungen nach einer Polizeireform in den letzten Monaten das Meinungsbild kippten.
Es war frustrierend, grundlegende Informationen über digitale Polizeipraktiken in New York zu finden, die Richardson dazu veranlassten, an dem Gesetzentwurf zu arbeiten. Die Polizei hatte sich gewehrt, als sie und ihre Kollegen mehr über den Einsatz von Überwachungsinstrumenten durch die NYPD erfahren wollten. Anfragen nach dem Freedom of Information Act und Rechtsstreitigkeiten der New York Civil Liberties Union funktionierten nicht. 2015 schlugen sie mit Hilfe des Stadtratsmitglieds Daniel Garodnik Gesetze vor, die das Problem erzwingen würden.
Wir erlebten erhebliche Gegenreaktionen seitens der NYPD, einschließlich einer hässlichen PR-Kampagne, die darauf hinwies, dass das Gesetz den Terroristen die Karte der Stadt geben würde, sagt Richardson. Es gab keine Unterstützung vom Bürgermeister und einem feindseligen Stadtrat.
Mit seinen ethischen Problemen und mangelnder Transparenz ist der aktuelle Stand von Predictive Policing ein Chaos. Aber was kann man dagegen tun? Xiang und Hamilton glauben, dass algorithmische Werkzeuge das Potenzial haben, fairer als Menschen zu sein, solange sich alle, die an der Entwicklung und Nutzung beteiligt sind, ihrer Grenzen bewusst sind und bewusst daran arbeiten, sie fair zu gestalten.
Aber diese Herausforderung ist nicht nur eine technische. Es muss abgewogen werden, was gegen Verzerrungen in den Daten zu tun ist, denn das wird bleiben. Es trägt die Narben von Generationen der Polizeiarbeit mit sich, sagt Weathington.
Und was es bedeutet, einen fairen Algorithmus zu haben, können Informatiker nicht beantworten, sagt Xiang. Es ist nicht wirklich etwas, was jemand beantworten kann. Sie fragt, wie ein faires Strafjustizsystem aussehen könnte. Selbst wenn Sie Jurist sind, selbst wenn Sie Ethiker sind, können Sie darauf keine eindeutige Antwort geben.
Dies sind grundlegende Fragen, die nicht in dem Sinne lösbar sein werden, wie ein mathematisches Problem lösbar sein kann, fügt sie hinzu.
Hamilton stimmt zu. Bürgerrechtsgruppen haben eine schwere Wahl, sagt sie: Wenn Sie gegen Risikobewertung sind, werden wahrscheinlich mehr Minderheiten eingesperrt bleiben. Wenn Sie die Risikobewertung akzeptieren, machen Sie sich irgendwie mitschuldig an der Förderung rassistischer Vorurteile in den Algorithmen.
Aber das bedeutet nicht, dass nichts getan werden kann. Richardson sagt, dass die politischen Entscheidungsträger wegen ihrer taktischen Unkenntnis über die Mängel dieser Instrumente zur Rechenschaft gezogen werden sollten. Zum Beispiel war das NYPD daran beteiligt Dutzende Klagen über Jahre voreingenommener Polizeiarbeit. Ich verstehe nicht, wie Sie sich aktiv mit Vergleichsverhandlungen über rassistisch voreingenommene Praktiken befassen können und dennoch der Meinung sind, dass die Verwendung von Daten, die sich aus diesen Praktiken ergeben, in Ordnung ist, sagt sie.
Yeshimabeit Milner ist Mitbegründer und Direktor von Data for Black Lives, einem Basiskollektiv von Aktivisten und Informatikern, das Daten zur Reform des Strafjustizsystems nutzt.
MIT FREUNDLICHER GENEHMIGUNG VON DATA FOR BLACK LIVESFür Milner liegt der Schlüssel zur Herbeiführung von Veränderungen darin, die am stärksten betroffenen Menschen einzubeziehen. Nachdem Milner 2008 beobachtet hatte, wie die Kinder, die sie kannte, verhaftet wurden, schloss sie sich einer Organisation an, die rund 600 junge Menschen zu ihren Erfahrungen mit Verhaftungen und Polizeibrutalität in Schulen befragte und dann das, was sie lernte, in ein Comicbuch umwandelte. Junge Menschen im ganzen Land nutzten das Comicbuch, um dort, wo sie lebten, mit ähnlichen Arbeiten zu beginnen.
Heute koordiniert ihre Organisation Data for Black Lives rund 4.000 Softwareentwickler, Mathematiker und Aktivisten in Universitäten und Community-Hubs. Risikobewertungsinstrumente sind nicht die einzige Möglichkeit, wie der Missbrauch von Daten systemischen Rassismus aufrechterhält, aber sie haben es sehr stark im Visier. Wir werden nicht jedes einzelne Privatunternehmen davon abhalten, Risikobewertungsinstrumente zu entwickeln, aber wir können die Kultur ändern und die Menschen aufklären, ihnen Möglichkeiten geben, zurückzudrängen, sagt Milner. In Atlanta bilden sie Menschen, die einige Zeit im Gefängnis verbracht haben, in Data Science aus, damit sie an der Reform der von der Strafjustiz verwendeten Technologien mitwirken können.
In der Zwischenzeit sind Milner, Weathington, Richardson und andere der Meinung, dass die Polizei aufhören sollte, fehlerhafte Vorhersagewerkzeuge zu verwenden, bis es einen vereinbarten Weg gibt, sie fairer zu machen.
Die meisten Menschen würden zustimmen, dass die Gesellschaft eine Möglichkeit haben sollte zu entscheiden, wer eine Gefahr für andere darstellt. Aber einen voreingenommenen menschlichen Polizisten oder Richter durch Algorithmen zu ersetzen, die dieselben Vorurteile lediglich verbergen, ist nicht die Lösung. Wenn auch nur die Möglichkeit besteht, dass sie rassistische Praktiken aufrechterhalten, sollten sie abgezogen werden.
Wie Befürworter des Wandels jedoch herausgefunden haben, dauert es lange Jahre, um etwas zu bewegen, und es gibt Widerstände bei jedem Schritt. Es ist kein Zufall, dass sowohl Khan als auch Richardson nach wochenlanger landesweiter Empörung über die Brutalität der Polizei Fortschritte sahen. Die jüngsten Aufstände haben sich definitiv zu unseren Gunsten ausgewirkt, sagt Richardson. Aber es brauchte auch fünf Jahre konstanten Drucks von ihr und anderen Anwälten. Auch Khan hatte sich im LAPD jahrelang gegen Predictive Policing eingesetzt.
Dieser Druck muss fortgesetzt werden, auch nachdem die Demonstrationen aufgehört haben. Die Beseitigung von Vorurteilen sei keine technische Lösung, sagt Milner. Es braucht tiefere und, ehrlich gesagt, weniger sexy und kostspieligere Politikänderungen.