Die Polizei in den USA trainiert KIs zur Verbrechensvorhersage anhand gefälschter Daten

David McNew/Mitarbeiter

Im Mai 2010 forderte der Bürgermeister von New Orleans, veranlasst durch eine Reihe hochkarätiger Skandale, das US-Justizministerium auf, Ermittlungen gegen die städtische Polizeibehörde (NOPD) einzuleiten. Zehn Monate später bot das DOJ seine an Blasenanalyse : Die NOPD hatte im Zeitraum ihrer Überprüfung ab 2005 wiederholt gegen Verfassungs- und Bundesrecht verstoßen.

Es wandte übermäßige Gewalt und unverhältnismäßig viel gegen schwarze Einwohner an; gezielte rassische Minderheiten, nicht-englische Muttersprachler und LGBTQ-Personen; und es versäumt, Gewalt gegen Frauen anzugehen. Die Probleme, sagte damals stellvertretender Generalstaatsanwalt Thomas Perez, waren seriös, umfassend, systemisch und tief in der Kultur der Abteilung verwurzelt.

Trotz der beunruhigenden Erkenntnisse trat die Stadt ein geheime Partnerschaft nur ein Jahr später mit der Data-Mining-Firma Palantir, um ein Predictive-Policing-System einzusetzen. Das System verwendete historische Daten, einschließlich Verhaftungsaufzeichnungen und elektronischer Polizeiberichte, um Verbrechen vorherzusagen und bei der Gestaltung öffentlicher Sicherheitsstrategien zu helfen Begleitung und Stadtverwaltung Materialien. Zu keinem Zeitpunkt deuteten diese Materialien auf Bemühungen hin, die Daten zu bereinigen oder zu ändern, um die vom DOJ aufgedeckten Verstöße zu beheben. Aller Wahrscheinlichkeit nach wurden die beschädigten Daten direkt in das System eingespeist, was die diskriminierenden Praktiken der Abteilung verstärkte.

Predictive Policing-Algorithmen werden in Städten in den USA zur gängigen Praxis. Obwohl der Mangel an Transparenz es schwierig macht, genaue Statistiken festzulegen, hat PredPol, ein führender Anbieter, rühmt sich dass es hilft, 1 von 33 Amerikanern zu schützen. Die Software wird oft als eine Möglichkeit angepriesen, dünn besetzten Polizeidienststellen dabei zu helfen, effizientere, datengesteuerte Entscheidungen zu treffen.

Aber neue Forschungsergebnisse deuten darauf hin, dass nicht nur New Orleans diese Systeme mit schmutzigen Daten trainiert hat. In einem Papier Forscher des AI Now Institute, eines Forschungszentrums, das die sozialen Auswirkungen der künstlichen Intelligenz untersucht, das heute veröffentlicht wurde und in der NYU Law Review veröffentlicht werden soll, stellten fest, dass das Problem in den untersuchten Gerichtsbarkeiten allgegenwärtig ist. Dies hat erhebliche Auswirkungen auf die Wirksamkeit von Predictive Policing und anderen Algorithmen, die in der Strafjustiz verwendet werden.

Ihr System ist nur so gut wie die Daten, mit denen Sie es trainieren, sagt Kate Crawford, Mitbegründerin und Co-Direktorin von AI Now und Autorin der Studie. Wenn die Daten selbst falsch sind, wird dies dazu führen, dass mehr Polizeiressourcen auf dieselben überbeobachteten und oft rassistisch angegriffenen Gemeinschaften konzentriert werden. Was Sie also getan haben, ist eigentlich eine Art Tech-Waschung, bei der Menschen, die diese Systeme verwenden, davon ausgehen, dass sie irgendwie neutraler oder objektiver sind, aber tatsächlich haben sie eine Form von Verfassungswidrigkeit oder Illegalität verwurzelt.

Die Forscher untersuchten 13 Gerichtsbarkeiten, wobei sie sich auf diejenigen konzentrierten, die vorausschauende Polizeisysteme eingesetzt haben und Gegenstand einer von der Regierung in Auftrag gegebenen Untersuchung waren. Die letztgenannte Anforderung stellte sicher, dass die Polizeipraktiken über eine rechtlich überprüfbare Dokumentation verfügten. In neun der Gerichtsbarkeiten fanden sie starke Beweise dafür, dass die Systeme auf schmutzige Daten trainiert worden waren.

Das Problem waren nicht nur Daten, die durch unverhältnismäßiges Targeting von Minderheiten verzerrt wurden, wie in New Orleans. In einigen Fällen hatten Polizeidienststellen eine Kultur der absichtlichen Manipulation oder Fälschung von Daten unter starkem politischem Druck, um die offiziellen Kriminalitätsraten zu senken. In New York zum Beispiel forderten die Kommandeure des Reviers die Opfer am Tatort regelmäßig auf, keine Anzeige zu erstatten, um die Kriminalstatistik künstlich zu entleeren. Einige Polizisten pflanzten unschuldigen Menschen sogar Drogen ein, um ihre Quoten für Verhaftungen zu erfüllen. In modernen prädiktiven Polizeisystemen, die auf maschinelles Lernen angewiesen sind, um Verbrechen vorherzusagen, werden diese beschädigten Datenpunkte zu legitimen Prädiktoren.

Die Ergebnisse des Papiers stellen die Gültigkeit von Predictive-Policing-Systemen in Frage. Anbieter solcher Software argumentieren oft, dass die voreingenommenen Ergebnisse ihrer Tools leicht zu beheben seien, sagt Rashida Richardson, Direktorin für Politikforschung bei AI Now und Hauptautorin der Studie. Aber in all diesen Fällen gibt es eine Art systemisches Problem, das sich in den Daten widerspiegelt, sagt sie. Das Heilmittel würde daher weit mehr erfordern, als nur ein oder zwei Fälle von schlechtem Verhalten zu beseitigen. Es ist nicht so einfach, gute Daten von schlechten Daten oder gute Bullen von bösen Bullen zu trennen, fügt Jason Schultz hinzu, Forschungsleiter des Instituts für Recht und Politik, ein weiterer Autor der Studie.

Die Anbieter argumentieren auch, dass sie Daten meiden, die eher Vorurteile widerspiegeln, wie z. B. Verhaftungen im Zusammenhang mit Drogen, und sich stattdessen für Schulungseingaben wie Notrufe entscheiden. Aber die Forscher fanden genauso viel Verzerrung in den vermeintlich neutraleren Daten. Darüber hinaus stellten sie fest, dass Anbieter die in ihre Systeme eingespeisten Daten niemals unabhängig prüfen.

Verwandte Geschichte

Verwandte Geschichte Die Verwendung historischer Daten zum Trainieren von Risikobewertungstools könnte bedeuten, dass Maschinen die Fehler der Vergangenheit kopieren.

Das Papier beleuchtet eine andere Debatte, die in den USA über den Einsatz von Tools zur Bewertung des kriminellen Risikos tobt, die auch maschinelles Lernen verwenden, um alles zu bestimmen, vom Schicksal der Angeklagten während des Ermittlungsverfahrens bis hin zur Schwere ihrer Strafen. Die Daten, die wir in diesem Papier diskutieren, beziehen sich nicht nur auf die Polizei, sagt Richardson. Es wird im gesamten Strafjustizsystem verwendet.

Derzeit konzentriert sich ein Großteil der Debatte auf die Mechanik des Systems selbst – ob es so gestaltet werden kann, dass es mathematisch faire Ergebnisse liefert. Doch die Forscher betonen, dass dies die falsche Frage sei. Die Algorithmusfrage von dem sozialen System zu trennen, mit dem sie verbunden und in das sie eingebettet ist, bringt Sie nicht sehr weit, sagt Schultz. Wir müssen wirklich die Grenzen dieser Art von mathematischen, auf Berechnungen basierenden Versuchen anerkennen, Voreingenommenheit zu beseitigen.

Für die Zukunft hoffen die Forscher, dass ihre Arbeit dazu beitragen wird, die Debatte neu zu gestalten, damit sie sich auf das breitere System und nicht auf das Tool selbst konzentriert. Sie hoffen auch, dass es die Regierungen dazu veranlassen wird, Mechanismen wie die zu schaffen algorithmischer Folgenabschätzungsrahmen Das Institut hat letztes Jahr veröffentlicht, um mehr Transparenz, Rechenschaftspflicht und Kontrolle in die Verwendung automatisierter Entscheidungsfindungstools zu bringen.

Wenn die sozialen und politischen Mechanismen, die schmutzige Daten generieren, nicht reformiert werden, werden solche Tools nur mehr schaden als nützen, sagen sie. Wenn die Leute das erkennen, wird sich die Debatte vielleicht endlich dahin verlagern, wie wir maschinelles Lernen und andere technologische Fortschritte nutzen können, um die eigentliche Ursache von [Kriminalität] zu stoppen, sagt Richardson. Vielleicht können wir Armut, Arbeitslosigkeit und Wohnungsprobleme mithilfe von Regierungsdaten auf eine vorteilhaftere Weise lösen.

verbergen