211service.com
Geheime Algorithmen bedrohen den Rechtsstaat
Vorhersagen und gestalten, was Sie als nächstes tun werden – ob als Käufer, Arbeiter oder Wähler – ist ein großes Geschäft für datengesteuerte Unternehmen. Aber sollten ihre Methoden auch Richter und Staatsanwälte informieren? Ein ehrgeiziges Programm zur Vorhersage von Rückfällen bei Verurteilten bringt algorithmische Risikobewertungen in amerikanische Gerichtsgebäude.
Diese Bewertungen sind eine Fortsetzung eines Trends in Richtung versicherungsmathematische Prognoseinstrumente wegen Rückfallrisiko. Sie mögen wissenschaftlich erscheinen, eine Injektion von Rechenrationalität in ein Strafjustizsystem, das von Diskriminierung und Ineffizienz durchdrungen ist. Sie sind jedoch aus mehreren Gründen besorgniserregend: Viele werden heimlich berechnet; sie verweigern den Angeklagten ein ordnungsgemäßes Verfahren und verständliche Erklärungen; und sie fördern eine mürrische und unmenschliche Vorstellung von der Rolle der Bestrafung in der Gesellschaft.
Beginnen wir mit der Geheimhaltung – ein Faktor, der offenbar sogar den Obersten Gerichtshof im Fall des COMPAS-Risiko-Scores der Firma Northpointe alarmiert hat. In Loomis gegen Wisconsin , lehnte ein Richter einen Plädoyer-Deal ab und verurteilte einen Angeklagten (Loomis) zu einer härteren Strafe, teilweise weil ein COMPAS-Risiko-Score bei ihm ein überdurchschnittlich hohes Rückfallrisiko einstufte. Loomis legte Berufung gegen das Urteil ein und argumentierte, dass weder er noch der Richter die Formel für die Risikobewertung prüfen könnten – es sei ein Geschäftsgeheimnis.
Frank Pasquale
Der Bundesstaat Wisconsin entgegnete, dass Northpointe von ihm verlangte, die Algorithmen vertraulich zu behandeln, um das geistige Eigentum der Firma zu schützen. Und der Oberste Gerichtshof von Wisconsin bestätigte das Urteil von Loomis mit der Begründung, dass die Risikobewertung nur ein Teil der Begründung für das Urteil sei. Es wollte den Richtern weiterhin die Möglichkeit geben, die COMPAS-Punktzahl als einen Teil ihrer Urteilsbegründung zu berücksichtigen, auch wenn sie keine Ahnung hatten, wie sie berechnet wurde.
Anwälte , Akademiker u Aktivisten stellen diese Argumentation nun in Frage. Gerichtsverfahren sind im Großen und Ganzen öffentlich. Richter müssen ihre wichtigsten Handlungen, wie etwa die Verurteilung, begründen. Wenn ein algorithmischer Bewertungsprozess geheim gehalten wird, ist dies der Fall unmöglich herauszufordern Schlüsselaspekte davon. Wie gewichtet der Algorithmus verschiedene Datenpunkte und warum? Jede dieser Anfragen ist entscheidend für zwei zentrale Rechtsprinzipien: ein ordnungsgemäßes Verfahren und die Möglichkeit, eine ablehnende Entscheidung sinnvoll anzufechten.
Ein ordnungsgemäßes Verfahren ist ein Konzept mit offenem Ende, aber entscheidend für legitime Rechtssysteme. Dieses grundlegende Verfassungsprinzip gibt den Angeklagten das Recht zu verstehen, wessen sie angeklagt sind und was die Beweise gegen sie sind. Ein geheimer Risikobewertungsalgorithmus, der eine verdammte Punktzahl bietet, ist analog zu Beweisen, die von einem angeboten werden anonymer Experte , die man nicht ins Kreuzverhör nehmen kann. Jedes Gericht, das sich der grundlegenden Rechtsstaatlichkeitsprinzipien sowie der fünften und vierzehnten Änderungsgrundsätze zur Bekanntmachung und Erläuterung von Entscheidungen bewusst ist, wäre sehr vorsichtig, wenn es einem Staat gestatten würde, Urteile (wenn auch nur teilweise) auf einen geheimen Algorithmus zu stützen.
Zwei Formen der Automatisierungsvoreingenommenheit bedrohen auch das Recht auf einen sinnvollen Einspruch. Richter gehen nur allzu wahrscheinlich davon aus, dass quantitative Methoden der gewöhnlichen verbalen Argumentation überlegen sind, und reduzieren die anstehende Aufgabe (Verurteilung) auf die Anwendung der verfügbaren quantitativen Daten über das Rückfallrisiko. Beide Reaktionen untergraben die Komplexität und das menschliche Urteilsvermögen, die für die Verurteilung erforderlich sind.
Schlimmer noch, wenn Unternehmen kommerzielle Gründe dafür vorbringen, ihre geheime Sauce aus der Öffentlichkeit zu halten, waren die Gerichte bestrebt, die Geschäftsgeheimnisse der Scoring-Unternehmen zu schützen. Diese Tendenz ist beunruhigend in privatwirtschaftlichen Kontexten , da Handelsdelikte aufgrund der Undurchsichtigkeit von Rang- und Bewertungssystemen ungestraft begangen werden können. Auch im Rahmen von Wählen , Behörden waren träge, wenn es darum ging, Software zu fordern, die überprüfbar und verständlich ist von Außenstehenden . Dennoch sollte der Fall der strafrechtlichen Verurteilung für gewissenhafte Richter eine Brücke zu weit sein – und das erklärt wahrscheinlich die des Obersten Gerichtshofs der USA Interesse in Loomis. Jemanden aufgrund der unerklärlichen, unanfechtbaren Urteile eines geheimen Computerprogramms ins Gefängnis zu schicken, ist es auch Schwarzer Spiegel sogar für hartgesottene Verteidiger von Unternehmensprivilegien.
Darüber hinaus gibt es Optionen zwischen vollständiger algorithmischer Geheimhaltung und vollständiger Offenlegung. Da ich erklärt im Jahr 2010 ist qualifizierte Transparenz eine etablierte Methode, um es bestimmten Experten zu ermöglichen, geschützte Geschäftsgeheimnisse (einschließlich Firmencodes und -daten) zu bewerten, um die Qualität, Gültigkeit und Zuverlässigkeit eines Systems zu testen. Denken Sie an einen speziellen Master in einem Gerichtsverfahren oder an Secure Compartmented Information Facilities für Geheimdienste. Als absolutes Minimum sollten Regierungen Algorithmen wie den COMPAS-Score nicht ohne eine Art externer Qualitätssicherung verwenden, die durch qualifizierte Transparenz ermöglicht wird.
Aber Geheimhaltung ist hier nicht das einzige Problem. Gehen Sie davon aus, dass die algorithmische Risikobewertung schließlich öffentlicher wird, mit vollständig transparenten Formeln und Daten. Es gibt nach wie vor ernsthafte Bedenken hinsichtlich der Verwendung von evidenzbasierten Urteilen, da quantitative Vorhersageanalysen häufig im Zusammenhang mit der Strafjustiz vermarktet werden.
Zum Beispiel die Rechtswissenschaftlerin Sonja Starr argumentiert dass das, was im Zusammenhang mit der Verurteilung wirklich kritisch ist, nicht nur der Rückfall an sich ist, sondern der Unterschied, den eine längere Haftstrafe für die Wahrscheinlichkeit eines Rückfalls eines Verurteilten ausmacht. Die algorithmische Risikobewertung kann schließlich sehr gut bei der Vorhersage von Rückfällen werden, aber was ist mit einer Risikobewertung der Risikobewertung selbst – das heißt, der Gefahr, dass eine längere Haftstrafe für einen Hochrisikotäter angesichts des kriminogenen Umfelds zu einer sich selbst erfüllenden Prophezeiung werden kann viele Gefängnisse?
Es gibt auch einen Wert in der narrativen Verständlichkeit bei der Einstufung und Bewertung von Menschen. Unternehmen verwenden Marketinganalysen, um nicht nur die Wahrscheinlichkeit eines kriminellen Rückfalls vorherzusagen, sondern auch die Chancen, die eine bestimmte Person haben wird psychisch krank , ein schlechter Mitarbeiter , zu versagender Schüler , zu kriminell , oder ein Terrorist . Auch wenn wir die oben angesprochenen Bedenken hinsichtlich der sich selbst erfüllenden Prophezeiung beiseite lassen können, sollten diese Bewertungen nur mit äußerster Vorsicht vorgenommen werden. Einst verwendet, um Polizei, DHS, Lehrer oder Chefs zu beraten, sind sie nicht nur Meinungen, die in einem freien Fluss von Ideen zirkulieren. Vielmehr können sie direkte Auswirkungen auf den Lebensunterhalt, die Freiheit und die Bildung von Personen haben. Wenn sie nicht erzählerisch verständlich erklärt werden können, sollten sie ohne die direkte Zustimmung der zu bewertenden Person vielleicht überhaupt nicht verwendet werden.
Diese Meinung passt möglicherweise nicht zu denen, die künstliche Intelligenz als den nächsten Schritt in der menschlichen Evolution ansehen. Robotiker Hod Lipson denkwürdig verglichen Bemühungen, fortgeschrittene algorithmische Informationsverarbeitung für Menschen verständlich zu machen, um Shakespeare einem Hund zu erklären. Aber diese aufgeladene Metapher verbirgt mehr, als sie enthüllt. Zumindest im Moment sind Menschen für Regierungen verantwortlich und können Erklärungen für Entscheidungen in natürlicher Sprache verlangen, nicht in Computercode. Geschieht dies im kriminellen Kontext nicht, besteht die Gefahr, dass staatliche und rechtliche Funktionen an eine nicht rechenschaftspflichtige Rechenelite abgetreten werden.
Frank Pasquale ist Rechtsprofessor an der University of Maryland und Autor von Die Black-Box-Gesellschaft .