211service.com
Wie man Algorithmen zur Rechenschaft zieht
Algorithmen werden heute im gesamten öffentlichen und privaten Sektor eingesetzt und fließen in Entscheidungen in allen Bereichen ein, von Bildung und Beschäftigung bis hin zur Strafjustiz. Aber trotz des Potenzials für Effizienzgewinne können Algorithmen, die von Big Data gespeist werden, dies auch verstärken strukturelle Diskriminierung , produzieren Fehler, die Dienstleistungen für Einzelpersonen verweigern , oder gar eine Wählerschaft in trügerischer Sicherheit verführen. Das gibt es tatsächlich wachsendes Bewusstsein dass die Öffentlichkeit vorsichtig sein sollte gesellschaftliche Risiken durch übermäßiges Vertrauen in diese Systeme und Arbeit aufgeworfen halte sie verantwortlich .
Verschiedene Bemühungen der Industrie, darunter a Konsortium der Giganten des Silicon Valley beginnen, sich mit der Ethik des Einsatzes von Algorithmen auseinanderzusetzen, die unvorhergesehene Auswirkungen auf die Gesellschaft haben können. Algorithmenentwickler und Produktmanager brauchen neue Wege, um algorithmische Systeme auf öffentlich rechenschaftspflichtige Weise zu denken, zu entwerfen und zu implementieren. In den letzten Monaten haben wir und einige Kollegen haben versucht, diese Ziele zu erreichen, indem sie a Satz von Prinzipien für rechenschaftspflichtige Algorithmen .
Betrachten wir einen Fall, in dem algorithmische Verantwortlichkeit dringend benötigt wird: die Risikobewertungsergebnisse die strafrechtlichen Entscheidungen im US-Rechtssystem zugrunde liegen. Diese Werte werden berechnet, indem eine Reihe von Fragen gestellt werden, die sich auf Dinge wie das Alter des Angeklagten, die Vorstrafen und andere Merkmale beziehen. Die Daten werden in einen Algorithmus eingespeist, um eine Punktzahl zu berechnen, die dann bei Entscheidungen über Untersuchungshaft, Bewährung, Bewährung oder sogar Verurteilung verwendet werden kann. Und diese Modelle werden oft mit proprietären maschinellen Lernalgorithmen und Daten über frühere Angeklagte trainiert.
Aktuelle Untersuchungen zeigen dass Risikobewertungsalgorithmen rassistisch voreingenommen sein können und Werte erzeugen, die, wenn sie falsch sind, schwarze Angeklagte häufiger fälschlicherweise als hohes Risiko einstufen. Diese Ergebnisse haben erhebliche Kontroversen ausgelöst. Angesichts der buchstäblich lebensverändernden Natur dieser algorithmischen Entscheidungen sollten sie sorgfältig beachtet und für negative Folgen zur Rechenschaft gezogen werden.
Algorithmen und die Daten, die sie antreiben, werden von Menschen entworfen und erstellt. Auch für Techniken wie z genetische Algorythmen die sich von selbst entwickeln, bzw Algorithmen für maschinelles Lernen Wo das resultierende Modell nicht von einer Person handgefertigt wurde, werden die Ergebnisse durch von Menschen getroffene Designentscheidungen, Regeln darüber, was optimiert werden soll, und Entscheidungen darüber, welche Trainingsdaten verwendet werden sollen, geformt. Der Algorithmus ist keine akzeptable Ausrede, wenn algorithmische Systeme Fehler machen oder unerwünschte Folgen haben.
Rechenschaftspflicht impliziert die Verpflichtung, algorithmische Entscheidungen zu melden und zu rechtfertigen und alle negativen sozialen Auswirkungen oder potenziellen Schäden zu mindern. Wir betrachten Rechenschaftspflicht durch die Linse von fünf Grundprinzipien: Verantwortung, Erklärbarkeit, Genauigkeit, Überprüfbarkeit und Fairness.
Verantwortung . Für jedes algorithmische System muss es eine Person geben, die befugt ist, sich rechtzeitig mit den nachteiligen individuellen oder gesellschaftlichen Auswirkungen zu befassen. Dies ist keine Aussage über die rechtliche Verantwortung, sondern ein Fokus auf Rechtsbehelfe, öffentlichen Dialog und interne Autorität für Veränderungen. Dies könnte so einfach sein, dass Sie jemandem in Ihrem technischen Team die internen Befugnisse und Ressourcen geben, um das System zu ändern, und sicherstellen, dass die Kontaktinformationen dieser Person öffentlich verfügbar sind.
Erklärbarkeit . Alle von einem algorithmischen System erzeugten Entscheidungen sollten für die von diesen Entscheidungen betroffenen Personen erklärbar sein. Diese Erläuterungen müssen für die Zielgruppe zugänglich und verständlich sein; rein technische Beschreibungen sind für die Allgemeinheit nicht geeignet. Die Erklärung der Risikobewertungsergebnisse gegenüber Angeklagten und ihren Rechtsbeiständen würde ein besseres Verständnis fördern und ihnen helfen, offensichtliche Fehler oder fehlerhafte Daten anzufechten. Einige maschinelle Lernmodelle sind erklärbarer als andere, aber nur weil ein ausgefallenes neuronales Netz beteiligt ist, bedeutet das nicht, dass es sinnvoll ist Erläuterung kann nicht hergestellt werden.
Genauigkeit . Algorithmen machen Fehler, sei es aufgrund von Datenfehlern in ihren Eingaben (Garbage In, Garbage Out) oder statistischen Unsicherheiten in ihren Ausgaben. Das Prinzip von Richtigkeit schlägt vor, dass Fehlerquellen und Unsicherheiten in einem Algorithmus und seinen Datenquellen identifiziert, protokolliert und bewertet werden müssen. Das Verständnis der Art von Fehlern, die von einem algorithmischen System erzeugt werden, kann Minderungsverfahren informieren.
Überprüfbarkeit . Das Prinzip von Überprüfbarkeit besagt, dass Algorithmen entwickelt werden sollten, um es Dritten zu ermöglichen, das Verhalten eines Algorithmus zu untersuchen und zu überprüfen. Algorithmen überwachen, prüfen und kritisieren zu lassen, würde zu einer bewussteren Gestaltung und Kurskorrektur im Fehlerfall führen. Während es sein kann technische Herausforderungen Durch die Zulassung öffentlicher Rechnungsprüfungen bei gleichzeitigem Schutz proprietärer Informationen könnte die private Rechnungsprüfung (wie in der Rechnungslegung) eine gewisse öffentliche Sicherheit bieten. Wo möglich, würde sogar ein begrenzter Zugang (z. B. über eine API) der Öffentlichkeit eine wertvolle Chance dazu geben Audit diese sozial bedeutsam Algorithmen.
Gerechtigkeit . Da Algorithmen zunehmend Entscheidungen auf der Grundlage historischer und gesellschaftlicher Daten treffen, besteht die Gefahr, dass bestehende Vorurteile und historisch diskriminierende menschliche Entscheidungen in automatisierte Entscheidungen einfließen. Alle Algorithmen, die Entscheidungen über Personen treffen, sollten auf diskriminierende Wirkungen untersucht werden. Die Ergebnisse der Evaluation und die verwendeten Kriterien sollten öffentlich zugänglich gemacht und erläutert werden.
Es gibt viel Spielraum, um diese Prinzipien an Ihren eigenen Kontext anzupassen und zu interpretieren, und natürlich werden politische, proprietäre oder geschäftliche Bedenken eingreifen. Aber wir glauben, dass die Berücksichtigung dieser Ideen während des gesamten Design-, Implementierungs- und Release-Zyklus der Entwicklung zu einem sozial verantwortlicheren Einsatz von Algorithmen in der Gesellschaft führen wird.
Wie fängst du an? Wir skizzieren einige pragmatische Fragen, die das Produkt- und Entwicklungsteam bearbeiten kann, um eine Erklärung zur sozialen Wirkung die diese Prinzipien anspricht .
Nicholas Diakopoulos ist Assistenzprofessor an der University of Maryland, College Park. Sorelle Friedler ist eine n Assistant Professor am Haverford College und Affiliate am Data & Society Research Institute.