Voreingenommenheit ist nicht das einzige Problem mit Kredit-Scores – und nein, KI kann nicht helfen

Frau Technik | Cindy Tang/Unsplash

Wir wussten bereits, dass voreingenommene Daten und voreingenommene Algorithmen die automatisierte Entscheidungsfindung in einer Weise verzerren, die einkommensschwache Gruppen und Minderheiten benachteiligt. Beispielsweise, Software, die von Banken verwendet wird Um vorherzusagen, ob jemand Kreditkartenschulden zurückzahlen wird oder nicht, werden in der Regel wohlhabendere weiße Bewerber bevorzugt. Viele Forscher und eine Reihe von Start-ups versuchen, das Problem zu beheben, indem sie diese Algorithmen fairer zu machen .

Verwandte Geschichte

Der kommende Krieg gegen die versteckten Algorithmen, die Menschen in Armut gefangen halten Eine wachsende Gruppe von Anwälten entdeckt, navigiert und bekämpft die automatisierten Systeme, die den Armen Wohnungen, Jobs und Grundversorgung verweigern.

Aber in der größte jemals durchgeführte Studie zu realen Hypothekendaten , zeigen die Ökonomen Laura Blattner von der Stanford University und Scott Nelson von der University of Chicago, dass Unterschiede in der Genehmigung von Hypotheken zwischen Minderheiten und Mehrheitsgruppen nicht nur auf Voreingenommenheit zurückzuführen sind, sondern auf die Tatsache, dass Minderheiten und Gruppen mit niedrigem Einkommen weniger Daten in ihren Krediten haben Geschichten.

Dies bedeutet, dass, wenn diese Daten verwendet werden, um einen Kredit-Score zu berechnen, und dieser Kredit-Score verwendet wird, um eine Vorhersage über einen Kreditausfall zu treffen, diese Vorhersage weniger genau ist. Es ist dieser Mangel an Präzision, der zu Ungleichheit führt, nicht nur zu Voreingenommenheit.

Die Auswirkungen sind deutlich: Fairere Algorithmen werden das Problem nicht lösen.

Es ist ein wirklich bemerkenswertes Ergebnis, sagt Ashesh Rambachan, der maschinelles Lernen und Wirtschaftswissenschaften an der Harvard University studiert, aber nicht an der Studie beteiligt war. Voreingenommenheit und lückenhafte Kreditauskünfte sind seit einiger Zeit ein heißes Thema, aber dies ist das erste groß angelegte Experiment, das sich mit Kreditanträgen von Millionen echter Menschen befasst.

Kredit-Scores quetschen eine Reihe von sozioökonomischen Daten, wie z. B. Beschäftigungsverlauf, Finanzunterlagen und Kaufgewohnheiten, in eine einzige Zahl. Neben der Entscheidung über Kreditanträge werden Kredit-Scores heute verwendet, um viele lebensverändernde Entscheidungen zu treffen, einschließlich Entscheidungen über Versicherungen, Einstellungen und Wohnen.

Um herauszufinden, warum Minderheits- und Mehrheitsgruppen von Hypothekenbanken unterschiedlich behandelt wurden, sammelten Blattner und Nelson Kreditauskünfte für 50 Millionen anonymisierte US-Verbraucher und verbanden jeden dieser Verbraucher mit seinen sozioökonomischen Details aus einem Marketing-Datensatz, seinen Eigentumsurkunden und Hypothekentransaktionen und Daten über die Hypothekengeber, die ihnen Kredite gewährt haben.

Ein Grund dafür, dass dies die erste Studie dieser Art ist, ist, dass diese Datensätze oft urheberrechtlich geschützt und den Forschern nicht öffentlich zugänglich sind. Wir sind zu einer Auskunftei gegangen und mussten ihnen dafür im Grunde viel Geld zahlen, sagt Blattner.

Verrauschte Daten

Anschließend experimentierten sie mit verschiedenen Vorhersagealgorithmen, um zu zeigen, dass Kredit-Scores nicht nur voreingenommen, sondern verrauscht waren, ein statistischer Begriff für Daten, die nicht für genaue Vorhersagen verwendet werden können. Nehmen Sie einen Bewerber aus einer Minderheit mit einem Kredit-Score von 620. In einem voreingenommenen System könnten wir erwarten, dass dieser Score das Risiko dieses Bewerbers immer überbewertet und dass ein genauerer Score beispielsweise 625 wäre. Theoretisch könnte diese Voreingenommenheit dann durch irgendeine Form algorithmischer positiver Maßnahmen berücksichtigt werden, wie z. B. die Senkung der Schwelle für die Genehmigung von Anträgen von Minderheiten.

Verwandte Geschichte

Podcast: Kann KI Ihren Kredit reparieren?

Die Dominoeffekte der Automatisierung bei der Kreditwürdigkeitsprüfung gehen über die Finanzen hinaus

Aber Blattner und Nelson zeigen, dass die Bereinigung um Bias keine Wirkung hatte. Sie stellten fest, dass die Punktzahl von 620 einer Minderheitsbewerberin tatsächlich ein schlechter Indikator für ihre Kreditwürdigkeit war, aber dass dies daran lag, dass der Fehler in beide Richtungen gehen konnte: Eine 620 könnte 625 sein, oder es könnte 615 sein.

Dieser Unterschied mag subtil erscheinen, aber er ist wichtig. Da die Ungenauigkeit eher auf Rauschen in den Daten als auf Verzerrungen bei der Verwendung der Daten zurückzuführen ist, kann sie nicht durch die Entwicklung besserer Algorithmen behoben werden.

Es ist ein sich selbst erhaltender Kreislauf, sagt Blattner. Wir geben den falschen Leuten Kredite und ein Teil der Bevölkerung bekommt nie die Chance, die Daten zu sammeln, die benötigt werden, um ihnen in Zukunft einen Kredit zu geben.

Blattner und Nelson versuchten dann zu messen, wie groß das Problem war. Sie erstellten ihre eigene Simulation des Prognosetools eines Hypothekengebers und schätzten, was passiert wäre, wenn grenzwertige Bewerber, die aufgrund ungenauer Ergebnisse akzeptiert oder abgelehnt worden wären, ihre Entscheidungen rückgängig gemacht hätten. Zu diesem Zweck verwendeten sie eine Vielzahl von Techniken, z. B. den Vergleich abgelehnter Bewerber mit ähnlichen akzeptierten Bewerbern oder die Betrachtung anderer Kreditlinien, die abgelehnte Bewerber erhalten hatten, z. B. Autokredite.

All dies zusammengenommen, fügten sie diese hypothetisch genauen Kreditentscheidungen in ihre Simulation ein und maßen den Unterschied zwischen den Gruppen erneut. Sie fanden heraus, dass, wenn angenommen wurde, dass Entscheidungen über Bewerber aus Minderheiten und mit niedrigem Einkommen genauso genau sind wie die über wohlhabendere, weiße Bewerber, die Ungleichheit zwischen den Gruppen um 50 % abnahm. Bei Bewerbern aus Minderheiten stammte fast die Hälfte dieses Gewinns aus der Beseitigung von Fehlern, bei denen der Bewerber hätte zugelassen werden sollen, es aber nicht war. Bewerber mit niedrigem Einkommen sahen einen geringeren Gewinn, da dieser durch das Entfernen von Fehlern ausgeglichen wurde, die in die andere Richtung gingen: Bewerber, die hätten abgelehnt werden sollen, aber nicht wurden.

Blattner weist darauf hin, dass die Behebung dieser Ungenauigkeit sowohl Kreditgebern als auch unterversorgten Antragstellern zugute käme. Der ökonomische Ansatz erlaube es uns, die Kosten der verrauschten Algorithmen sinnvoll zu quantifizieren, sagt sie. Wir können abschätzen, wie viel Kreditfehlallokation dadurch zustande kommt.

Unrecht korrigieren

Aber das Problem zu beheben wird nicht einfach sein. Es gibt viele Gründe dafür, dass Minderheiten laute Kreditdaten haben, sagt Rashida Richardson, eine Anwältin und Forscherin, die Technologie und Rassen an der Northeastern University studiert. Es gibt verstärkte soziale Folgen, wenn bestimmte Gemeinschaften aufgrund des Misstrauens gegenüber Bankinstituten möglicherweise keine traditionellen Kredite suchen, sagt sie. Jede Lösung muss sich mit dem befassen zugrunde liegenden Ursachen . Generationen von Schaden umzukehren, wird unzählige Lösungen erfordern, einschließlich neuer Bankvorschriften und Investitionen in Minderheitengemeinschaften: Die Lösungen sind nicht einfach, weil sie so viele verschiedene schlechte Richtlinien und Praktiken angehen müssen.

Verwandte Geschichte

Predictive-Policing-Algorithmen sind rassistisch. Sie müssen abgebaut werden. Mangelnde Transparenz und voreingenommene Trainingsdaten bedeuten, dass diese Tools ihren Zweck nicht erfüllen. Wenn wir sie nicht reparieren können, sollten wir sie loswerden.

Eine kurzfristige Option könnte darin bestehen, dass die Regierung die Kreditgeber einfach dazu drängt, das Risiko der Kreditvergabe an Antragsteller aus Minderheiten zu akzeptieren, die von ihren Algorithmen abgelehnt werden. Dies würde es Kreditgebern ermöglichen, erstmals genaue Daten über diese Gruppen zu sammeln, was langfristig sowohl Antragstellern als auch Kreditgebern zugutekäme.

Einige kleinere Kreditgeber beginnen bereits damit, sagt Blattner: Wenn die vorhandenen Daten Ihnen nicht viel sagen, gehen Sie raus und vergeben Sie einen Haufen Kredite und lernen Sie die Leute kennen. Auch Rambachan und Richardson sehen darin einen notwendigen ersten Schritt. Aber Rambachan glaubt, dass es bei größeren Kreditgebern einen kulturellen Wandel brauchen wird. Die Idee macht für die Data-Science-Crowd sehr viel Sinn, sagt er. Doch wenn er mit diesen Teams innerhalb der Banken spricht, geben sie zu, dass dies keine Mainstream-Ansicht ist. Sie werden seufzen und sagen, dass sie es dem Geschäftsteam auf keinen Fall erklären können, sagt er. Und ich bin mir nicht sicher, was die Lösung dafür ist.

Blattner findet auch, dass Kredit-Scores mit anderen Daten über Bewerber ergänzt werden sollten, etwa Banktransaktionen. Sie begrüßt die jüngste Ankündigung einer Handvoll Banken, darunter JPMorgan Chase, dass sie damit beginnen werden, Daten über die Bankkonten ihrer Kunden als zusätzliche Informationsquelle für Personen mit schlechter Kredithistorie auszutauschen. Es bedarf jedoch weiterer Forschung, um zu sehen, welchen Unterschied dies in der Praxis macht. Und Aufsichtsbehörden müssen sicherstellen, dass ein besserer Zugang zu Krediten nicht mit räuberischem Kreditvergabeverhalten einhergeht, sagt Richardson.

Die Probleme mit voreingenommenen Algorithmen seien mittlerweile vielen bewusst, sagt Blattner. Sie möchte, dass die Leute auch anfangen, über laute Algorithmen zu sprechen. Der Fokus auf Voreingenommenheit – und der Glaube, dass es eine technische Lösung gibt – bedeutet, dass Forscher möglicherweise das umfassendere Problem übersehen.

Richardson befürchtet, dass politische Entscheidungsträger davon überzeugt werden, dass die Technologie die Antworten hat, wenn dies nicht der Fall ist. Unvollständige Daten sind besorgniserregend, weil Forscher zu ihrer Erkennung ein ziemlich nuanciertes Verständnis gesellschaftlicher Ungleichheiten haben müssen, sagt sie. Wenn wir in einer gerechten Gesellschaft leben wollen, in der sich jeder zugehörig fühlt und mit Würde und Respekt behandelt wird, müssen wir beginnen, die Schwere und das Ausmaß der Probleme, mit denen wir konfrontiert sind, realistisch zu betrachten.

verbergen