Es gibt eine einfache Möglichkeit, die Kreditvergabe für Frauen fairer zu gestalten. Das Problem ist, es ist illegal.

Kredit-Scores überlagert auf männlichen und weiblichen Symbolen. Selman-Design

Anfang dieser Woche leitete das New Yorker Finanzdienstleistungsministerium eine Untersuchung gegen Goldman Sachs wegen möglicher Kreditdiskriminierung nach Geschlecht ein. Die Untersuchung kam, nachdem der Webunternehmer David Heinemeier Hansson getwittert hatte, dass die von Goldman verwaltete Apple Card ihm ein 20-mal höheres Kreditlimit als seiner Frau eingeräumt hatte, obwohl die beiden gemeinsame Steuererklärungen eingereicht hatten und sie die bessere Kreditwürdigkeit hatte.

Der @AppleCard ist so ein verdammt sexistisches Programm. Meine Frau und ich haben gemeinsame Steuererklärungen abgegeben, leben in einer Gütergemeinschaft und sind seit langem verheiratet. Doch Apples Black-Box-Algorithmus denkt, dass ich das 20-fache des Kreditlimits verdiene, das sie verdient. Keine Berufungen funktionieren.

-DHH (@dhh) 7. November 2019

Als Reaktion darauf veröffentlichte Goldman eine Erklärung, in der es hieß, es berücksichtige das Geschlecht bei der Bestimmung der Kreditwürdigkeit nicht. Die Logik war wahrscheinlich als Verteidigung gedacht – wie kann man Frauen diskriminieren, wenn man nicht einmal weiß, dass jemand eine Frau ist? Tatsächlich ist aber gerade die Nichtberücksichtigung des Geschlechts das Problem. Forschungen zur algorithmischen Fairness haben bereits gezeigt, dass die Berücksichtigung des Geschlechts tatsächlich hilft mildern geschlechtsspezifische Vorurteile. Ironischerweise ist dies jedoch in den USA illegal.

Jetzt stellen vorläufige Ergebnisse einer laufenden Studie, die von der UN Foundation und der Weltbank finanziert wird, erneut die Fairness der geschlechterblinden Kreditvergabe in Frage. Die Studie ergab, dass die Schaffung völlig getrennter Kreditwürdigkeitsmodelle für Männer und Frauen der Mehrheit der Frauen mehr Kredit einräumt.

Also: Soll das Gesetz aktualisiert werden?

Der Sexismus der Geschlechterblindheit

Wenn Sie nicht nach Geschlecht diskriminieren wollen, warum streichen Sie das Geschlecht nicht einfach aus der Gleichung? Das war die Prämisse der Chancengleichheitsgesetz (ECOA), das 1974 in den USA erlassen wurde, zu einer Zeit, als Frauen regelmäßig Kredite verweigert wurden. Es machte es für jeden Gläubiger illegal, aufgrund des Geschlechts zu diskriminieren oder das Geschlecht bei der Bewertung der Kreditwürdigkeit zu berücksichtigen. (1976 wurde es aktualisiert, um Diskriminierung aufgrund von Rasse, nationaler Herkunft und anderen von der Bundesregierung geschützten Merkmalen zu verbieten.)

Aber beim maschinellen Lernen kann Geschlechterblindheit das Problem sein. Auch wenn das Geschlecht nicht angegeben ist, kann es leicht aus anderen Variablen abgeleitet werden, die stark damit korrelieren. Infolgedessen verstärken Modelle, die auf geschlechtslosen historischen Daten trainiert wurden, immer noch frühere Ungleichheiten. Gleiches gilt für Rasse und andere Merkmale. Dies ist wahrscheinlich auch im Apple Card-Fall passiert: Da Frauen in der Vergangenheit weniger Kredit gewährt wurde, lernte der Algorithmus, dieses Muster fortzusetzen.

In eine Studie aus dem Jahr 2018 , fand eine Zusammenarbeit zwischen Informatikern und Wirtschaftswissenschaftlern heraus, dass der beste Weg, diese Probleme zu entschärfen, darin bestand, Merkmale wie Geschlecht und Rasse wieder in das Modell einzuführen. Dies ermöglicht mehr Kontrolle, um manifestierte Vorurteile zu messen und umzukehren, was insgesamt zu mehr Fairness führt.

Geschlechterdifferenzierte Kreditvergabe

Die neueste Studie testet eine neue Hypothese: Würden getrennte Modelle für Männer und Frauen geschlechtsspezifische Vorurteile weiter reduzieren? Bei einer Veranstaltung, die am Dienstag von der UN Foundation veranstaltet wurde, präsentierte Sean Higgins, Assistenzprofessor an der Northwestern University und Forscher der Studie, vorläufige Ergebnisse, die darauf hindeuten, dass dies der Fall wäre.

In Zusammenarbeit mit einer Geschäftsbank in der Dominikanischen Republik führten die Forscher zwei getrennte Analysen von 20.000 Personen mit niedrigem Einkommen durch, von denen die Hälfte Frauen waren. In der ersten Analyse verwendeten die Forscher die Kreditrückzahlungshistorie und das Geschlecht der Personen, um ein einziges maschinelles Lernmodell zur Vorhersage der Kreditwürdigkeit zu trainieren. In der zweiten Analyse trainierten die Forscher ein Modell nur mit den Kreditrückzahlungsdaten der Frauen. Sie fanden heraus, dass 93 % der Frauen in diesem Modell mehr Anerkennung erhielten als in dem, in dem Männer und Frauen gemischt wurden.

Dies geschieht, sagt Higgins, weil Frauen und Männer unterschiedliche Kreditverläufe und ein unterschiedliches Kreditrückzahlungsverhalten haben – sei es aus historischen, kulturellen oder anderen Gründen. Frauen zum Beispiel zahlen ihre Kredite eher zurück, sagt er. Diese Unterschiede werden jedoch nicht im kombinierten Modell berücksichtigt, das lernt, die Kreditwürdigkeit auf der Grundlage von Durchschnittswerten für Frauen und Männer vorherzusagen. Folglich unterschätzen solche Modelle die Wahrscheinlichkeit, dass Frauen ihre Kredite zurückzahlen, und gewähren ihnen am Ende weniger Kredite, als sie verdienen.

Während Higgins und seine Mitarbeiter diese Hypothese speziell für Frauen mit niedrigem Einkommen in der Dominikanischen Republik getestet haben, sollten die qualitativen Ergebnisse unabhängig vom Kontext gelten. Sie sollten auch für andere Merkmale als das Geschlecht und in anderen Bereichen als Finanzen gelten.

Was tun mit dem Gesetz

Das Problem ist, dass diese Art von Single-Gender-Modell illegal ist. Die Frage ist, ob die Politik den ECOA daher aktualisieren sollte.

Higgins ist dafür. Die jüngste Forschung zur algorithmischen Fairness sei zu einem ziemlich klaren Schluss gekommen, dass wir Dinge wie Rasse und Geschlecht in den Algorithmen verwenden sollten, sagt er. Wenn die Banken keinen Zugriff auf diese Variablen haben und nicht einmal die Sicherheitsprüfungen einbauen können, um sicherzustellen, dass ihre Algorithmen nicht voreingenommen sind, können wir diese Vorurteile nur herausfinden, wenn die Leute über die Unterschiede twittern, die sie haben begegnen uns in freier Wildbahn.

Aber Andrew Selbst, ein Assistenzprofessor für Rechtswissenschaften an der UCLA, der sich auf die Schnittstelle von KI und Recht spezialisiert hat, warnt davor, zu schnell vorzugehen. Das Gesetz auf diese Weise umzuschreiben, eröffnet schlechten Schauspielern die Möglichkeit, Rassen- und Geschlechtsvariablen einzubeziehen und auf eine Weise wild zu diskriminieren, die sehr schwer zu überwachen ist, sagt er. Er befürchtet auch, dass diese Lösung nicht-binäre oder transsexuelle Menschen nicht berücksichtigen und ihnen unbeabsichtigt Schaden zufügen würde.

Um mehr Geschichten wie diese direkt in Ihren Posteingang zu bekommen, melden Sie sich für unseren von Webby nominierten KI-Newsletter The Algorithm an. Es ist kostenlos.

verbergen