KI hat die rassistische Voreingenommenheit im Wohnungswesen verschärft. Könnte es helfen, es stattdessen zu beseitigen?

Eine Diskussion darüber, ob Maschinen jemals gerechter sein können als Menschen.
  • Charlton McIlwain Archivseite
20. Oktober 2020 redlining es

Andrea Daquino





Unsere kommende Magazinausgabe widmet sich langfristigen Problemen. Nur wenige Probleme sind längerfristig oder hartnäckiger als Amerikas systemische Rassenungleichheit. Und eine besonders tief verwurzelte Form davon ist die Wohnungsdiskriminierung.

Eine lange Geschichte von Policen von Banken, Versicherungsgesellschaften und Immobilienmaklern hat farbigen Menschen eine faire Chance auf Wohneigentum verweigert, Reichtum und Eigentum in den Händen von Weißen und Gemeinschaften konzentriert und de facto Segregation aufrechterhalten. Obwohl diese Richtlinien – mit Namen wie Redlining, Blockbusting, rassistische Zoneneinteilung, restriktive Vereinbarungen und rassistische Lenkung – nicht mehr legal sind, bleiben ihre Folgen bestehen und sie werden manchmal immer noch verdeckt oder unbeabsichtigt praktiziert.

Das Langzeitproblem

Diese Geschichte war Teil unserer Ausgabe vom November 2020



  • Siehe den Rest des Problems
  • Abonnieren

Die Technologie hat in einigen Fällen Amerikas systematische rassistische Voreingenommenheit verschärft. Es hat sich beispielsweise gezeigt, dass algorithmisch basierte Gesichtserkennung, vorausschauende Polizeiarbeit sowie Urteils- und Kautionsentscheidungen durchweg schlechtere Ergebnisse für Schwarze erzielen. Auch im Wohnungsbau haben jüngste Untersuchungen der University of California, Berkeley, gezeigt, dass ein KI-basiertes Hypothekenvergabesystem schwarzen und hispanischen Kreditnehmern für dieselben Kredite höhere Zinsen berechnet als weißen Menschen.

Könnte stattdessen Technologie eingesetzt werden, um die Voreingenommenheit beim Wohnen zu mildern? Wir haben einige Experten zusammengebracht, um die Möglichkeiten zu diskutieren. Sie sind:

Lisa Reis

Präsident und CEO der National Fair Housing Alliance, dem größten Zusammenschluss von Organisationen, die sich der Beendigung der Diskriminierung im Wohnungswesen verschrieben haben.



Bobby Bartlett

Juraprofessor an der UC Berkeley, der die Forschung leitete und einige der ersten groß angelegten Beweise dafür lieferte, wie künstliche Intelligenz Diskriminierung bei der Hypothekenvergabe erzeugt.

Charlton McIlwain

Professor für Medien, Kultur und Kommunikation an der NYU und Autor von Schwarze Software: Das Internet und die Rassengerechtigkeit, vom Afronet bis zu Black Lives Matter .

Diese Diskussion wurde aus Gründen der Klarheit bearbeitet und komprimiert.



McIlwain: Als ich letzten Dezember vor dem Kongress über die Auswirkungen von Automatisierung und KI in der Finanzdienstleistungsbranche aussagte, zitierte ich eine kürzlich durchgeführte Studie, die herausfand, dass automatisierte Hypothekenkreditsysteme im Gegensatz zu menschlichen Kreditsachbearbeitern Wohnungsbaudarlehen fair genehmigten, ohne aufgrund der Rasse zu diskriminieren. Die automatisierten Systeme berechnen schwarzen und hispanischen Kreditnehmern jedoch immer noch deutlich höhere Preise für diese Kredite.

Das macht mich skeptisch, ob KI besser sein kann oder wird als Menschen. Bobby – das war dein Arbeitszimmer. Haben Sie die gleichen Schlüsse gezogen?

Bartlett: Wir hatten Zugriff auf einen Datensatz, der es uns ermöglichte, den Kreditgeber zu identifizieren und festzustellen, ob dieser Kreditgeber ein vollständig automatisiertes System ohne menschliches Eingreifen verwendet hat – zumindest in Bezug auf die Genehmigung und das Underwriting. Wir hatten Informationen über die Rasse und ethnische Zugehörigkeit des registrierten Kreditnehmers und konnten feststellen, ob sich die Preise genehmigter Kredite je nach Rasse unterschieden oder nicht. In der Tat, um etwa 800 Millionen Dollar pro Jahr.



Warum würden diese Algorithmen, die für die Rasse oder ethnische Zugehörigkeit des Kreditnehmers blind sind, auf diese Weise diskriminieren? Unsere Arbeitshypothese ist, dass die Algorithmen oft einfach versuchen, den Preis zu maximieren. Wer auch immer den Algorithmus entwirft, ist sich vermutlich der rassistischen Konsequenz dieser zielstrebigen Fokussierung auf Rentabilität nicht bewusst. Aber sie müssen verstehen, dass es diese rassische Dynamik gibt, dass die Proxy-Variablen, die sie verwenden – aller Wahrscheinlichkeit nach darin liegt die Diskriminierung. In gewissem Sinne gibt es effektiv Redlining der rötesten Art, das durch den Code geht. Es ähnelt dem, was im Allgemeinen auf dem Hypothekenmarkt passiert. Wir wissen, dass Makler Minderheitskreditnehmern höhere Preise anbieten werden, da sie wissen, dass einige davon absehen werden, andere es jedoch aus einer ganzen Reihe von Gründen eher akzeptieren werden.

McIlwain: Ich habe eine Theorie, dass einer der Gründe, warum wir mit voreingenommenen Systemen enden – selbst wenn sie weniger diskriminierend gebaut wurden – darin besteht, dass die Menschen, die sie entwerfen, die zugrunde liegende Komplexität des Problems nicht wirklich verstehen. Es scheint mir eine gewisse Naivität zu glauben, dass ein System vorurteilsfrei wäre, nur weil es rassenblind ist.

Reis: Wissen Sie, Charlton, wir hatten die gleiche Perspektive wie Sie in den 90er und frühen 2000er Jahren. Wir haben Finanzinstituten untersagt, Versicherungs-Scoring-, risikobasierte Preis- oder Kredit-Scoring-Systeme nur zu diesem Zweck zu verwenden. Wir erkannten, dass die Systeme selbst Voreingenommenheit manifestierten. Aber dann fingen wir an zu sagen, dass man sie nur nutzen kann, wenn sie den Menschen helfen, den Zugang erweitern oder fairere Preise generieren.

McIlwain: Gehen Menschen, die diese Systeme entwerfen, schief, weil sie das zugrunde liegende Problem der Diskriminierung bei der Wohnungssuche wirklich nicht grundlegend verstehen? Und kommt Ihr Optimismus daher, dass Sie und Organisationen wie die Ihre diese Komplexität verstehen?

Reis: Wir sind eine Bürgerrechtsorganisation. Das sind wir. Wir tun unsere ganze Arbeit unter dem Gesichtspunkt der Rassengerechtigkeit. Wir sind eine Antirassismus-Organisation.

Im Zuge der Lösung von Redlining- und Reverse-Redlining-Fällen ermutigten wir die Finanzinstitute und Versicherungsagenturen, ihre Geschäftsmodelle zu überdenken, ihr Marketing zu überdenken, ihre Underwriting-Richtlinien zu überdenken und die von ihnen entwickelten Produkte zu überdenken. Und ich denke, der Grund, warum wir das tun konnten, liegt darin, dass wir eine Bürgerrechtsbehörde sind.

Verwandte Geschichte

Natürlich perpetuiert Technologie Rassismus. Es wurde so konzipiert. Schwarze Amerikaner haben immer wieder gesehen, wie Technologie eingesetzt wurde, um sie anzugreifen. Es zu stoppen bedeutet, das Problem anders zu betrachten.

Wir beginnen damit, Unternehmen dabei zu helfen, die Geschichte des Wohnungsbaus und der Finanzen in den Vereinigten Staaten zu verstehen und wie all unsere Wohnungs- und Finanzpolitik durch eine rassistische Linse erzwungen wurde. Sie können bei der Entwicklung eines Systems nicht bei Null anfangen und denken, dass das System fair sein wird. Sie müssen es auf eine Weise entwickeln, die antirassistische Technologien und Methoden nutzt.

McIlwain: Können wir diesem Problem mit den uns zur Verfügung stehenden technologischen Mitteln noch realistisch entgegenwirken? Wenn ja, wo fangen wir an?

Reis: Ja – als die Finanzkrise 2008 ein wenig vorbei war und wir aufblickten, war es, als hätte uns die Technologie überholt. Und so haben wir beschlossen, vielleicht, wenn wir es nicht schlagen können, vielleicht werden wir mitmachen. Wir haben also viel Zeit damit verbracht, zu lernen, wie auf Algorithmen basierende Systeme funktionieren, wie KI funktioniert, und wir sind tatsächlich an dem Punkt angelangt, an dem wir glauben, dass wir jetzt Technologie einsetzen können, um diskriminierende Ergebnisse zu verringern.

Wenn wir verstehen, wie diese Systeme Voreingenommenheit manifestieren, können wir hoffentlich in die Innereien vordringen und diese Systeme dann von Voreingenommenheit befreien und neue Systeme bauen, die die Techniken der Beeinflussung in sie einfließen lassen.

Wir haben wirklich keine Aufsichtsbehörden, die verstehen, wie man eine Prüfung eines Kreditinstituts durchführt, um herauszufinden, ob sein System voreingenommen ist oder nicht.

Aber wenn man bedenkt, wie weit wir hinter der Kurve her sind, ist es wirklich entmutigend, an all die Arbeit zu denken, die getan werden muss, all die Forschung, die getan werden muss. Wir brauchen mehr Bobbys der Welt. Aber auch die ganze Ausbildung, die getan werden muss, damit Datenwissenschaftler diese Probleme verstehen.

Reis: Wir versuchen, die Regulierungsbehörden dazu zu bringen, zu verstehen, wie Systeme Voreingenommenheit manifestieren. Wissen Sie, wir haben wirklich keine Gruppe von Prüfern bei Aufsichtsbehörden, die verstehen, wie man eine Kreditinstitution prüft, um herauszufinden, ob ihr System – ihr automatisiertes Underwriting-System, ihr Marketingsystem, ihr Servicesystem – es ist oder nicht voreingenommen. Aber die Institutionen selbst entwickeln ihre eigenen Organisationsrichtlinien, die helfen können.

Die andere Sache, die wir tun müssen, ist die Diversität im Technologiebereich wirklich zu erhöhen. Wir müssen mehr Studenten mit unterschiedlichem Hintergrund in MINT-Fächer und in den Technologiebereich holen, um Veränderungen herbeizuführen. Ich kann mir eine Reihe von Beispielen vorstellen, bei denen allein die Anwesenheit einer farbigen Person im Team einen tiefgreifenden Unterschied in Bezug auf die Erhöhung der Fairness der zu entwickelnden Technologie ausmachte.

McIlwain: Welche Rolle spielt die Politik? Ich habe das Gefühl, dass viele unserer politischen Entscheidungsträger auf die gleiche Weise hinter der Industrie zurückgeblieben sind, als sie verstanden haben, wie algorithmische Systeme funktionieren. Ich weiß nicht, wie viel Vertrauen ich in ihre Fähigkeit setzen würde, realistisch als effektive Kontrolle des Systems zu dienen, oder darauf, dass die neuen KI-Systeme schnell ihren Weg in die Hypothekenarena finden.

McIlwain: Ich bleibe skeptisch. Im Moment übersteigt das Ausmaß des Problems meiner Meinung nach noch bei weitem sowohl unseren kollektiven menschlichen Willen als auch die Möglichkeiten unserer Technologie. Bobby, glauben Sie, dass Technologie jemals helfen kann?
dieses Problem?

Bartlett: Ich muss das mit dem Anwalt beantworten. Es kommt darauf an. Was wir zumindest im Zusammenhang mit der Kreditvergabe sehen, ist, dass Sie die Quelle der Voreingenommenheit und Diskriminierung, die Sie bei persönlichen Interaktionen beobachtet haben, durch eine Art algorithmische Entscheidungsfindung beseitigen können. Die Kehrseite ist, dass Sie bei unsachgemäßer Umsetzung einen Entscheidungsapparat haben könnten, der so schlimm ist wie ein Redlining-Regime. Es hängt also wirklich von der Ausführung, der Art der Technologie und der Sorgfalt ab, mit der sie eingesetzt wird. Aber ein faires Kreditregime, das durch automatisierte Entscheidungsfindung operationalisiert wird? Ich denke, das ist ein wirklich herausfordernder Vorschlag. Und ich denke, dass die Jury immer noch aus ist.

verbergen