Podcast: Kann KI Ihren Kredit reparieren?

Frau Technik | Pixel

Kredit-Scores werden seit Jahrzehnten zur Beurteilung der Kreditwürdigkeit von Verbrauchern verwendet, aber ihr Umfang ist jetzt viel größer, da sie von Algorithmen unterstützt werden. Sie ziehen nicht nur weitaus mehr Daten in Betracht, sowohl in Bezug auf Umfang als auch Art, sondern beeinflussen zunehmend, ob Sie ein Auto kaufen, eine Wohnung mieten oder einen Vollzeitjob finden können. In diesem zweiten Teil einer Serie über Automatisierung und unsere Brieftaschen untersuchen wir, wie sehr die Maschinen, die unsere Kreditwürdigkeit bestimmen, mittlerweile weit mehr als nur unser finanzielles Leben beeinflussen.

Wir treffen:

• Chi Chi Wu, angestellter Anwalt des National Consumer Law Center
• Michele Gilman, Rechtsprofessorin an der University of Baltimore
• Mike de Vere, CEO von Zest AI

Kredite:

Diese Folge wurde von Jennifer Strong, Karen Hao, Emma Cillekens und Anthony Green produziert. Wir werden von Michael Reilly herausgegeben.

Transkript:

[TECHNISCHE REVIEW-ID]

Miriam : Es war nicht ungewöhnlich, aus unserem Hotelzimmer ausgesperrt zu werden oder einen Schlüssel zu haben, der nicht funktionierte, und er musste zur Rezeption gehen und sich darum kümmern. Und es war nicht ungewöhnlich, eine Rechnung in einem Restaurant zu bezahlen und dann den Scheck zurück zu bekommen.

Jennifer: Wir werden diese Frau Miriam nennen, um ihre Privatsphäre zu schützen. Sie war 21, als sie den Mann traf, den sie heiraten würde … und … innerhalb weniger Jahre … ihr Leben … und ihre finanzielle Situation … auf den Kopf stellen würde.

Miriam: Aber er hatte immer einen Grund und es war immer jemand anderes schuld.

Jennifer: Als sie sich zum ersten Mal trafen, hatte Miram zwei Jobs, sie schrieb Budgets auf ein Whiteboard und sie machte eine Delle in ihren Studienschulden.

Ihr Kredit war sauber.

Miriam: Er hat mich zum Abendessen ausgeführt und er hat mich auf kleine Ausflüge mitgenommen, du weißt schon, zwei- oder dreitägige Urlaubsangebote an den Strand oder, du weißt schon, lokale Sachen. Und er hat immer für alles bezahlt und ich fand das einfach so lustig.

Miriam: Und dann fing er an zu fragen, ob er meine leeren Kreditkarten für eines seiner Geschäfte verwenden könnte. Und er würde den vollen Betrag in Rechnung stellen, etwa 5.000, und ihn dann jedes Mal innerhalb von zwei oder drei Tagen zurückzahlen. Und er nannte es einfach Flipping. Das passierte eine Weile. Und währenddessen wurde das einfach zu einer normalen Sache. Und so habe ich irgendwie aufgehört, darauf zu achten.

Jennifer: Bis eines Tages... ihre ganze Welt zusammenbrach.

Miriam: Ich hatte, mal sehen, eine Sechsjährige, eine Zweijährige und eine Vierjährige, und es ist Halloween-Morgen und wir sind im Speisesaal und bereiten uns darauf vor, sie in die Vorschule zu bringen. Und, ähm, das FBI kam und verhaftete meinen Mann und so, es ist wie im Kino, wissen Sie, sie gehen all Ihre Sachen durch und schicken einen Haufen Männer mit schlammigen Stiefeln und Waffen in Ihr Haus.

Jennifer: Ein Bundesrichter verurteilte ihren Mann wegen Betrugs in Höhe von einer Viertelmillion Dollar... und Miriam entdeckte Schulden in Höhe von Zehntausenden von Dollar auf ihren Namen.

Sie musste die Scherben aufsammeln... und die Finanzen.

Miriam : Ich meine, meine Kreditwürdigkeit lag einmal unter 500. Ich meine, es ist einfach abgestürzt und es dauert lange, sich da wieder herauszuarbeiten, aber ich habe gelernt, dass es eine Art Stück für Stück ist ... worüber ich mich informieren musste. Ich meine, seit diesem ganzen Debakel hier, ähm, habe ich nie etwas verpasst. Es ist wie … wichtiger für mich als die meisten Dinge … meine Kreditwürdigkeit zu erhalten.

Jennifer: Sie ist eine Überlebende der sogenannten Zwangsverschuldung. Es ist eine Form des wirtschaftlichen Missbrauchs ... normalerweise durch einen Partner oder ein Familienmitglied.

Miriam: Es gibt keine körperlichen Wunden. Richtig. Und es gibt nichts, was man einfach so machen kann, wenn man die Polizei wegen jemandem ruft. Und außerdem ist es normalerweise keine feindselige Situation. Es ist normalerweise hübsch, es ist ein ruhiges Gespräch, in das er sich hineinarbeitet und dann bekommt, was er will.

Jennifer: Wirtschaftlicher Missbrauch ist nicht neu … aber wie Identitätsdiebstahl ist er in einer digitalen Welt mit Online-Formularen und automatisierten Entscheidungen viel einfacher geworden.

Miriam: Ich weiß, was ein Algorithmus ist. Ich verstehe das. Aber was meinst du mit meinem Kreditalgorithmus?

Jennifer: Sie kam wieder auf die Beine … aber viele tun es nicht … und da Algorithmen weiterhin unser Finanzkreditsystem übernehmen … argumentieren einige, dass dies noch viel schlimmer werden könnte.

Gilman: Wir haben ein System, das Menschen, die Notsituationen erleben, die sich ihrer Kontrolle entziehen, wie Ausreißer aussehen lässt, was sich wiederum auf ihre Fähigkeit auswirkt, die Möglichkeiten zu nutzen, die notwendig sind, um der Armut zu entkommen und wirtschaftliche Stabilität zu erlangen.

Jennifer: Aber andere argumentieren das Rechts Kreditbewertungsalgorithmen … könnten das Tor zu einer besseren Zukunft sein … in der Vorurteile beseitigt werden können … und das System gerechter wird.

Von Vere: Aus meiner Sicht ist Kredit also gleich Chance. Als Gesellschaft ist es wirklich wichtig, dass wir das richtig machen. Wir glauben, dass es eine 2.0-Version davon geben kann, die maschinelles Lernen nutzt.

Jennifer: Ich bin Jennifer Strong und in diesem zweiten Teil einer Reihe über Automatisierung und unsere Brieftaschen … untersuchen wir, wie sehr die Maschinen, die unsere Kreditwürdigkeit bestimmen, weit mehr als unser finanzielles Leben beeinflussen.

[IMWT-ID]

Jennifer: Früher wollte jemand einen Kredit … er baute Beziehungen zu Leuten bei einer Bank oder Kreditgenossenschaft auf, die Entscheidungen darüber trafen, wie sicher oder riskant diese Investition schien.

Wie diese Szene aus dem Weihnachtsklassiker aus den 1940er Jahren, It’s a Wonderful Life … wo die Hauptfigur des Films beschließt, Kunden sein eigenes Geld zu leihen, um sein Geschäft am Laufen zu halten … nach einem versuchten Lauf auf die Bank.

George: Ich habe 2.000 Dollar bekommen! Hier sind 2000 Dollar, das wird uns binden, bis die Bank wieder öffnet. In Ordnung, Tom, wie viel brauchst du?

Tom: $242.

George: Ach Tom. Gerade genug, um Sie über die Runden zu bringen, bis die Bank reoperiert—.

Tom: Ich nehme $242!

George: Da bist du ja.

Tom: Das wird mein Konto schließen.

George: Ihr Konto ist immer noch da. Das ist ein Darlehen!

Jennifer: Heutzutage vergeben Banken Kredite, ohne jemals viele ihrer Kunden zu treffen… Oft sind diese Entscheidungen automatisiert… basierend auf Daten aus Ihrer Kreditauskunft… die Dinge wie Kreditkartensalden, Autokredite, Studentenschulden… und eine Mischung aus anderen enthält persönliche Daten…

In den 1950er Jahren wollte die Industrie eine Möglichkeit, diese Berichte zu standardisieren… also fanden Datenwissenschaftler einen Weg, diese Informationen zu nehmen… sie durch ein Computermodell laufen zu lassen und eine Zahl auszuspucken….

Das ist Ihre Kreditwürdigkeit … und nicht nur Banken nutzen sie, um Entscheidungen zu treffen. Je nachdem, wo Sie wohnen, beziehen sich alle möglichen Gruppen auf diese Nummer … einschließlich Vermieter … Versicherungsunternehmen … sogar Arbeitgeber.

Wu: Verbraucher sind nicht die Kunden von Auskunfteien. Wir sind, oder unsere Daten sind die Ware. Wir sind nicht die Kunden, wir sind die Hühner. Wir, wir sind das, was verkauft wird….

Jennifer: Chi Chi Wu ist Verbraucheranwalt und Anwalt am National Consumer Law Center.

Wu: Infolgedessen sind die Anreize in diesem Markt irgendwie durcheinander. Die Anreize sollen den Bedürfnissen von Kreditgebern und anderen Berichtsnutzern und nicht Verbrauchern dienen.

Jennifer: Wenn es um Kreditauskünfte geht, gibt es drei Schlüsselhüter…. Equifax, Experian und Transunion.

Aber diese Berichte sind alles andere als umfassend … und sie können ungenau sein.

Wu: Kreditauskünfte weisen unannehmbar hohe Fehlerquoten auf. Ähm, jetzt haben die Daten aus der endgültigen Studie der Federal Trade Commission ergeben, dass jeder fünfte Verbraucher einen verifizierten Fehler in seiner Kreditauskunft hatte. Und einer von 20 oder 5 % hatte einen Fehler, der so schwerwiegend war, dass ihm der Kredit verweigert wurde oder er mehr bezahlen musste.

Jennifer: Beschwerden an die Bundesregierung über diese Berichte sind in den letzten Jahren explodiert … und letztes Jahr während der Pandemie? Beschwerden über Fehler verdoppelt.

Diese machen mehr als die Hälfte aller Beschwerden aus, die beim C-F-P-B – oder dem Consumer Financial Protection Bureau der US-Regierung – eingereicht werden.

Aber Wu glaubt, dass die Art und Weise, wie Kredit-Scores verwendet werden, auch ohne Fehler ein Problem darstellt.

Wu: Das Problem sind also Arbeitgeber... Vermieter. Sie fangen an, Kreditberichte und Kredit-Scores als eine Art Widerspiegelung der zugrunde liegenden Verantwortung einer Person, ihres Wertes als Person, ihres Charakters zu betrachten. Und das ist einfach komplett falsch. Was wir sehen, ist, dass Menschen negative Informationen in ihrer Kreditauskunft erhalten, weil sie finanziell gekämpft haben, weil ihnen etwas Schlimmes passiert ist. Also Leute, die ihren Job verloren haben, die krank geworden sind. Ähm, sie können ihre Rechnungen nicht bezahlen. Und diese Pandemie ist das perfekte Beispiel dafür, und Sie können dies wirklich an den rassischen Unterschieden bei der Kreditwürdigkeit erkennen. Die Kreditwerte für schwarze Gemeinden sind viel niedriger als für weiße Gemeinden und für Latin-X-Gemeinschaften liegt sie irgendwo dazwischen. Und hat nichts mit Charakter zu tun. Das hat alles mit Ungleichheit zu tun.

Jennifer: Und da die Branche ältere Kreditbewertungsmethoden durch maschinelles Lernen ersetzt, befürchtet sie, dass dies das Problem verfestigen könnte.

Wu: Und wenn dies nicht überprüft wird, wenn es keine absichtliche Kontrolle dafür gibt, wenn wir uns dessen nicht bewusst sind, wird dasselbe mit den Algorithmen passieren, die mit der Kreditwürdigkeitsprüfung passiert sind, nämlich, dass sie den Fortschritt der historisch marginalisierten Gemeinschaften behindern werden .

Jennifer: Sie macht sich insbesondere Sorgen um Unternehmen, die versprechen, dass ihre Kreditbewertungsalgorithmen fairer sind, weil sie alternative Daten verwenden ... Daten, die angeblich weniger anfällig für rassistische Vorurteile sind ...

Wu: Wie Ihre Handyrechnung oder Ihre Miete, ähm, bis hin zu den eher abgefahrenen Big Data. Was in Ihrem Social-Media-Feed für die erste Art alternativer Daten steht, die irgendwie konventionell oder finanziell sind, ähm, mein Mantra war der Teufel im Detail. Einige dieser Daten sehen vielversprechend aus. Andere Arten dieser Daten können sehr riskant sein. Das ist also meine Sorge in Bezug auf künstliche Intelligenz und maschinelles Lernen. Nicht, dass wir sie nie benutzen sollten. Du musst sie einfach benutzen, oder? Sie müssen sie mit Absicht verwenden. Sie könnten die Lösung sein. Wenn ihnen gesagt wird, dass eines Ihrer Ziele darin besteht, die Unterschiede für marginalisierte Gruppen zu minimieren. Sie wissen, dass Ihr Ziel darin besteht, genauso vorhersehbar oder vorhersehbarer mit weniger Unterschieden zu sein.

Jennifer: Der Kongress erwägt, die Verwendung von Kreditauskünften durch Arbeitgeber einzuschränken … und einige Bundesstaaten sind dazu übergegangen, sie bei der Festlegung von Versicherungstarifen … oder beim Zugang zu bezahlbarem Wohnraum zu verbieten.

Aber Bewusstsein ist auch ein Thema.

Gilman: Es gibt viele Kreditauskunftsschäden, die Menschen ohne ihr Wissen betreffen. Und wenn Sie nicht wissen, dass Sie verletzt wurden, können Sie keine Hilfe oder Abhilfe erhalten,

Jennifer: Michelle Gilman ist Professorin für klinisches Recht an der University of Baltimore…

Gilmann: Mir wurde in der juristischen Fakultät nichts über algorithmische Entscheidungsfindung beigebracht, und die meisten Jurastudenten werden es immer noch nicht. Und der Gedanke, einen Algorithmus herausfordern zu müssen, kann sie sehr einschüchtern.

Jennifer: Sie ist sich nicht sicher, wann sie zum ersten Mal bemerkt hat, dass Algorithmen Entscheidungen für ihre Kunden treffen. Aber ein Fall sticht heraus... von einem älteren und behinderten Klienten, dessen Stunden für die häusliche Krankenpflege im Rahmen des Medicaid-Programms drastisch gekürzt wurden ... obwohl der Klient kränker wurde ...

Gilmann: Und erst als wir in einer angefochtenen Anhörung vor einem Verwaltungsrichter standen, wurde klar, dass die Stundenkürzung auf einen Algorithmus zurückzuführen war. Und doch konnte der Zeuge des Staates, der Krankenschwester war, nichts über den Algorithmus erklären. Sie wiederholte nur immer wieder, dass es international und statistisch validiert sei, aber sie konnte uns nicht sagen, wie es funktionierte, welche Daten darin eingespeist wurden, welche Faktoren es gewichtete, wie die Faktoren gewichtet wurden. Und so sieht mich mein Anwaltsstudent an und wir schauen uns an und denken, wie können wir einen Algorithmus überprüfen?

Jennifer: Sie verband sich mit anderen Anwälten im ganzen Land, die dasselbe erlebten. Und sie erkannte, dass das Problem viel größer war …

Gilmann: Und wenn es um Algorithmen geht, operieren sie in fast allen Aspekten des Lebens unserer Kunden.

Jennifer: Und Kreditauskunftsalgorithmen sind am weitesten verbreitet.

Ihre Firma sieht Opfer, die mit unerwarteten Schulden belastet werden ... manchmal aufgrund von Härten ... manchmal aufgrund von Arztrechnungen ... oder ... aufgrund von Identitätsdiebstahl, bei dem jemand anderes in Ihrem Namen Kredite aufnimmt ...

Aber die Auswirkungen sind die gleichen … sie belasten die Kreditwürdigkeit … und selbst wenn die Schulden getilgt sind, kann dies langfristige Auswirkungen haben.

Gilman: Als guter Verbraucheranwalt müssen wir wissen, dass es manchmal nicht ausreicht, nur den eigentlichen Rechtsstreit vor Ihnen zu lösen. Sie müssen auch hinausgehen und die Welleneffekte dieser algorithmischen Systeme bereinigen. Viele Armutsanwälte teilen die gleichen Vorurteile wie die allgemeine Bevölkerung, wenn es darum geht, ein computergeneriertes Ergebnis zu sehen und zu denken, dass es neutral, objektiv und korrekt ist. Es ist irgendwie magisch. Es ist wie ein Taschenrechner. Und keine dieser Annahmen ist wahr, aber wir brauchen die Ausbildung und die Ressourcen, um zu verstehen, wie diese Systeme funktionieren. Und dann müssen wir als Gemeinschaft bessere Werkzeuge entwickeln, damit wir diese Systeme abfragen können, damit wir diese Systeme herausfordern können.

Jennifer: Nach der Pause... Wir betrachten den Versuch, die Fairness in der Kreditauskunft zu automatisieren.

[mittlere Rolle]

Von Vere: KI hilft auf zweierlei Weise: durch mehr Daten und bessere Mathematik. Wenn Sie also an Einschränkungen der aktuellen Mathematik denken, wissen Sie, dass sie ein paar Dutzend Variablen einbeziehen können. Und, äh, wenn ich versuchen würde, Ihnen Jennifer zu beschreiben, äh, mit zwei Dutzend Variablen, wissen Sie, ich könnte wahrscheinlich zu einer ziemlich guten Beschreibung kommen, aber stellen Sie sich vor, ich könnte mehr Daten einholen und ich würde Sie mit 300 bis beschreiben Tausend Signal- und Auflösungsvariablen führen zu einer weitaus genaueren Vorhersage Ihrer Kreditwürdigkeit als Kreditnehmer.

Jennifer: Mike de Vere ist der CEO von Zest AI. Es ist eines von mehreren Unternehmen, die versuchen, den Kredit- und Kreditgenehmigungsprozess transparenter zu machen … mit Software, die darauf ausgelegt ist, einige der aktuellen Probleme mit Kredit-Scores zu berücksichtigen … einschließlich rassischer, geschlechtsspezifischer und anderer potenzieller Vorurteile.

Um zu verstehen, wie es funktioniert, brauchen wir zunächst ein wenig Kontext. In den USA ist es für Kreditgeber (außer Hypothekenbanken) illegal, Daten über die Rasse zu sammeln. Das war ursprünglich so gedacht verhindern Diskriminierung.

Aber die Rasse einer Person hat eine starke Korrelation mit ihrem Namen … wo sie leben … wo sie zur Schule gegangen sind … und wie viel sie bezahlt werden. Das heißt ... auch ohne Renndaten ... kann ein maschineller Lernalgorithmus trotzdem lernen, zu diskriminieren ... einfach weil er eingebaut ist.

Daher versuchen die Kreditgeber, dies zu überprüfen und die Diskriminierung in ihren Kreditmodellen auszumerzen. Das einzige Problem? Um zu überprüfen, wie es Ihnen geht, müssen Sie die Rasse der Kreditnehmer kennen … ohne dass … die Kreditgeber gezwungen sind, eine fundierte Vermutung anzustellen.

Von Vere: Der akzeptierte Ansatz ist also ein Akronym BISG und verwendet im Wesentlichen zwei Variablen, Ihre Postleitzahl und Ihren Nachnamen. Mein Name ist also Mike De Vere und der Teil von Kalifornien, aus dem ich komme, mit einem solchen Namen würde ich als Hispanic oder Latin X herauskommen, aber ich bin doch Ire.

Jennifer: Mit anderen Worten ... der Industriestandard dafür, wie dies zu tun ist, ist oft völlig falsch. Sein Unternehmen geht also einen anderen Weg.

Von Vere: Wir glauben, dass es eine 2.0-Version davon geben kann, die maschinelles Lernen nutzt.

Jennifer: Anstatt die Rasse anhand von nur zwei Variablen vorherzusagen … verwendet es viel mehr … wie den Vor- und zweiten Vornamen der Person … und andere geografische Daten – wie ihren Volkszählungsbezirk … oder den Schulbezirk.

Er sagt, in einem kürzlich in Florida durchgeführten Test habe diese Methode das Standardmodell um 60 Prozent übertroffen.

Von Vere: Wieso spielt das eine Rolle? Das ist wichtig, denn es ist Ihr Maßstab dafür, wie Sie sich schlagen.

Jennifer: Dann verfolgt er einen Ansatz namens Adversarial De Biasing.

Die Grundidee ist Dies . Das Unternehmen beginnt mit einem maschinellen Lernmodell, das darauf trainiert ist, vorherzusagen, wie riskant ein bestimmter Kreditnehmer ist.

Von Vere: Nehmen wir an, es hat 300 bis 500 Datenpunkte, um das Risiko für eine Person zuzuordnen.

Jennifer: Es hat dann eine zweite maschinelles Lernmodell, das versucht, die Rasse dieses Kreditnehmers zu erraten … (basierend auf den Erkenntnissen des ersten).

Wenn die Vorhersagen des zweiten Modells mit den Ergebnissen des Rennprädiktors übereinstimmen, bedeutet dies, dass das System Verzerrungen kodiert ... und angepasst werden sollte ... indem es anpasst, wie stark es jeden der Datenpunkte gewichtet.

Von Vere: Diese 300 bis 500 Signale können wir also hoch- oder runterstimmen, wenn es ein Proxy für das Rennen wird. Am Ende erhalten Sie also nicht nur ein leistungsstarkes Modell, das eine gute Wirtschaftlichkeit liefert, sondern gleichzeitig ein Modell, das in diesem Prozess nahezu farbenblind ist.

Jennifer: Er sagt, dies habe zu integrativeren Kreditvergabepraktiken geführt.

Von Vere: Wir arbeiten mit einer der größten Kreditgenossenschaften in den USA von Florida aus zusammen. Und das bedeutet für unsere Kreditgenossenschaft mehr Ja für mehr ihrer Mitglieder. Aber was sie wirklich begeisterte, war die um 26 % gestiegene Zustimmung für Frauen. Fünfundzwanzig Prozent mehr Zustimmung für Farbige.

Jennifer: Auch wenn es ermutigend ist... Wer behauptet, jahrzehntelange Schäden behoben zu haben, die durch algorithmische Entscheidungsfindung verursacht wurden... wird viel zu überwinden haben, um das Vertrauen der Menschen zu gewinnen.

Es ist eine Aufgabe, die noch schwieriger wird, wenn die vorgeschlagene Lösung für einen schlechten Algorithmus ... ein anderer Algorithmus ist.

Das Finanzministerium hat kürzlich Leitlinien herausgegeben, in denen die Verwendung von KI-Kreditvergabe als ein Schlüsselrisiko für das Bankwesen hervorgehoben wird … vor den Kosten gewarnt wird, die mit ihrer undurchsichtigen Natur einhergehen … und eine Anmerkung hinzugefügt wird, die, Zitat, das Bankmanagement … erklären können sollte und Verteidigung von Underwriting- und Modellierungsentscheidungen.

Was … selbst mit den transparentesten Werkzeugen … sich immer noch wie eine große Aufgabe anfühlt.

Und ohne moderne Regulierung ist auch unklar, wer diese Kredit-Scoring-Monitore überwacht … und wer entscheidet, ob Dinge wie Telefondaten oder Informationen aus sozialen Medien fair sind?

Vor allem, wenn die Endergebnisse weiterhin für Nicht-Kreditzwecke verwendet werden … wie Beschäftigung oder Versicherung.

[KREDITE]

Diese Folge wurde von mir, Karen Hao, Emma Cillekens und Anthony Green produziert. Wir werden von Michael Reilly herausgegeben.

Danke fürs Zuhören, ich bin Jennifer Strong.

[TECHNISCHE REVIEW-ID]

verbergen