Voreingenommene Algorithmen sind überall, und niemand scheint sich darum zu kümmern

Kate Crawford, die diese Woche auf der AI Now-Konferenz am MIT sprach. John Maeda (@johnmaeda)

Undurchsichtige und möglicherweise voreingenommene mathematische Modelle verändern unser Leben – und weder die Unternehmen, die für ihre Entwicklung verantwortlich sind, noch die Regierung sind daran interessiert, das Problem anzugehen.

Diese Woche startete eine Gruppe von Forschern zusammen mit der American Civil Liberties Union eine Anstrengung, algorithmische Voreingenommenheit zu identifizieren und hervorzuheben. Der AI Now-Initiative wurde auf einer Veranstaltung am MIT angekündigt, um zu diskutieren, was viele Experten als wachsende Herausforderung ansehen.

Algorithmische Voreingenommenheit entwickelt sich zu einem wichtigen gesellschaftlichen Problem in einem kritischen Moment in der Entwicklung des maschinellen Lernens und der KI. Wenn die Voreingenommenheit, die in den Algorithmen lauert, die immer wichtigere Entscheidungen treffen, unerkannt und ungeprüft bleibt, könnte dies schwerwiegende negative Folgen haben, insbesondere für ärmere Gemeinschaften und Minderheiten. Der eventuelle Aufschrei könnte auch den Fortschritt einer unglaublich nützlichen Technologie behindern (siehe Algorithmen auf Bias untersuchen).

Algorithmen, die versteckte Vorurteile verbergen können, werden bereits routinemäßig verwendet, um wichtige finanzielle und rechtliche Entscheidungen zu treffen. Proprietäre Algorithmen werden verwendet, um beispielsweise zu entscheiden, wer ein Vorstellungsgespräch bekommt, wer eine Bewährung erhält und wer einen Kredit bekommt.

Die Gründer der neuen AI Now Initiative, Kate Crawford , eine Forscherin bei Microsoft, und Meredith Whittaker, eine Forscherin bei Google, sagen, dass Voreingenommenheit in allen Arten von Dienstleistungen und Produkten vorhanden sein kann.

Es sei noch am Anfang, algorithmische Voreingenommenheit zu verstehen, sagten Crawford und Whittaker in einer E-Mail. Gerade in diesem Jahr haben wir mehr Systeme mit Problemen gesehen, und dies sind nur die, die untersucht wurden.

Beispiele für algorithmische Voreingenommenheit, die in letzter Zeit ans Licht gekommen sind, seien fehlerhaft und falsch dargestellt Systeme zur Einstufung von Lehrern , und geschlechtsspezifische Modelle für die Verarbeitung natürlicher Sprache .

Cathy O’Neil, Mathematikerin und Autorin von Waffen der mathematischen Zerstörung , ein Buch, das das Risiko algorithmischer Voreingenommenheit in vielen Kontexten hervorhebt, sagt, dass Menschen oft zu bereitwillig mathematischen Modellen vertrauen, weil sie glauben, dass sie menschliche Voreingenommenheit beseitigen werden. [Algorithmen] ersetzen menschliche Prozesse, aber sie unterliegen nicht denselben Standards, sagt sie. Die Leute vertrauen ihnen zu sehr.

Eine zentrale Herausforderung, sagen diese und andere Forscher, besteht darin, dass wichtige Interessengruppen, einschließlich der Unternehmen, die maschinelle Lernsysteme entwickeln und anwenden, und staatliche Regulierungsbehörden, wenig Interesse an der Überwachung und Begrenzung algorithmischer Verzerrungen zeigen. Finanz- und Technologieunternehmen verwenden alle möglichen mathematischen Modelle und sind nicht transparent darüber, wie sie arbeiten. O’Neil sagt zum Beispiel, sie sei besorgt darüber, wie die Algorithmen hinter Googles neuem Jobsuchdienst funktionieren.

Verwandte Geschichte

Verwandte Geschichte Ohne Wissenschafts- und Technologieberater im Weißen Haus könnte Präsident Trump Schwierigkeiten haben, auf Krisen zu reagieren.

O’Neil arbeitete zuvor als Professor am Barnard College in New York und als quantitativer Analyst bei der Firma D. E. Shaw. Sie ist jetzt Leiterin Online-Risikoberatung und algorithmische Prüfung , ein Unternehmen, das gegründet wurde, um Unternehmen dabei zu helfen, Verzerrungen in den von ihnen verwendeten Algorithmen zu erkennen und zu korrigieren. Aber O’Neil sagt, dass selbst diejenigen, die wissen, dass ihre Algorithmen dem Risiko von Voreingenommenheit ausgesetzt sind, mehr am Endergebnis interessiert sind als daran, Voreingenommenheit auszurotten. Ich werde ehrlich zu dir sein, sagt sie. Ich habe gerade keine Kunden.

O’Neil, Crawford und Whittaker warnen alle auch davor, dass das mangelnde Interesse der Trump-Administration an KI – und an der Wissenschaft im Allgemeinen – bedeutet, dass es keine Regulierungsbewegung gibt, um das Problem anzugehen (siehe The Gaping, Dangerous Hold in the Trump Administration).

Das Office of Science and Technology Policy engagiert sich nicht mehr aktiv in der KI-Politik – oder im Großen und Ganzen laut ihrer Website, schreiben Crawford und Whittaker. Politische Arbeit muss jetzt an anderer Stelle geleistet werden.

verbergen