211service.com
Können Sie eine KI erstellen, die nicht ableistbar ist?
Doug Maloney/Unsplash
Künstliche Intelligenz hat ein bekanntes Verzerrungsproblem, insbesondere wenn es um Rasse und Geschlecht geht. Sie haben vielleicht einige der Schlagzeilen gesehen: Gesichtserkennungssysteme, die Schwarze Frauen nicht erkennen , oder automatisierte Rekrutierungstools, die weibliche Kandidaten übergehen .
Aber während Forscher sich bemüht haben, einige der ungeheuerlichsten Probleme anzugehen, gibt es eine Gruppe von Menschen, die sie übersehen haben: Menschen mit Behinderungen. Nehmen Sie selbstfahrende Autos. Ihre Algorithmen verlassen sich auf Trainingsdaten, um zu lernen, wie Fußgänger aussehen, damit die Fahrzeuge sie nicht überfahren. Wenn die Trainingsdaten keine Menschen im Rollstuhl enthalten, könnte die Technologie diese Menschen in Lebensgefahr bringen.
Für Shari Trewin, eine Forscherin im IBM Führungsteam für Barrierefreiheit, ist dies inakzeptabel. Im Rahmen einer neue Initiative , ist sie jetzt erkunden neue Designprozesse und technische Methoden, um die maschinelle Voreingenommenheit gegenüber Menschen mit Behinderungen zu verringern. Sie sprach mit uns über einige der Herausforderungen – sowie einige mögliche Lösungen.
Das Folgende wurde aus Gründen der Länge und Klarheit bearbeitet.
Warum ist Fairness gegenüber Menschen mit Behinderungen ein anderes Problem als Fairness in Bezug auf andere geschützte Merkmale wie Rasse und Geschlecht?
Der Behinderungsstatus ist viel vielfältiger und komplexer in Bezug auf die Art und Weise, wie er Menschen betrifft. Viele Systeme modellieren Rasse oder Geschlecht als einfache Variable mit einer kleinen Anzahl möglicher Werte. Aber wenn es um Behinderung geht, gibt es so viele verschiedene Formen und unterschiedliche Schweregrade. Einige von ihnen sind dauerhaft, andere vorübergehend. Jeder von uns kann dieser Kategorie jederzeit in seinem Leben beitreten oder sie verlassen. Es ist eine dynamische Sache.
Etwa jeder fünfte Mensch in den USA hat derzeit irgendeine Art von Behinderung. Es ist also wirklich weit verbreitet, aber schwer auf eine einfache Variable mit einer kleinen Anzahl möglicher Werte festzulegen. Es könnte ein System geben, das Blinde diskriminiert, aber nicht Gehörlose. Das Testen auf Fairness wird also viel schwieriger.
Informationen zu Behinderungen sind ebenfalls sehr sensibel. Die Menschen sind viel zögerlicher, sie preiszugeben als Informationen zu Geschlecht, Alter oder Rasse, und in manchen Situationen ist es sogar illegal, nach diesen Informationen zu fragen. In den Daten ist es also oft viel weniger wahrscheinlich, dass Sie etwas über Behinderungen wissen, die eine Person haben kann oder nicht. Das macht es auch viel schwieriger zu wissen, ob Sie ein faires System haben.
Ich wollte dich danach fragen. Als Menschen haben wir entschieden, dass der beste Weg, um die Diskriminierung aufgrund einer Behinderung zu vermeiden, darin besteht, den Behinderungsstatus nicht preiszugeben. Warum sollte das nicht für maschinell lernende Systeme gelten?
Shari Trewin, Forscherin im IBM Accessibility Leadership Team mit freundlicher Genehmigung von IBM
Ja, das ist das erste, woran die Leute denken: Wenn das System nichts über den Behindertenstatus von Einzelpersonen weiß, ist es sicherlich fair. Das Problem ist jedoch, dass sich die Behinderung oft auf andere Informationen auswirkt, die in das Modell eingespeist werden. Angenommen, ich bin eine Person, die einen Bildschirmleser verwendet, um auf das Internet zuzugreifen, und ich mache einen Online-Test für eine Bewerbung. Wenn dieses Testprogramm nicht gut gestaltet und für meinen Bildschirmleser nicht zugänglich ist, dauert es länger, bis ich auf der Seite navigiere, bevor ich die Frage beantworten kann. Wenn diese Zeit bei meiner Bewertung nicht berücksichtigt wird, ist jeder, der dasselbe Werkzeug mit einer ähnlichen Behinderung verwendet, systematisch benachteiligt – selbst wenn das System nicht weiß, dass ich blind bin.
Wenn es also so viele verschiedene Nuancen von Behinderung gibt, ist es dann überhaupt möglich, Gerechtigkeit zu erreichen?
Ich denke, die allgemeinere Herausforderung für die KI-Community ist der Umgang mit Ausreißern, denn maschinell lernende Systeme – sie lernen Normen, richtig? Sie optimieren für Normen und behandeln Ausreißer nicht besonders. Aber oft entsprechen Menschen mit Behinderungen nicht der Norm. Die Art und Weise, wie maschinelles Lernen Menschen danach beurteilt, wem sie ähnlich sind – selbst wenn es vielleicht noch nie jemanden gesehen hat, der Ihnen ähnlich ist – ist eine grundlegende Einschränkung in Bezug auf die faire Behandlung von Menschen mit Behinderungen.
Was viel besser funktionieren würde, wäre eine Methode, die maschinelles Lernen mit einer zusätzlichen Lösung kombiniert, wie logischen Regeln, die in einer darüber liegenden Schicht implementiert werden. Es gibt auch einige Situationen, in denen mehr Aufmerksamkeit für die Erfassung eines vielfältigeren Datensatzes definitiv hilfreich wäre. Einige Leute experimentieren mit Techniken, bei denen Sie den Kern der Daten herausnehmen und versuchen, für die Ausreißer zu trainieren. Andere experimentieren mit verschiedenen Lerntechniken, die möglicherweise besser für Ausreißer als für die Norm optimiert werden.
Ich denke, erst wenn man anfängt, über Behinderung nachzudenken, fängt man an, über die Vielfalt von Individuen und die Bedeutung von Ausreißern nachzudenken. Wenn Ihr Datensatz nicht über genügend Geschlechterdiversität verfügt, können Sie dies beheben. Es ist nicht so einfach, die Vielfalt der Behinderungen zu beheben.
Wie kommt man über das Problem hinweg, dass Menschen ihren Behindertenstatus privat behandeln?
Ja, um ein System auf Fairness zu testen, braucht man einige Daten. Und Menschen mit Behinderungen, die diese Daten bereitstellen, sind ein soziales Gut, aber es ist ein persönliches Risiko. Menschen mit Behinderungen sind oft auch in anonymen Daten leicht zu identifizieren, nur weil sie so einzigartig sind. Wie mildern wir das also ab? Das rechnen wir noch aus.
Was sind Ihre größten Bedenken in Bezug auf dieses Problem?
Oft optimieren KI-Systeme etwas, das nicht das Wohlergehen der Menschen ist, die von den Entscheidungen betroffen sind. Diese Auswirkung muss im Designprozess viel stärker in den Vordergrund rücken, damit wir nicht nur ein System einführen, das darauf achtet, wie viel Geld wir sparen oder wie effizient wir Menschen bearbeiten. Wir brauchen neue Messsysteme, die den Aspekt der Auswirkungen auf die Endnutzer einbeziehen, insbesondere wenn es sich um eine benachteiligte Gruppe handelt.
Wie würden wir das machen?
Das Testen auf Fairness ist eine Möglichkeit, diese Wirkung zu messen. Das Einbeziehen der benachteiligten Gruppe in den Gestaltungsprozess und das Anhören ihrer Anliegen ist eine andere. Sogar explizit eine Metrik für die Zufriedenheit der Stakeholder aufzunehmen, die Sie durch Interviews oder Umfragen messen könnten – so etwas in der Art.
Was begeistert Sie an diesem Forschungsgebiet?
KI-Technologien verändern bereits jetzt die Welt für Menschen mit Behinderungen, indem sie ihnen neue Möglichkeiten bieten, wie z. B. Anwendungen, die Ihnen mitteilen, was sich in Ihrem Sichtfeld befindet, wenn Sie Ihr Telefon darauf richten.
Ich denke, wenn wir es richtig machen, gibt es eine echte Chance für KI-Systeme, frühere rein menschliche Systeme zu verbessern. In der heutigen Gesellschaft gibt es viel Diskriminierung, Voreingenommenheit und Missverständnisse gegenüber Menschen mit Behinderungen. Wenn wir einen Weg finden, KI-Systeme zu entwickeln, die diese Art von Voreingenommenheit beseitigen, können wir damit beginnen, die Behandlung von Menschen mit Behinderungen zu ändern und Diskriminierung zu reduzieren.