Ich fing an zu weinen: Einblicke in Timnit Gebrus letzte Tage bei Google – und was als nächstes passiert

. Illustration von Timnit Gebru

Nhung Le





  • Karen Hao Archivseite
16. Dezember 2020

Inzwischen haben wir alle eine Version der Geschichte gehört. Am 2. Dezember, nach einer langwierigen Meinungsverschiedenheit über die Veröffentlichung einer Forschungsarbeit, Google seinen ethischen KI-Co-Lead, Timnit Gebru, hinausgedrängt . Das Papier war auf der Risiken großer Sprachmodelle , KI-Modelle, die mit erstaunlichen Mengen an Textdaten trainiert wurden, die einen Forschungskern für das Geschäft von Google darstellen. Gebru, eine führende Stimme in der KI-Ethik, war eine der wenigen schwarzen Frauen bei Google Research.

Der Schritt hat seitdem eine Debatte über den wachsenden Einfluss von Unternehmen auf KI, den langjährigen Mangel an Vielfalt in der Technologie und die Bedeutung einer sinnvollen KI-Ethikforschung ausgelöst. Am 15. Dezember hatten über 2.600 Google-Mitarbeiter und 4.300 andere in Wissenschaft, Industrie und Zivilgesellschaft eine Petition unterschrieben verurteilte die Entlassung von Gebru und nannte sie eine beispiellose Forschungszensur und einen Akt der Vergeltung.

Verwandte Geschichte

Wir haben die Zeitung gelesen, die Timnit Gebru aus Google verdrängt hat. Hier ist, was es sagt.

Der Star-Ethikforscher des Unternehmens hob die Risiken großer Sprachmodelle hervor, die für das Geschäft von Google von entscheidender Bedeutung sind.



Gebru ist bekannt für seine Grundlagenarbeit in KI-Diskriminierung aufdecken , Entwicklung Methoden zur Dokumentation und Prüfung von KI-Modellen , und sich für mehr Vielfalt in der Forschung einzusetzen. 2016 war sie Mitbegründerin das gemeinnützige Schwarz in der KI , das sich zu einer zentralen Ressource für Bürgerrechtler, Gewerkschaftsvertreter und führende KI-Ethikforscher entwickelt hat, um schwarze KI-Forschungstalente zu kultivieren und hervorzuheben.

Der Verlust ihres Jobs hat Gebru nicht gebremst. In der folgenden Woche nahm sie an mehreren Workshops bei NeurIPS teil, der größten jährlichen KI-Forschungskonferenz, an der in diesem Jahr über 20.000 Menschen teilnahmen. Es war therapeutisch, sagt sie, zu sehen, wie die Gemeinschaft, die sie mit aufgebaut hatte, auftauchte und sich gegenseitig unterstützte. Jetzt, eine weitere Woche später, kommt sie einfach zur Ruhe und holt wieder Luft – und versucht, dem Ganzen einen Sinn zu geben.

Am Montag, dem 14. Dezember, habe ich mich über Zoom mit Gebru getroffen. Sie erzählte, was während ihrer Zeit bei Google passiert ist, dachte darüber nach, was dies für die Feld- und KI-Ethikforschung bedeutete, und gab abschließende Ratschläge an diejenigen, die Technologieunternehmen weiterhin zur Rechenschaft ziehen wollen. Sie können sich auch eine spezielle Folge unseres Podcasts In Machines We Trust anhören, um die Höhepunkte des Interviews zu sehen. (Google lehnte eine Bitte um Stellungnahme zum Inhalt dieses Interviews ab.)



Das Folgende wurde bearbeitet und gekürzt.

Ich wollte mich erst einmal erkundigen, wie es dir geht.

Ich habe das Gefühl, dass ich nicht wirklich die Zeit hatte, alles, was passiert ist, und seine Auswirkungen emotional zu verarbeiten. Ich gehe nur und gehe und gehe. Ich habe also das Gefühl, dass ich wahrscheinlich irgendwann auseinanderfallen werde, wenn es eine kleine Flaute gibt. Aber im Moment mache ich mir nur große Sorgen um mein Team und die Leute, die mich unterstützen, und um die Arten von Risiken, die sie eingehen, und um sicherzustellen, dass sie nicht mit Vergeltungsmaßnahmen konfrontiert werden.

Es gibt so viele Berichte darüber, was passiert ist. Ich wollte mit dieser Geschichte an einem viel früheren Punkt beginnen. Was hat Sie ursprünglich dazu bewogen, bei Google zu arbeiten, und wie war Google damals?

Ich denke Samy [Bengio, ein Direktor bei Google AI] und Jeff [Dean, der SVP von Google Research] waren beim Black in AI Workshop [bei NeurIPS im Jahr 2017]. Sie fragten mich, was ich mache, und sie sagten: Oh ja, du solltest bei Google arbeiten. Ich hatte es nicht geplant. Ich war damals Postdoc bei Microsoft Research [MSR]. Ich hatte nicht herausgefunden, was ich als nächstes tun würde. Aber ich wusste, dass ich zurück in die Bay Area wollte, und sie gründeten ein Büro in Accra, Ghana. Ich dachte, es wäre gut für mich, dabei zu helfen.



Ich hatte viele Vorbehalte. Ich war in New York City bei MSR, und dort waren viele Sängerinnen – Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Es gab nicht wirklich farbige Frauen. Die einzigen schwarzen Frauen, die ich von Microsoft Research kenne, sind Danielle Bellgrave in Großbritannien und Shawndra Hill in New York. Aber auch die Männer waren sehr unterstützend. Ich zögerte sehr, in eine Umgebung zu gehen, in der ich wusste, dass Google Research nicht für seine Interessenvertretung für Frauen bekannt ist. Es gab eine Reihe von Problemen, die ich durch meine Flüsternetzwerke gehört hatte. Als ich sagte, dass ich zu Google Research gehen würde, setzten sich tatsächlich einige Leute mit mir hin. Also habe ich mich schon davor gefürchtet, wie Oh, Mann, okay, worauf gehe ich ein?

Ich war definitiv die erste schwarze Frau, die Forscherin bei Google war. Nach mir haben wir noch zwei schwarze Frauen. Das ist, wie von so vielen Forschern. Hunderte und Hunderte. Drei von Gott weiß wie vielen.

Sie haben uns nicht enttäuscht. Es war nur ein ständiger Kampf. Ich versuchte, es so anzugehen, dass ich mit Menschen sprach, versuchte, sie zu erziehen, versuchte, sie dazu zu bringen, eine bestimmte Sichtweise zu sehen. Ich dachte immer, dass sie es besser machen könnten, weißt du? Mit Samy ist er zu einem so großen Fürsprecher geworden. Die Leute haben sich darüber beschwert, dass diese Organisation [Google Research] nur 14 % Frauen einstellt. Samy, mein Manager, stellte 39 % Frauen ein. Es war nicht so, als hätte er überhaupt einen Anreiz dazu. Er war der einzige Grund, warum ich das Gefühl habe, dass mir das vorher nicht passiert ist. Wahrscheinlich weil er uns beschützt hat. Und indem er uns beschützt, würde er selbst in Schwierigkeiten geraten. Wenn andere Anführer Sie tonangeben und Sie zu laut sind, sind Sie wie ein Unruhestifter – wir alle wissen, dass das mit Leuten wie mir passiert – dann wird jemand, der Sie verteidigt, offensichtlich auch ein Problem sein für die anderen Führer.



Das waren also meine zwei Jahre bei Google. Ich dachte eigentlich, dass wir vielleicht bis zum letzten Vorfall Fortschritte machen, weil unser Team gewachsen ist. Es löste sich fast auf – zwei Monate nach meiner Zeit bei Google wollte meine Co-Leaderin Meg Mitchell kündigen. Aber dann haben wir unser Team erweitert und sind jetzt ungefähr 12 Leute. Also dachte ich, dass wir uns langsam vorwärts bewegten.

Es wurde so viel über Diversität und Inklusion geredet, aber so viel Heuchelei. Ich bin eine von 1,6 % schwarzen Frauen bei Google. In [Google] Research sind es nicht 1,6 %, sondern viel weniger. Ich war definitiv die erste schwarze Frau, die Forscherin bei Google war. Nach mir haben wir noch zwei schwarze Frauen. Das ist, wie von so vielen Forschern. Hunderte und Hunderte. Drei von Gott weiß wie vielen.

Irgendwann dachte ich nur, weißt du was? Von Vielfalt will ich gar nicht reden. Es ist einfach anstrengend. Sie wollen Treffen mit dir haben, sie hören dir nicht zu und dann wollen sie wieder Treffen mit dir haben. Ich habe eine Million Dokumente über eine Million Diversity-bezogene Dinge geschrieben – über Rassenkompetenz und maschinelles Lernen [ML], ML-Fairness-Initiativen, über die Bindung von Frauen und die Probleme. So viele Dokumente und so viele E-Mails.

Es kam also nur eins nach dem anderen. Es gab keinen einzigen Urlaub, den ich bei Google verbracht habe, in dem ich nicht mit dem einen oder anderen Problem beschäftigt war. Es war einfach nie Ruhe. Stell dir vor, jemand schießt mit einer Waffe auf dich und du schreist. Und anstatt zu versuchen, die Person, die mit einer Waffe auf dich schießt, aufzuhalten, versucht sie, dich am Schreien zu hindern. So fühlte es sich an. Es war einfach so schmerzhaft, immer und immer wieder in dieser Position zu sein.

Sie haben erfolgreich eines der vielfältigsten Teams der KI-Branche aufgebaut. Was hat es dazu eigentlich gebraucht?

Wir mussten mit allen möglichen Dingen kämpfen. Ich musste ein Manager sein, und dann wollten die Leute nicht, dass ich ein Manager bin. Ich dachte: Okay, ich habe eine sehr bekannte gemeinnützige Organisation gegründet. Warum haben Sie „Bedenken“, dass ich ein Manager bin? Samy hat mir das nicht gesagt, aber er musste diese Nachricht überbringen: Weiß sie, dass sie für Dinge gefeuert werden kann? Weiß sie, dass sie, wenn sie Managerin wird, eine Vertreterin von Google sein muss? Dann äußerten Leute Bedenken, dass ich bei Google unzufrieden zu sein schien. Es ist nicht so, Oh, es gibt eine giftige Kultur, die Menschen wie sie unglücklich macht. Also lasst uns diese Kultur reparieren. Nein, das war nicht das Gespräch. Das Gespräch war Sie scheint unglücklich zu sein, also machen wir sie nicht zur Managerin.

Ich war damals stinksauer. Ich war so wütend. Ich habe jede andere Person, die Manager auf meiner Ebene wurde, nach ihren Erfahrungen gefragt. Ich sage: Diese Person wurde Manager und niemand hat sie jemals gefragt, ob sie wüssten, dass sie für X, Y und Z gefeuert werden würden. Diese andere Person wurde Manager. Niemand musste mit ihnen sprechen. Es gab überhaupt keine Diskussion. Bei mir war das nicht so.

Stell dir vor, jemand schießt mit einer Waffe auf dich und du schreist. Und anstatt zu versuchen, die Person, die mit einer Waffe auf dich schießt, aufzuhalten, versucht sie, dich am Schreien zu hindern.

Eine andere Sache: Wir wollten Sozialwissenschaftler einstellen. Oft stellen Forscher einfach ihre Freunde ein, und das wollten wir nicht. Wir haben einen Anruf getätigt. Wir haben 300 Bewerbungen bekommen. Wir haben sie von Hand durchgesehen, weil wir sicherstellen wollten, dass die Personalvermittler nicht bestimmte Personengruppen herausfiltern. Wir hatten einen kurzen Anruf mit etwas über 20, wir hatten ein Vorstellungsgespräch vor Ort mit 10 Leuten und dann stellten wir zwei von ihnen ein.

Ich dachte, wir machten Fortschritte, weil wir in der Lage waren, Ressourcen zu bekommen, um diese Leute einzustellen. Also dachte ich, dass Jeff vielleicht anfing, unser Team zu unterstützen und die Dinge zu unterstützen, die wir taten. Ich hätte nie gedacht – ich weiß nicht genau, wie diese Sache überhaupt passiert ist – aber ich habe mir einfach nicht vorgestellt, dass er es [meine Entlassung] unterzeichnen würde. Ich kann mir nicht vorstellen, dass er es initiiert hat, aber selbst dass er es unterschrieben hat, war einfach etwas so Überraschendes für mich.

Konnten Sie in der Zeit, als Sie das Team aufbauten, Beziehungen zu anderen Teams bei Google aufbauen? Wurden bestimmte Teile der Organisation empfänglicher für Fragen der KI-Ethik?

Die meisten Leute in unserem Team werden mit Anfragen von anderen Teams oder anderen Personen überschwemmt. Und eine unserer Herausforderungen war, nicht immer mitten im Feuer zu stehen, weil wir vorausschauend sein wollten. Wir wollten die Zukunft gestalten und nicht nur reagieren.

Das größte Missverhältnis, das ich sehe, ist, dass es so viele Leute gibt, die uns respektieren, aber dann gibt es Leute an der Spitze, wie VPs, die uns vielleicht einfach nicht ausstehen können oder unsere Autorität oder unser Fachwissen überhaupt nicht respektieren. Ich habe das einige Male gesehen. Aber die Leute bei Google Cloud oder speziell bei Cloud AI, einige der Führungskräfte – sie haben uns sehr unterstützt. Ich hatte das Gefühl, dass sie unsere Führung wirklich respektierten, also versuchten sie, uns in viele Dinge hineinzuziehen. Andererseits war dieses neueste Fiasko nicht von ihnen. Ich habe meine Vermutung, von welchen Vizepräsidenten es kam, und sie respektierten unsere Expertise oder Führung sicherlich nicht.

Kannst du ein bisschen mehr darüber erzählen?

Nun, auch wenn Sie nur sehen die E-Mail von Jeff – Ich gehe davon aus, dass er diese E-Mail nicht geschrieben hat; Ich nehme an, jemand hat es geschrieben und verschickt – es spricht davon, dass unsere Forschung [Papier zu großen Sprachmodellen] Lücken hatte, es fehlte etwas Literatur. [Die E-Mail klingt nicht] so, als würden sie mit Leuten sprechen, die Experten auf ihrem Gebiet sind. Dies ist kein Peer-Review. Dies ist nicht Rezensent Nr. 2, der Ihnen sagt: Hey, da fehlt dieses Zitat. Das ist eine Gruppe von Leuten, die wir nicht kennen, die hoch oben sind, weil sie schon lange bei Google sind, denen aus einem unbekannten Grund und einem Vorgang, den ich noch nie gesehen habe, die Macht gegeben wurde diese Forschung einzustellen.

Wir hatten 128 Zitate [auf diesem Papier], und wir schickten unser Papier an viele dieser Personen, die wir zitierten. Wir waren so gründlich. Ich sagte, okay, ich möchte die Leute, die wir um Feedback bitten, in vier Eimer einteilen. Einer sind die Leute, die selbst große Sprachmodelle entwickelt haben, nur um ihre Perspektive zu bekommen. Einer davon sind Menschen, die im Bereich des Verständnisses und der Minderung der Voreingenommenheit in diesen Modellen arbeiten. Der eine sind Menschen, die unserer Ansicht möglicherweise nicht zustimmen. Einer sind Menschen, die diese großen Sprachmodelle für verschiedene Dinge verwenden. Und wir haben ein ganzes Dokument mit all diesem Feedback, das wir durchgehen sollten, um es anzusprechen, und das ich noch tun möchte, bevor wir diese Arbeit veröffentlichen.

Aber die Art und Weise, wie sie [die Google-Führung] mit uns sprachen, war nicht so, als sprächen sie mit weltbekannten Experten und Linguisten. Zum Beispiel ist Emily Bender [eine Professorin an der University of Washington und Mitautorin des Papiers] keine zufällige Person, die ihren Namen einfach auf ein beliebiges Papier da draußen gesetzt hat. Ich fand das Ganze so respektlos.

Gab es vor diesem speziellen Dokument frühere Fälle, in denen Sie jemals das Gefühl hatten, dass Google die Möglichkeiten Ihres Teams zur Durchführung von Recherchen einschränkt oder einschränkt?

Ich hatte das Gefühl, dass es frühere Fälle gab, in denen sie die Forschungsergebnisse stark verwässert haben. Die Leute hatten Gespräche mit PR und Politik oder was auch immer, und sie würden bestimmte Formulierungen oder bestimmte Besonderheiten in Frage stellen. Das ist es, was ich dachte, sie könnten es auch mit diesem Papier versuchen. Also schrieb ich ein Dokument und fragte sie immer wieder: Was genau ist Ihr Feedback? Ist Ihr Feedback, einen Abschnitt hinzuzufügen? Zu entfernen? Was bedeutet das? Was fragen Sie uns?

Das war buchstäblich meine E-Mail am Freitag nach Thanksgiving [ 27. November, fünf Tage vor Gebrus Entlassung ], weil ich am Erntedankfest meinen Tag damit verbracht hatte, dieses Dokument zu schreiben, anstatt eine schöne Zeit mit meiner Familie zu verbringen. Am nächsten Tag, am Freitag, an dem ich dieses Papier zurückziehen sollte, schrieb ich: Okay, ich habe dieses sechsseitige Dokument geschrieben, in dem ich auf hoher und niedriger Ebene jegliches Feedback anspreche, das ich sammeln kann. Und ich hoffe, dass zumindest die Offenheit für weitere Gespräche und nicht nur für weitere Befehle vorhanden ist. Ich habe diese E-Mail geschrieben. So wie das. Wie antwortet Megan [Kacholia, VP of Engineering bei Google Research] auf diese E-Mail? Am Montag antwortet sie darauf und sagt: Können Sie bitte bestätigen, dass Sie das Papier entweder zurückgezogen oder die Namen der Autoren aus diesem Papier entfernt haben. Danke schön. Und können Sie dies bitte bestätigen, nachdem Sie dies getan haben. Senden Sie mir eine E-Mail und bestätigen Sie. Als ob ich keine Agentur hätte.

Das tun sie nicht mit Menschen, die sich an grobem Fehlverhalten beteiligt haben. Sie geben ihnen 80 Millionen Dollar und sie geben ihnen einen netten kleinen Ausstieg. Sie tun nicht, was sie mir angetan haben.

Dann habe ich in diesem Dokument geschrieben, dass dies dem Ethical AI-Team gegenüber äußerst respektlos war und dass es ein Gespräch geben muss, nicht nur mit Jeff und unserem Team und Megan und unserem Team, sondern mit der gesamten Forschung über Respekt für Forscher und wie man solche Diskussionen führt. NÖ. Keine Auseinandersetzung damit.

Ich habe übrigens geweint. Als ich dieses erste Treffen hatte, das am Donnerstag vor Thanksgiving war, einen Tag bevor ich in den Urlaub fahren wollte, fing ich an zu weinen, als Megan uns sagte, dass Sie dieses Papier zurückziehen müssen. Ich war so aufgeregt, weil ich sagte, ich bin es so leid, hier ständig zu kämpfen. Ich dachte, wenn ich all diese DEI-Heuchelei und andere Dinge einfach ignorieren und mich nur auf meine Arbeit konzentrieren würde, dann könnte ich zumindest meine Arbeit erledigen. Und jetzt kommst du wegen meiner Arbeit. Also fing ich buchstäblich an zu weinen.

Was, glauben Sie, war es, das diese Ereignisse in Bezug auf dieses spezielle Papier ausgelöst hat? Glaubst du, dass es tatsächlich um dieses Papier ging, oder waren da noch andere Faktoren im Spiel?

Ich weiß nicht. Samy war von der ganzen Sache entsetzt. Er meinte, so behandeln wir Forscher nicht. Ich meine, so behandelt man Menschen im Allgemeinen nicht. Die Leute reden darüber, wie, wenn das jemandem passiert, der so erfolgreich ist, ich mir vorstelle, was sie mit Menschen machen, besonders mit Menschen in gefährdeten Gruppen.

Sie dachten wahrscheinlich, ich würde sehr leise sein. Ich weiß nicht. Ich glaube nicht, dass es am Ende nur um dieses Papier ging. Vielleicht waren sie überrascht, dass ich in irgendeiner Weise zurückgedrängt habe. Ich versuche immer noch herauszufinden, was passiert ist.

Haben Sie aufgrund der vorangegangenen Ereignisse und Spannungen jemals geahnt, dass es so enden würde? Und hast du mit der Reaktion der Community gerechnet?

Ich dachte, sie könnten mich so unglücklich machen, dass ich gehen könnte, oder so ähnlich. Ich dachte, dass sie schlauer wären, als es genau auf diese Weise zu tun, weil es ein Zusammenfluss von so vielen Themen ist, mit denen sie sich befassen: Forschungszensur, ethische KI, Arbeitsrechte, DEI – all die Dinge, unter die sie geraten sind Feuer für vorher. Also habe ich nicht erwartet, dass es so sein würde – wie, mein Firmenkonto komplett zu kündigen. Das ist so rücksichtslos. Das tun sie nicht mit Menschen, die sich an grobem Fehlverhalten beteiligt haben. Sie Geben Sie ihnen 80 Millionen Dollar , und sie geben ihnen einen netten kleinen Ausgang, oder vielleicht fördern sie sie nicht passiv-aggressiv oder was auch immer. Sie tun den Menschen, die tatsächlich ein feindliches Arbeitsumfeld schaffen, nicht das an, was sie mir angetan haben.

Ich habe es von meinen direkten Untergebenen herausgefunden, wissen Sie? Was so, so traurig ist. Sie waren einfach so traumatisiert. Ich glaube, mein Team blieb bis 4 oder 5 Uhr morgens zusammen und versuchte, einen Sinn in dem zu finden, was passiert war. Und um Samy herumzugehen – es war einfach alles so schrecklich und rücksichtslos.

Ich dachte, wenn ich mich nur auf meine Arbeit konzentrieren würde, könnte ich wenigstens meine Arbeit erledigen. Und jetzt kommst du wegen meiner Arbeit. Also fing ich buchstäblich an zu weinen.

Ich habe ein gewisses Maß an Unterstützung erwartet, aber ich habe definitiv nicht mit der Menge an Ausgießungen gerechnet, die es gibt. Es war unglaublich zu sehen. So etwas habe ich noch nie erlebt. Ich meine, zufällige Verwandte schreiben mir eine SMS, ich habe das in den Nachrichten gesehen. Das ist definitiv nicht etwas, was ich erwartet habe. Aber die Leute gehen gerade so viele Risiken ein. Und das beunruhigt mich, weil ich wirklich sicherstellen möchte, dass sie sicher sind.

Sie haben erwähnt, dass es nicht nur um Sie geht; Es geht nicht nur um Google. Es ist ein Zusammenfluss von so vielen verschiedenen Themen. Was sagt diese besondere Erfahrung über den Einfluss von Technologieunternehmen auf die KI im Allgemeinen und ihre Fähigkeit aus, tatsächlich sinnvolle Arbeit in der KI-Ethik zu leisten?

Weißt du, es gab eine Reihe von Leuten Vergleich von Big Tech und Big Tobacco , und wie sie die Forschung zensierten, obwohl sie die Probleme schon eine Weile kannten. Ich lehne die Dichotomie zwischen Wissenschaft und Technologie ab, weil beide die gleiche Art von sehr rassistischem und sexistischem Paradigma haben. Das Paradigma, das Sie lernen und zu Google oder wo auch immer mitnehmen, beginnt in der Wissenschaft. Und die Menschen bewegen sich. Sie gehen in die Industrie und dann zurück in die Wissenschaft oder umgekehrt. Sie sind alle Freunde; Sie gehen alle zu denselben Konferenzen.

Ich denke nicht, dass die Lektion darin besteht, dass es keine KI-Ethikforschung in Technologieunternehmen geben sollte, aber ich denke, die Lektion ist, dass a) es viel mehr unabhängige Forschung geben muss. Wir müssen mehr Wahlmöglichkeiten haben als nur DARPA [die Defense Advanced Research Projects Agency] gegenüber Unternehmen. Und b) es muss natürlich eine Aufsicht über Technologieunternehmen geben. An diesem Punkt verstehe ich einfach nicht, wie wir weiterhin glauben können, dass sie sich in Bezug auf DEI oder Ethik oder was auch immer selbst regulieren werden. Sie haben nicht das Richtige getan, und sie werden nicht das Richtige tun.

Ich denke, akademische Institutionen und Konferenzen müssen ihre Beziehungen zu großen Unternehmen und die Geldbeträge, die sie ihnen abnehmen, überdenken. Einige Leute fragten sich zum Beispiel sogar, ob einige dieser Konferenzen einen Verhaltenskodex ohne Zensur oder ähnliches haben sollten. Ich denke also, dass diese Konferenzen und akademischen Institutionen eine Menge tun können. Momentan herrscht ein zu großes Machtungleichgewicht.

Welche Rolle können Ethikforscher Ihrer Meinung nach spielen, wenn sie in Unternehmen tätig sind? Wenn Ihr ehemaliges Team bei Google bleibt, welchen Weg sehen Sie für es in Bezug auf seine Fähigkeit, wirkungsvolle und sinnvolle Arbeit zu leisten?

Ich denke, es muss eine Art Schutz für solche Leute oder solche Forscher geben. Im Moment ist es offensichtlich sehr schwer vorstellbar, wie irgendjemand innerhalb dieser Unternehmen echte Forschung betreiben kann. Aber wenn Sie Arbeitsschutz hätten, wenn Sie Whistleblower-Schutz hätten, wenn Sie etwas mehr Aufsicht hätten, könnte es einfacher sein, Menschen zu schützen, während sie diese Art von Arbeit verrichten. Es ist sehr gefährlich, wenn Sie diese Art von Forschern haben, die das tun, was mein Co-Leiter Feigenblatt-Vertuschungsarbeit nannte. Wir ändern nichts, wir legen nur ein Feigenblatt auf die Kunst. Wenn Sie sich in einer Umgebung befinden, in der die Menschen mit Macht nicht daran interessiert sind, etwas wirklich zu verändern, weil sie keinerlei Anreiz haben, wird es offensichtlich überhaupt nicht helfen, diese Art von Forschern dort zu verankern. Aber ich denke, wenn wir Rechenschafts- und Aufsichtsmechanismen schaffen können, Schutzmechanismen, dann hoffe ich, dass wir es Forschern wie diesem ermöglichen können, weiterhin in Unternehmen zu existieren. Doch dafür muss sich einiges ändern.

Abgesehen davon, dass Konferenzen oder Vorschriften die Anreizstrukturen ändern, gibt es andere Mechanismen oder Dinge, die Sie als Teil dieses externen Aufsichtsrahmens sehen könnten? Sehen Sie eine Rolle, die die Öffentlichkeit dabei spielen könnte, Technologieunternehmen zur Rechenschaft zu ziehen?

Darüber muss ich noch mehr nachdenken. Ich denke, dass die Öffentlichkeit besser über die Rolle aufgeklärt werden muss, die Technologieunternehmen und auch KI in unserem täglichen Leben spielen. Viele Leute haben das wirklich gut gemacht. Leute haben Bücher geschrieben— Waffen der mathematischen Zerstörung war ein sehr gutes Buch für mich zu lesen. Es gibt Codierte Voreingenommenheit , die Dokumentation. Ich freue mich auch, dass ich allmählich sehe, dass Universitäten einige dieser Kurse in Informatik anbieten. Ich denke, sie sollten erforderlich sein. Nicki Washington hat eine Klasse bei Duke die ich gerne hätte nehmen können. Ruha [Benjamin] hat eine Klasse [in Princeton] . Ich denke, unser Verständnis davon, wie Wissenschaft entwickelt wird und wie Technik entwickelt wird – es muss sich nur ändern. Die Öffentlichkeit muss die politische Natur dieser Arbeit verstehen. Die Hochschulsysteme hinken meiner Meinung nach in dieser Hinsicht sehr hinterher. Sie müssen viel arbeiten.

In Bezug auf die Öffentlichkeit denke ich, dass es viel weniger Bewusstsein gab, wenn ich vor drei, vier Jahren zurückgehen würde. Jetzt sind Einrichtungen wie die ACLU [American Civil Liberties Union] stark involviert; Sie haben die Algorithmic Justice League , Daten für Schwarze Leben , macht hier viel Arbeit. Ich denke also, dass die Öffentlichkeit mehr erfahren kann. Aber ich denke, das liegt eher an den Politikern, weil wir einen Mechanismus haben, um die Öffentlichkeit in verschiedene Dinge einzubeziehen. Aber die Politiker geben der Öffentlichkeit keine Möglichkeit, sich zu beteiligen. Zum Beispiel [Datenanalyseunternehmen] Palantir wurde in New Orleans eingesetzt für Predictive Policing und niemand wusste es. Es gab keine Abstimmung. Es gab keine Rechnung. Es gab keine Diskussion darüber. Daher muss unsere Regierung der Öffentlichkeit aktiv die Möglichkeit geben, sich zu solchen Themen zu äußern.

Was bedeutet es, tatsächlich sinnvolle KI-Ethikarbeit zu leisten?

Ich denke, es bedeutet vielleicht, dass Sie die grundlegenden Prämissen und grundlegenden Fragen der KI in Frage stellen können. Sie müssen die Dinge nicht nur vertuschen oder nur reaktionär sein. Sie können vorausschauend in die Zukunft blicken und frühzeitig einsteigen, während Produkte überlegt und entwickelt werden, und nicht nur Dinge im Nachhinein tun. Das ist das Wichtigste, woran ich denke. Und dass die Menschen, die am meisten von der Technologie betroffen sind, von Anfang an ein sehr großes Mitspracherecht haben sollten.

Sie haben bereits erwähnt, dass die Ethik in Technologieunternehmen oft von oben nach unten kommt, von Menschen, die nicht unbedingt von der Technologie betroffen sind. Was ist die ideale Balance zwischen marginalisierten Stimmen, die das Gespräch vorantreiben, und gleichzeitig der Zustimmung der obersten Führung?

Wenn Menschen am Rand keine Macht haben, dann gibt es für niemanden einen Anreiz, ihnen zuzuhören oder sie die Diskussion mitgestalten zu lassen. Ich denke also, dass die Leute an der Spitze ein Umfeld fördern müssen, in dem die Leute am Rand die Diskussionen über diese Dinge, über KI-Ethik, über Vielfalt und Inklusion prägen.

Wenn wir Wissenschaft objektiv lernen, wird uns beigebracht, was der Blick aus dem Nichts genannt wird, als ob Sie Ihren Standpunkt nicht dazu bringen sollten. Ich denke, die Leute sollten genau das Gegenteil tun.

Das ist nicht das, was gerade passiert. Sie gehen zu Google und sehen all die hochrangigen Leute, die sich für KI-Ethik einsetzen – sie sind absolut nicht einmal Leute aus unterrepräsentierten Gruppen. Das war das Gespräch, das wir hatten, als ich dort war, und viele von uns waren sehr frustriert darüber. Wir hatten diese Prinzipien namens Nichts über uns ohne uns, und das allererste, was wir uns ausgedacht haben, war psychologische Sicherheit. Kannst Du Dir vorstellen? Das bedeutet, bestrafe mich nicht dafür, dass ich mich zu Wort gemeldet habe, und genau das haben sie getan. Sie müssen also nach Input suchen, aber tun Sie es nicht auf räuberische Weise. Bevor Sie überhaupt an die Produkte denken, die Sie bauen, oder an die Forschung, die Sie betreiben, müssen Sie anfangen, sich vorzustellen: Wie können Sie mit Menschen am Rande zusammenarbeiten, um diese Technologie zu gestalten?

Sehen Sie sich in gewisser Weise als Märtyrer?

Ich habe nicht versucht, einer zu sein, und ich glaube nicht, dass ich im Moment ein Märtyrer bin. Ich hoffe, dass ich eher ein Agent für Veränderungen bin. Aber ja, Google hat mich irgendwie zu einem gemacht, mehr als ich es gewesen wäre, wenn sie mir das nicht angetan hätten.

Was kommt als nächstes für Sie?

Oh Mann. Ich hatte keine Zeit, darüber nachzudenken. Im Moment versuche ich buchstäblich sicherzustellen, dass mein Team in Sicherheit ist, sicherzustellen, dass die Erzählung darüber, was mit mir los ist, korrekt ist, und eine kleine Verschnaufpause einzulegen, wenn ich kann. Hoffentlich etwas Wein trinken, etwas essen, etwas Schokolade essen, mit der Familie abhängen. Und vielleicht finde ich es danach heraus. Aber meine größte Priorität ist es, nicht in der Art von Umgebung zu sein, in der ich war. Das ist meine größte Priorität.

Welchen Rat haben Sie für andere Menschen, die auf der von Ihnen geleisteten Arbeit aufbauen möchten?

Mein Rat ist, einige der von mir erwähnten Werke zu lesen, insbesondere von Kleid [Benjamin] , Meredith [Broussard] , Safiya [Edel] , Simone Braun , und viele andere Leute. Und bringen Sie Ihre gelebte Erfahrung ein. Versuchen Sie nicht, sich aus dieser Arbeit herauszuziehen. Es hat viel mit dir zu tun. Ihr Blickwinkel und Ihre Stärke werden also davon abhängen, was Ihre gelebte Erfahrung ist. Ich habe einen Vortrag gehalten Die Hierarchie des Wissens und des maschinellen Lernens , und es ging ungefähr darum: Wie uns beigebracht wird, wenn wir Wissenschaft objektiv lernen, was der Blick aus dem Nichts genannt wird, als ob Sie Ihren Standpunkt nicht dazu bringen sollten. Ich denke, die Leute sollten genau das Gegenteil tun.

Update: Wir haben die Berufsbezeichnung von Samy Bengio klargestellt und einen Verweis auf einen Forscher korrigiert. Timnit bezog sich auf Jen Wortman Vaughan, eine leitende leitende Forscherin bei MSR, nicht auf Jen Chayes, eine ehemalige Direktorin desselben Unternehmens.