Das Training eines einzigen KI-Modells kann so viel Kohlenstoff ausstoßen wie fünf Autos in ihrer Lebensdauer

Ein Rechenzentrum Dekan Mouhtaropoulos | Getty; herausgegeben von MIT Technology Review

Die Industrie der künstlichen Intelligenz wird oft mit der Ölindustrie verglichen: Einmal abgebaut und raffiniert, können Daten, wie Öl, ein äußerst lukratives Gut sein. Jetzt scheint es, als könnte die Metapher noch weiter reichen. Wie sein Gegenstück mit fossilen Brennstoffen hat der Prozess des Deep Learning einen übergroßen Einfluss auf die Umwelt.

In einem neues Papier , führten Forscher der University of Massachusetts, Amherst, eine Lebenszyklusanalyse für das Training mehrerer gängiger großer KI-Modelle durch. Sie fanden heraus, dass der Prozess mehr als 626.000 Pfund Kohlendioxidäquivalent ausstoßen kann – fast das Fünffache der Lebenszeitemissionen eines durchschnittlichen amerikanischen Autos (und das schließt die Herstellung des Autos selbst ein).

Es ist eine erschütternde Quantifizierung dessen, was KI-Forscher schon lange vermutet haben. Während wahrscheinlich viele von uns auf einer abstrakten, vagen Ebene daran gedacht haben, zeigen die Zahlen wirklich das Ausmaß des Problems, sagt Carlos Gómez-Rodríguez, ein Informatiker an der Universität von A Coruña in Spanien, der nicht an der beteiligt war Forschung. Weder ich noch andere Forscher, mit denen ich darüber gesprochen habe, dachten, die Umweltauswirkungen seien so erheblich.

Der CO2-Fußabdruck der Verarbeitung natürlicher Sprache

Das Papier untersucht speziell den Modelltrainingsprozess für die Verarbeitung natürlicher Sprache (NLP), das Teilgebiet der KI, das sich darauf konzentriert, Maschinen den Umgang mit menschlicher Sprache beizubringen. In den letzten zwei Jahren hat die NLP-Community mehrere bemerkenswerte Leistungsmeilensteine ​​in den Bereichen maschinelle Übersetzung, Satzvervollständigung und andere Standard-Benchmarking-Aufgaben erreicht. Das berüchtigte GPT-2-Modell von OpenAI zum Beispiel zeichnete sich durch das Schreiben überzeugender gefälschter Nachrichtenartikel aus.

Aber solche Fortschritte erforderten das Training immer größerer Modelle mit ausufernden Sätzen aus dem Internet. Der Ansatz ist rechenintensiv – und sehr energieintensiv.

Die Forscher untersuchten vier Modelle im Feld, die für die größten Leistungssprünge verantwortlich waren: Transformer, ELMo, Bert und GPT-2. Sie trainierten jeden bis zu einem Tag auf einer einzelnen GPU, um die Leistungsaufnahme zu messen. Anschließend berechneten sie anhand der in den Originalpapieren des Modells angegebenen Anzahl von Trainingsstunden den Gesamtenergieverbrauch über den gesamten Trainingsprozess. Diese Zahl wurde basierend auf dem durchschnittlichen Energiemix in den USA in Pfund Kohlendioxidäquivalent umgerechnet, der dem Energiemix von Amazons AWS, dem größten Anbieter von Cloud-Diensten, sehr ähnlich ist.

Sie fanden heraus, dass die Rechen- und Umweltkosten des Trainings proportional zur Modellgröße anstiegen und dann explodierten, als zusätzliche Tuning-Schritte verwendet wurden, um die endgültige Genauigkeit des Modells zu erhöhen. Insbesondere stellten sie fest, dass ein als neurale Architektursuche bekannter Abstimmungsprozess, bei dem versucht wird, ein Modell durch schrittweises Optimieren des Designs eines neuronalen Netzwerks durch erschöpfendes Ausprobieren zu optimieren, außerordentlich hohe damit verbundene Kosten für wenig Leistungsvorteil hatte. Ohne sie hatte das teuerste Modell, BERT, einen CO2-Fußabdruck von etwa 1.400 Pfund Kohlendioxidäquivalent, was in etwa einem Transamerika-Hin- und Rückflug für eine Person entspricht.

Darüber hinaus weisen die Forscher darauf hin, dass die Zahlen nur als Basiswerte betrachtet werden sollten. Das Trainieren eines einzelnen Modells ist die minimale Arbeit, die Sie leisten können, sagt Emma Strubell, Doktorandin an der University of Massachusetts, Amherst, und Hauptautorin des Artikels. In der Praxis ist es viel wahrscheinlicher, dass KI-Forscher ein neues Modell von Grund auf neu entwickeln oder ein vorhandenes Modell an einen neuen Datensatz anpassen, was beides viel mehr Trainings- und Abstimmungsrunden erfordern kann.

Um besser in den Griff zu bekommen, wie die gesamte Entwicklungspipeline in Bezug auf den CO2-Fußabdruck aussehen könnte, verwendeten Strubell und ihre Kollegen ein Modell, das sie in a erstellt hatten vorheriges Papier als Fallbeispiel. Sie fanden heraus, dass der Prozess des Erstellens und Testens eines endgültigen papierwürdigen Modells das Training von 4.789 Modellen über einen Zeitraum von sechs Monaten erforderte. Umgerechnet in CO2-Äquivalente emittierte er mehr als 78.000 Pfund und ist wahrscheinlich repräsentativ für typische Arbeiten in diesem Bereich.

Die Bedeutung dieser Zahlen ist kolossal – insbesondere wenn man die aktuellen Trends in der KI-Forschung betrachtet. Im Allgemeinen vernachlässigt ein Großteil der neuesten KI-Forschung die Effizienz, da sich sehr große neuronale Netze als nützlich für eine Vielzahl von Aufgaben erwiesen haben und Unternehmen und Institutionen, die reichlich Zugang zu Rechenressourcen haben, dies nutzen können, um einen Wettbewerbsvorteil zu erzielen. sagt Gómez-Rodríguez. Diese Art von Analyse musste durchgeführt werden, um das Bewusstsein für die ausgegebenen Ressourcen zu schärfen [...] und wird eine Debatte auslösen.

Was wahrscheinlich viele von uns nicht verstanden haben, ist das Ausmaß, bis wir diese Vergleiche sahen, wiederholte Siva Reddy, Postdoc an der Stanford University, die nicht an der Forschung beteiligt war.

Die Privatisierung der KI-Forschung

Die Ergebnisse unterstreichen auch ein weiteres wachsendes Problem in der KI: Die schiere Intensität der Ressourcen, die jetzt erforderlich sind, um papierwürdige Ergebnisse zu erzielen, hat es für Menschen, die in der Wissenschaft arbeiten, immer schwieriger gemacht, weiterhin zur Forschung beizutragen.

Dieser Trend, riesige Modelle auf Tonnen von Daten zu trainieren, ist für Akademiker nicht machbar – insbesondere für Doktoranden, da wir nicht über die Rechenressourcen verfügen, sagt Strubell. Es stellt sich also die Frage des gleichberechtigten Zugangs zwischen Forschern im akademischen Bereich und Forschern in der Industrie.

Strubell und ihre Co-Autoren hoffen, dass ihre Kollegen die Ergebnisse des Papiers beherzigen und dazu beitragen, gleiche Wettbewerbsbedingungen zu schaffen, indem sie in die Entwicklung effizienterer Hardware und Algorithmen investieren.

Reddi stimmt zu. Menschliche Gehirne können erstaunliche Dinge mit geringem Stromverbrauch leisten, sagt er. Die größere Frage ist, wie wir solche Maschinen bauen können.

verbergen