Die Rechenleistung, die zum Trainieren von KI benötigt wird, steigt jetzt siebenmal schneller als je zuvor

Go-Spieler Ke Jie spielt ein Match gegen AlphaGo, das Programm für künstliche Intelligenz von Google AP

Im Jahr 2018 stellte OpenAI fest, dass sich die zum Trainieren der größten KI-Modelle verwendete Rechenleistung seit 2012 alle 3,4 Monate verdoppelt hatte.

Das in San Francisco ansässige, gewinnorientierte KI-Forschungslabor hat jetzt neue Daten hinzugefügt zu seiner Analyse. Dies zeigt, wie die Verdopplung nach 2012 mit der historischen Verdopplungszeit seit Beginn des Feldes verglichen wird. Von 1959 bis 2012 verdoppelte sich die verbrauchte Strommenge alle zwei Jahre und folgte dem Mooreschen Gesetz. Damit verdoppeln sich die heute eingesetzten Ressourcen siebenmal schneller als früher.

OpenAI

Dieser dramatische Anstieg der benötigten Ressourcen unterstreicht, wie kostspielig die Errungenschaften auf diesem Gebiet geworden sind. Beachten Sie, dass das obige Diagramm eine logarithmische Skala zeigt. Auf einer linearen Skala (unten) können Sie deutlicher sehen, wie die Rechennutzung in den letzten sieben Jahren um das 300.000-fache gestiegen ist.

Das Diagramm enthält insbesondere auch einige der jüngsten Durchbrüche nicht, einschließlich des groß angelegten Sprachmodells von Google Bert , OpenAIs Sprachmodell GPT-2 oder DeepMinds StarCraft II-Spielmodell AlphaStar .

OpenAI

Im vergangenen Jahr haben immer mehr Forscher vor den explodierenden Kosten von Deep Learning Alarm geschlagen. Im Juni zeigte eine Analyse von Forschern der University of Massachusetts, Amherst, wie sich diese steigenden Rechenkosten direkt in Kohlenstoffemissionen niederschlagen.

In ihrem Papier stellten sie auch fest, wie der Trend die Privatisierung der KI-Forschung verschärft, weil er die Fähigkeit akademischer Labore untergräbt, mit viel ressourcenreicheren privaten zu konkurrieren.

Als Reaktion auf diese wachsende Besorgnis haben mehrere Industriegruppen Empfehlungen ausgesprochen. Das Allen Institute for Artificial Intelligence, ein gemeinnütziges Forschungsunternehmen in Seattle, hat vorgeschlagen, dass Forscher beispielsweise immer die finanziellen und rechnerischen Kosten für das Training ihrer Modelle zusammen mit ihren Leistungsergebnissen veröffentlichen.

In seinem eigenen Blog schlug OpenAI politischen Entscheidungsträgern vor, die Mittel für akademische Forscher zu erhöhen, um die Ressourcenlücke zwischen akademischen und industriellen Labors zu schließen.

Korrektur: In einer früheren Version dieses Artikels wurde fälschlicherweise angegeben, dass die Verdopplungszeit heute mehr als siebenmal so hoch ist wie zuvor. Die verwendeten Ressourcen verdoppeln sich siebenmal schneller, und die Verdopplungszeit selbst beträgt ein Siebtel der vorherigen Zeit.

verbergen