Winzige KI-Modelle könnten die Autokorrektur und Sprachassistenten auf Ihrem Telefon aufladen

Kategorie: Künstliche Intelligenz Gesendet 04. Okt

Forschern ist es gelungen, ein riesiges Sprachmodell für kommerzielle Anwendungen zu verkleinern.

Wer zählt? Im vergangenen Jahr sind natürlichsprachliche Modelle auf Kosten einer dramatischen Vergrößerung dramatisch besser geworden. Im Oktober letzten Jahres z. Google veröffentlichte ein Modell namens BERT das einen lang gehegten Leseverständnis-Benchmark auf diesem Gebiet bestanden hat. Die größere Version des Modells hatte 340 Millionen Datenparameter, und das einmalige Training kostete genug Strom, um einen US-Haushalt 50 Tage lang mit Strom zu versorgen.

Vier Monate später setzte OpenAI mit seinem Modell GPT-2 schnell einen drauf. Das Modell zeigte ein beeindruckendes Talent für den Aufbau überzeugender Prosa; es verwendete auch 1,5 Milliarden Parameter. Jetzt hat MegatronLM, das neuste und größte Modell von Nvidia 8,3 Milliarden Parameter . (Ja, die Dinge geraten außer Kontrolle.)

Das Große, das Böse, das Hässliche: KI-Forscher sind zunehmend besorgt über die Folgen dieses Trends. Im Juni zeigte eine Gruppe an der University of Massachusetts, Amherst, den Klimazoll der Entwicklung und des Trainings von Modellen in einem so großen Maßstab. Sie berechneten, dass das Training von BERT fast so viel Kohlenstoff ausstieß wie ein Hin- und Rückflug zwischen New York und San Francisco; GPT-2 und MegatronLM würden durch Extrapolation wahrscheinlich viel mehr emittieren.

Der Trend könnte auch die Konzentration der KI-Forschung in den Händen einiger weniger Technologiegiganten beschleunigen. Unterfinanzierte Labore in der Wissenschaft oder Länder mit weniger Ressourcen haben einfach nicht die Mittel, um solche rechenintensiven Modelle zu verwenden oder zu entwickeln.

Liebling, ich habe die KI geschrumpft: Als Reaktion darauf konzentrieren sich viele Forscher auf Verkleinern der Größe bestehender Modelle, ohne deren Fähigkeiten zu verlieren. Jetzt haben zwei neue Papiere, die innerhalb eines Tages veröffentlicht wurden, dies erfolgreich für die kleinere Version von BERT mit 100 Millionen Parametern getan.

Der erstes Papier, von Forschern bei Huawei, produziert ein Modell namens TinyBERT, das weniger als ein Siebtel der Größe des Originals und fast zehnmal schneller ist. Auch beim Sprachverständnis schneidet es fast so gut ab wie das Original. Der zweite, von Forschern bei Google, stellt eine weitere her, die um mehr als den Faktor 60 kleiner ist, aber deren Sprachverständnis etwas schlechter ist als die Huawei-Version.

Wie sie es gemacht haben: Beide Papiere verwenden Variationen einer gemeinsamen Komprimierungstechnik, die als Wissensdestillation bekannt ist. Es beinhaltet die Verwendung des großen KI-Modells, das Sie verkleinern möchten (der Lehrer), um ein viel kleineres Modell (den Schüler) in seinem Bild zu trainieren. Dazu geben Sie in beide die gleichen Eingaben ein und optimieren dann den Schüler, bis seine Ausgaben mit denen des Lehrers übereinstimmen.

Außerhalb des Labors: Neben der Verbesserung des Zugangs zu hochmoderner KI werden winzige Modelle dazu beitragen, die neuesten KI-Fortschritte auf Verbrauchergeräte zu bringen. Sie vermeiden die Notwendigkeit, Verbraucherdaten an die Cloud zu senden, was sowohl die Geschwindigkeit als auch den Datenschutz verbessert. Insbesondere für Modelle in natürlicher Sprache könnte eine leistungsfähigere Textvorhersage und Sprachgenerierung unzählige Anwendungen wie die automatische Vervollständigung auf Ihrem Telefon und Sprachassistenten wie Alexa und Google Assistant verbessern.

Um mehr Geschichten wie diese direkt in Ihren Posteingang zu bekommen, melden Sie sich für unseren von Webby nominierten KI-Newsletter The Algorithm an. Es ist kostenlos.