Die Art und Weise, wie wir KI trainieren, ist grundlegend fehlerhaft

Getty Images

Es ist kein Geheimnis, dass maschinelle Lernmodelle nahezu perfekt abgestimmt und optimiert wurden Leistung im Labor scheitern oft in realen Umgebungen. Dies wird normalerweise auf eine Diskrepanz zwischen den Daten zurückgeführt, mit denen die KI trainiert und getestet wurde, und den Daten, auf die sie in der Welt trifft, ein Problem, das als Datenverschiebung bekannt ist. Beispielsweise wird eine KI, die darauf trainiert ist, Anzeichen von Krankheiten in hochwertigen medizinischen Bildern zu erkennen Probleme mit verschwommenen oder beschnittenen Bildern aufgenommen von einer billigen Kamera in einer geschäftigen Klinik.

Jetzt hat eine Gruppe von 40 Forschern in sieben verschiedenen Teams bei Google ermittelt eine weitere Hauptursache für das häufige Scheitern von Modellen für maschinelles Lernen . Als Unterspezifikation bezeichnet, könnte es ein noch größeres Problem sein als die Datenverschiebung. „Wir verlangen mehr von maschinellen Lernmodellen, als wir mit unserem derzeitigen Ansatz garantieren können“, sagt Alex D’Amour, der die Studie leitete.

Verwandte Geschichte

Die medizinische KI von Google war in einem Labor supergenau. Das wirkliche Leben war eine andere Geschichte. Wenn KI wirklich etwas für Patienten bewirken soll, müssen wir wissen, wie sie funktioniert, wenn echte Menschen sie in realen Situationen in die Hände bekommen.

Unterspezifikation ist ein bekanntes Problem in der Statistik, wo beobachtete Effekte viele mögliche Ursachen haben können. D’Amour, der über einen Hintergrund im kausalen Denken verfügt, wollte wissen, warum seine eigenen maschinellen Lernmodelle in der Praxis oft versagen. Er fragte sich, ob die Unterspezifikation auch hier das Problem sein könnte. D’Amour stellte bald fest, dass viele seiner Kollegen das gleiche Problem bei ihren eigenen Modellen bemerkten. Es ist eigentlich ein Phänomen, das überall vorkommt, sagt er.

Die anfängliche Untersuchung von D’Amour schlug fehl und Dutzende von Google-Forschern untersuchten schließlich eine Reihe verschiedener KI-Anwendungen, von der Bilderkennung bis hin zu Verarbeitung natürlicher Sprache (NLP) zu Krankheitsvorhersage . Sie fanden heraus, dass bei allen eine Unterspezifikation für die schlechte Leistung verantwortlich war. Das Problem liegt in der Art und Weise, wie Modelle für maschinelles Lernen trainiert und getestet werden, und es gibt keine einfache Lösung.

Das Papier ist eine Abrissbirne, sagt Brandon Rohrer, ein Machine-Learning-Ingenieur bei iRobot, der zuvor bei Facebook und Microsoft gearbeitet hat und nicht an der Arbeit beteiligt war.

Dasselbe nur anders

Um genau zu verstehen, was vor sich geht, müssen wir etwas zurückgehen. Grob gesagt bedeutet das Erstellen eines Modells für maschinelles Lernen, dass es an einer großen Anzahl von Beispielen trainiert und dann an einer Reihe ähnlicher Beispiele getestet wird, die es noch nicht gesehen hat. Wenn das Modell den Test besteht, sind Sie fertig.

Die Google-Forscher weisen darauf hin, dass diese Messlatte zu niedrig ist. Der Trainingsprozess kann viele verschiedene Modelle produzieren, die alle den Test bestehen, aber – und das ist der entscheidende Teil – diese Modelle unterscheiden sich in kleinen, willkürlichen Weisen, abhängig von Dingen wie den Zufallswerten, die den Knoten in einem neuronalen Netzwerk vor Beginn des Trainings gegeben werden , die Art und Weise, wie Trainingsdaten ausgewählt oder dargestellt werden, die Anzahl der Trainingsläufe und so weiter. Diese kleinen, oft zufälligen Unterschiede werden normalerweise übersehen, wenn sie keinen Einfluss darauf haben, wie ein Modell im Test abschneidet. Aber es stellt sich heraus, dass sie in der realen Welt zu enormen Leistungsschwankungen führen können.

Mit anderen Worten, der Prozess, der heute zum Erstellen der meisten maschinellen Lernmodelle verwendet wird, kann nicht sagen, welche Modelle in der realen Welt funktionieren und welche nicht.

Dies ist nicht dasselbe wie eine Datenverschiebung, bei der das Training kein gutes Modell hervorbringt, weil die Trainingsdaten nicht mit realen Beispielen übereinstimmen. Unterspezifikation bedeutet etwas anderes: Selbst wenn ein Trainingsprozess ein gutes Modell hervorbringen kann, könnte es immer noch ein schlechtes ausspucken, weil es den Unterschied nicht kennt. Wir auch nicht.

Die Forscher untersuchten die Auswirkungen der Unterspezifikation auf eine Reihe verschiedener Anwendungen. In jedem Fall verwendeten sie die gleichen Trainingsprozesse, um mehrere Modelle für maschinelles Lernen zu erstellen, und führten diese Modelle dann Stresstests durch, um spezifische Unterschiede in ihrer Leistung hervorzuheben.

Verwandte Geschichte

KI kämpft mit einer Replikationskrise Tech-Giganten dominieren die Forschung, aber die Grenze zwischen echtem Durchbruch und Produktpräsentation kann verschwommen sein. Einige Wissenschaftler haben genug.

Beispielsweise trainierten sie 50 Versionen eines Bilderkennungsmodells auf ImageNet, einem Datensatz mit Bildern von Alltagsgegenständen. Der einzige Unterschied zwischen den Trainingsläufen waren die zufälligen Werte, die dem neuronalen Netzwerk zu Beginn zugewiesen wurden. Doch obwohl alle 50 Modelle im Trainingstest mehr oder weniger gleich abschneiden – was darauf hindeutet, dass sie gleich genau waren – variierte ihre Leistung im Belastungstest stark.

Der Stresstest verwendete ImageNet-C, einen Datensatz von Bildern von ImageNet, die verpixelt oder in Helligkeit und Kontrast verändert wurden, und ObjectNet , ein Datensatz von Bildern von Alltagsgegenständen in ungewöhnlichen Posen, wie Stühle auf dem Rücken, umgedrehte Teekannen und T-Shirts, die an Haken hängen. Manche der 50 Models kamen gut mit verpixelten Bildern zurecht, manche gut mit den ungewöhnlichen Posen; Einige schnitten insgesamt viel besser ab als andere. Aber was den Standard-Trainingsprozess anbelangt, waren sie alle gleich.

Die Forscher führten ähnliche Experimente mit zwei verschiedenen NLP-Systemen und drei medizinischen KIs durch, um Augenkrankheiten aus Netzhautscans, Krebs aus Hautläsionen und Nierenversagen aus Patientenakten vorherzusagen. Jedes System hatte das gleiche Problem: Modelle, die gleich genau hätten sein sollen, schnitten anders ab, wenn sie mit realen Daten wie verschiedenen Netzhautscans oder Hauttypen getestet wurden.

Wir müssen möglicherweise überdenken, wie wir neuronale Netze bewerten, sagt Rohrer. Es bohrt einige bedeutende Lücken in die grundlegenden Annahmen, die wir gemacht haben.

D'Amour stimmt zu. Die größte, unmittelbare Erkenntnis ist, dass wir viel mehr Tests durchführen müssen, sagt er. Das wird allerdings nicht einfach. Die Stresstests wurden speziell auf jede Aufgabe zugeschnitten, wobei Daten aus der realen Welt oder Daten verwendet wurden, die die reale Welt nachahmten. Dies ist nicht immer verfügbar.

Manche Stresstests widersprechen sich auch: Modelle, die gut verpixelte Bilder erkennen konnten, waren zum Beispiel oft schlecht darin, Bilder mit hohem Kontrast zu erkennen. Es ist möglicherweise nicht immer möglich, ein einzelnes Modell zu trainieren, das alle Belastungstests besteht.

Mehrfachauswahl

Eine Möglichkeit besteht darin, einen zusätzlichen Schritt zum Trainings- und Testprozess zu konzipieren, in dem viele Modelle auf einmal statt nur einem hergestellt werden. Diese konkurrierenden Modelle können dann erneut bei bestimmten realen Aufgaben getestet werden, um das beste Modell für den Job auszuwählen.

Das ist viel Arbeit. Aber für ein Unternehmen wie Google, das große Modelle baut und einsetzt, könnte es sich lohnen, sagt Yannic Kilcher, Forscher für maschinelles Lernen an der ETH Zürich. Google könnte 50 verschiedene Versionen eines NLP-Modells anbieten und Anwendungsentwickler könnten diejenige auswählen, die für sie am besten funktioniert, sagt er.

D’Amour und seine Kollegen haben noch keine Lösung, suchen aber nach Möglichkeiten, den Trainingsprozess zu verbessern. Wir müssen besser darin werden, genau zu spezifizieren, was unsere Anforderungen an unsere Modelle sind, sagt er. Denn oft passiert es, dass wir diese Anforderungen erst entdecken, nachdem das Modell in der Welt versagt hat.

Eine Lösung zu finden ist von entscheidender Bedeutung, wenn KI außerhalb des Labors genauso viel bewirken soll wie innerhalb. Wenn KI in der realen Welt unterdurchschnittlich abschneidet, sind die Menschen weniger bereit, sie zu nutzen, sagt Co-Autorin Katherine Heller, die bei Google an KI für das Gesundheitswesen arbeitet: Wir haben viel Vertrauen verloren, wenn es um die Killeranwendungen geht , das ist ein wichtiges Vertrauen, das wir zurückgewinnen wollen.

verbergen