Deep Learning könnte aufdecken, warum die Welt so funktioniert, wie sie funktioniert

Ein Bild von Dominosteinen, die umfallen Getty

Diese Woche hat sich die KI-Forschungsgemeinschaft in New Orleans versammelt, um die Internationale Konferenz zum Lernen von Repräsentationen (ICLR, ausgesprochen augenklar), eine ihrer wichtigsten jährlichen Konferenzen. Mit über 3.000 Teilnehmern und 1.500 eingereichten Beiträgen ist es eines der wichtigsten Foren für den Austausch neuer Ideen auf diesem Gebiet.

In diesem Jahr konzentrieren sich die Vorträge und angenommenen Papiere stark auf die Bewältigung von vier großen Herausforderungen im Deep Learning: Fairness, Sicherheit, Verallgemeinerbarkeit und Kausalität. Wenn Sie die Berichterstattung von MIT Technology Review verfolgt haben, werden Sie die ersten drei erkennen. Wir haben darüber gesprochen, dass maschinelle Lernalgorithmen in ihrem aktuellen Zustand voreingenommen, anfällig für feindliche Angriffe und unglaublich begrenzt in ihrer Fähigkeit sind, die Muster, die sie in einem Trainingsdatensatz finden, für mehrere Anwendungen zu verallgemeinern. Jetzt ist die Forschungsgemeinschaft damit beschäftigt, die Technologie so ausgereift zu machen, dass diese Schwächen abgemildert werden können.

Worüber wir noch nicht viel gesprochen haben, ist die letzte Herausforderung: Kausalität. Darüber rätseln Forscher seit einiger Zeit. Maschinelles Lernen ist großartig beim Finden Korrelationen in Daten, aber kann es jemals herausfinden Verursachung ? Eine solche Errungenschaft wäre ein großer Meilenstein: Wenn Algorithmen uns dabei helfen könnten, die Ursachen und Auswirkungen verschiedener Phänomene in komplexen Systemen zu beleuchten, würden sie unser Verständnis der Welt vertiefen und leistungsfähigere Werkzeuge freisetzen, um sie zu beeinflussen.

Am Montag legte der gefeierte Forscher Léon Bottou, der jetzt in der KI-Forschungseinheit von Facebook und der New York University arbeitet, in einem überfüllten Raum einen neuen Rahmen vor, an dem er mit Mitarbeitern arbeitet, um herauszufinden, wie wir dorthin gelangen könnten. Hier ist meine Zusammenfassung seines Vortrags. Sie können es auch unten vollständig ansehen, beginnend gegen 12:00 Uhr.

Idee Nr. 1

Beispielbilder aus dem MNIST-Datensatz. Wikipedia

Beginnen wir mit der ersten großen Idee von Bottou und seinem Team: eine neue Art, über Kausalität nachzudenken. Angenommen, Sie möchten ein Computer-Vision-System bauen, das handschriftliche Zahlen erkennt. (Das ist ein Klassisches Einführungsproblem das den oben abgebildeten weit verbreiteten MNIST-Datensatz verwendet.) Sie würden ein neuronales Netzwerk mit Tonnen von Bildern handgeschriebener Zahlen trainieren, die jeweils mit der Zahl gekennzeichnet sind, die sie darstellen, und am Ende ein ziemlich anständiges System zum Erkennen neuer Zahlen erhalten, das es noch nie hatte zuvor gesehen.

Aber nehmen wir an, Ihr Trainingsdatensatz ist leicht modifiziert und jeder der handgeschriebenen Zahlen ist auch eine Farbe – rot oder grün – zugeordnet. Unterbrechen Sie Ihren Unglauben für einen Moment und stellen Sie sich vor, Sie wüssten nicht, ob die Farbe oder die Form der Markierungen ein besserer Indikator für die Ziffer ist. Die Standardpraxis besteht heute darin, einfach jedes Stück Trainingsdaten mit beiden Merkmalen zu kennzeichnen und sie in das neuronale Netzwerk einzuspeisen, damit es entscheidet.

Proben aus einem farbigen MNIST-Datensatz. Leon Bottou

Hier wird es interessant. Der farbige MNIST-Datensatz ist absichtlich irreführend. Zurück in der realen Welt wissen wir, dass die Farbe der Markierungen völlig irrelevant ist, aber in diesem speziellen Datensatz ist die Farbe tatsächlich ein stärkerer Prädiktor für die Ziffer als ihre Form. Unser neuronales Netzwerk lernt also, Farbe als primären Prädiktor zu verwenden. Das ist in Ordnung, wenn wir dann das Netzwerk verwenden, um andere handgeschriebene Zahlen zu erkennen, die denselben Farbmustern folgen. Aber die Leistung sinkt vollständig, wenn wir die Farben der Zahlen umkehren. (Als Bottou und seine Mitarbeiter dieses Gedankenexperiment mit echten Trainingsdaten und einem echten neuronalen Netz durchspielten, erreichten sie im ersten Szenario eine Erkennungsgenauigkeit von 84,3 % und im letzteren eine von 10 %.)

Mit anderen Worten, das neuronale Netzwerk hat das gefunden, was Bottou eine Scheinkorrelation nennt, was es außerhalb des engen Kontexts, in dem es trainiert wurde, völlig nutzlos macht. Theoretisch würden Ihnen, wenn Sie alle falschen Korrelationen in einem maschinellen Lernmodell beseitigen könnten, nur die unveränderlichen übrig bleiben – diejenigen, die unabhängig vom Kontext gelten.

Die Invarianz würde es wiederum ermöglichen, die Kausalität zu verstehen, erklärt Bottou. Wenn Sie die unveränderlichen Eigenschaften eines Systems kennen und den an einem System durchgeführten Eingriff kennen, sollten Sie in der Lage sein, die Konsequenzen dieses Eingriffs abzuleiten. Wenn Sie beispielsweise wissen, dass die Form einer handgeschriebenen Ziffer immer ihre Bedeutung bestimmt, können Sie daraus schließen, dass eine Änderung ihrer Form (Ursache) ihre Bedeutung (Wirkung) ändern würde. Ein anderes Beispiel: Wenn Sie wissen, dass alle Objekte dem Gesetz der Schwerkraft unterliegen, können Sie daraus schließen, dass ein Ball, wenn Sie ihn loslassen (Ursache), zu Boden fällt (Wirkung).

Offensichtlich sind dies einfache Ursache-Wirkung-Beispiele, die auf unveränderlichen Eigenschaften basieren, die wir bereits kennen, aber denken Sie darüber nach, wie wir diese Idee auf viel komplexere Systeme anwenden könnten, die wir noch nicht verstehen. Was wäre, wenn wir zum Beispiel die unveränderlichen Eigenschaften unserer Wirtschaftssysteme finden könnten, damit wir die Auswirkungen der Einführung des universellen Grundeinkommens verstehen könnten? Oder die unveränderlichen Eigenschaften des Klimasystems der Erde, damit wir die Auswirkungen verschiedener Geoengineering-Tricks bewerten könnten?

Idee Nr. 2

Wie werden wir also diese falschen Korrelationen los? Das ist die zweite große Idee von Bottous Team. In der aktuellen Praxis des maschinellen Lernens besteht die Standardintuition darin, so viele unterschiedliche und repräsentative Daten wie möglich in einem einzigen Trainingssatz zu sammeln. Aber Bottou sagt, dass dieser Ansatz einen Bärendienst leistet. Unterschiedliche Daten, die aus unterschiedlichen Kontexten stammen – ob sie zu unterschiedlichen Zeiten, an unterschiedlichen Orten oder unter unterschiedlichen experimentellen Bedingungen erhoben wurden – sollten als getrennte Sätze aufbewahrt und nicht gemischt und kombiniert werden. Wenn sie wie jetzt konsolidiert werden, gehen wichtige Kontextinformationen verloren, was zu einer viel höheren Wahrscheinlichkeit von falschen Korrelationen führt.

Bei mehreren kontextspezifischen Datensätzen ist das Training eines neuronalen Netzes sehr unterschiedlich. Das Netzwerk kann nicht mehr die Korrelationen finden, die nur in einem einzigen diversen Trainingsdatensatz gelten; es muss die Korrelationen finden, die über alle unterschiedlichen Datensätze hinweg unveränderlich sind. Und wenn diese Mengen intelligent aus einem vollständigen Spektrum von Kontexten ausgewählt werden, sollten die endgültigen Korrelationen auch eng mit den unveränderlichen Eigenschaften der Grundwahrheit übereinstimmen.

Kehren wir also noch einmal zu unserem einfachen farbigen MNIST-Beispiel zurück. Basierend auf ihrer Theorie zum Auffinden unveränderlicher Eigenschaften wiederholten Bottou und seine Mitarbeiter ihr ursprüngliches Experiment. Diesmal verwendeten sie zwei farbige MNIST-Datensätze mit jeweils unterschiedlichen Farbmustern. Anschließend trainierten sie ihr neuronales Netzwerk, um die Korrelationen zu finden, die für beide Gruppen galten. Als sie dieses verbesserte Modell an neuen Nummern mit denselben und umgekehrten Farbmustern testeten, erreichte es eine Erkennungsgenauigkeit von 70 % für beide. Die Ergebnisse bewiesen, dass das neuronale Netzwerk gelernt hatte, Farben zu ignorieren und sich nur auf die Formen der Markierungen zu konzentrieren.

Bottou sagt, die Arbeit seines Teams an diesen Ideen sei noch nicht abgeschlossen, und die Forschungsgemeinschaft werde einige Zeit brauchen, um die Techniken an komplizierteren Problemen als farbigen Zahlen zu testen. Aber der Rahmen weist auf das Potenzial von Deep Learning hin, uns zu helfen zu verstehen, warum Dinge passieren, und uns so mehr Kontrolle über unser Schicksal zu geben.

verbergen