Eine Debatte zwischen KI-Experten zeigt einen Kampf um die Zukunft der Technologie

Gary Marcus and Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Seit den 1950er Jahren hat künstliche Intelligenz immer wieder zu viel versprochen und zu wenig geliefert. Während in den letzten Jahren dank Deep Learning unglaubliche Sprünge gemacht wurden, ist KI heute immer noch engstirnig: Sie ist angesichts von Angriffen zerbrechlich, kann sich nicht verallgemeinern, um sich an sich ändernde Umgebungen anzupassen, und ist voller Vorurteile. All diese Herausforderungen erschweren das Vertrauen in die Technologie und begrenzen ihr Potenzial zum Nutzen der Gesellschaft.

Am 26. März betraten bei der jährlichen EmTech Digital-Veranstaltung von MIT Technology Review zwei prominente Persönlichkeiten der KI die virtuelle Bühne, um zu diskutieren, wie das Feld diese Probleme überwinden könnte.

Gary Marcus, emeritierter Professor an der NYU und Gründer und CEO von Robust.AI, ist ein bekannter Kritiker von Deep Learning. In seinem Buch KI neustarten , der letztes Jahr veröffentlicht wurde, argumentierte er, dass die Mängel der KI der Technik innewohnen. Forscher müssen daher über Deep Learning hinausblicken, argumentiert er, und es mit klassischen oder symbolischen KI-Systemen kombinieren – Systemen, die Wissen codieren und in der Lage sind, zu argumentieren.

Danny Lange, der Vizepräsident für KI und maschinelles Lernen bei Unity, sitzt direkt im Deep-Learning-Lager. Er baute seine Karriere auf den Versprechen und dem Potenzial der Technik auf, nachdem er als Leiter für maschinelles Lernen bei Uber, als General Manager von Amazon Machine Learning und als Produktleiter bei Microsoft mit Schwerpunkt auf maschinellem Lernen im großen Maßstab tätig war. Bei Unity hilft er jetzt Labs wie DeepMind und OpenAI beim Aufbau virtueller Trainingsumgebungen, die ihren Algorithmen ein Gefühl für die Welt beibringen.

Während der Veranstaltung hielt jeder Redner eine kurze Präsentation und setzte sich anschließend zu einer Podiumsdiskussion zusammen. Die Meinungsverschiedenheiten, die sie zum Ausdruck brachten, spiegeln viele der Auseinandersetzungen auf diesem Gebiet wider und verdeutlichen, wie stark die Technologie durch einen anhaltenden Kampf der Ideen geprägt wurde und wie wenig Gewissheit darüber besteht, wohin sie als nächstes führt.

Im Folgenden wurde ihre Podiumsdiskussion aus Gründen der Klarheit komprimiert und leicht bearbeitet.

Gary, Sie nutzen Ihr Fachwissen in den Neurowissenschaften und der Psychologie, um herauszufinden, was derzeit in der KI fehlt. Was macht die klassische KI Ihrer Meinung nach zum richtigen System, um sie mit Deep Learning zu kombinieren?

Gary Markus: Das erste, was ich sagen möchte, ist, dass wir möglicherweise Hybride brauchen, die komplizierter sind als nur Deep Learning plus klassische KI. Wir brauchen bei am wenigsten das. Aber es gibt vielleicht eine ganze Reihe von Dingen, von denen wir noch nicht einmal geträumt haben. Wir müssen aufgeschlossen sein.

Warum klassische KI in den Mix einbauen? Nun, wir führen alle möglichen Überlegungen an, basierend auf unserem Wissen in der Welt. Deep Learning repräsentiert das einfach nicht. In diesen Systemen gibt es keine Möglichkeit darzustellen, was ein Ball oder eine Flasche ist und was diese Dinge miteinander tun. Die Ergebnisse sehen also gut aus, sind aber normalerweise nicht sehr verallgemeinerbar.

Klassische KI – das ist ihr Steuerhaus. Es kann zum Beispiel einen Satz auf seine semantische Repräsentation zerlegen oder Wissen darüber haben, was in der Welt vor sich geht, und daraus Rückschlüsse ziehen. Es hat seine eigenen Probleme: Es hat normalerweise nicht genug Abdeckung, weil zu viel davon handgeschrieben ist und so weiter. Aber zumindest im Prinzip ist es die einzige Möglichkeit, Systeme zu entwickeln, die Dinge wie logische Schlussfolgerungen und induktive Schlussfolgerungen über abstraktes Wissen ausführen können. Es bedeutet immer noch nicht, dass es absolut richtig ist, aber es ist bei weitem das Beste, was wir haben.

Und dann gibt es viele psychologische Beweise dafür, dass Menschen ein gewisses Maß an symbolischer Repräsentation erreichen können. In meinem früheren Leben als Person für kognitive Entwicklung habe ich Experimente mit sieben Monate alten Säuglingen durchgeführt und gezeigt, dass diese Säuglinge symbolisches Wissen verallgemeinern können. Wenn also ein sieben Monate alter Säugling das kann, warum halten wir dann unsere Hände hinter unserem Rücken und versuchen, KI ohne Mechanismen zu bauen, die Säuglinge haben?

Haben Sie Projekte gesehen, bei denen Deep Learning und symbolische KI erfolgreich auf vielversprechende Weise kombiniert wurden?

GM: In einem Artikel schrieb ich genannt Das nächste Jahrzehnt der KI , habe ich etwa 20 verschiedene aktuelle Projekte aufgelistet, die versuchen, hybride Modelle zusammenzustellen, die etwas Deep Learning und etwas symbolisches Wissen haben. Ein Beispiel, das jeder kennt, ist die Google-Suche. Wenn Sie eine Suchanfrage eingeben, gibt es dort eine klassische KI, die versucht, Wörter zu disambiguieren. Es versucht herauszufinden, wenn Sie über Paris sprechen, sprechen Sie über Paris Hilton, Paris, Texas oder Paris, Frankreich, mithilfe von Google Knowledge Graph. Und dann verwendet es Deep Learning, um andere Dinge zu tun – zum Beispiel, um Synonyme mit dem zu finden BERT-Modell . Natürlich ist die Google-Suche nicht die KI, die wir uns letztendlich erhoffen, aber sie ist ein ziemlich solider Beweis dafür, dass dies kein unmöglicher Traum ist.

Danny, stimmen Sie zu, dass wir uns diese Hybridmodelle ansehen sollten?

Danny Lange: Nein, ich bin nicht einverstanden. Das Problem, das ich mit symbolischer KI habe, ist ihr Versuch, das menschliche Gehirn in einem sehr tiefen Sinn nachzuahmen. Es erinnert mich ein bisschen daran, wissen Sie, dass Sie im 18. Jahrhundert, wenn Sie einen schnelleren Transport wollten, am Bau eines mechanischen Pferdes arbeiteten, anstatt den Verbrennungsmotor zu erfinden. Daher bin ich sehr skeptisch, wenn es darum geht, KI zu lösen, indem ich versuche, das menschliche Gehirn nachzuahmen.

Deep Learning ist nicht unbedingt eine Wunderwaffe, aber wenn Sie es mit genügend Daten füttern und die richtige neuronale Netzwerkarchitektur haben, ist es in der Lage, Abstraktionen zu lernen, die wir als Menschen nicht interpretieren können, aber das macht das System sehr effizient bei der Lösung eines breiten Spektrums von Aufgaben.

Es hört sich so an, als hätten Sie beide grundsätzlich eine Meinungsverschiedenheit darüber, was das Ziel von KI ist.

GM: Ich denke, es gibt eine Ironie. Als ich im Dezember eine Debatte mit Yoshua Bengio hatte, sagte Bengio, dass die einzige Verpflichtung des tiefen Lernens darin bestehe, dass es neurologisch basiert sei. Ich habe also beide gegensätzlichen Extreme von Deep Learning gehört. Das ist ein bisschen seltsam, und ich denke nicht, dass wir diese Argumente ernst nehmen sollten.

Stattdessen sollten wir sagen: Können uns Symbole helfen? Und die Antwort ist, überwältigend, ja. Fast die gesamte Software der Welt basiert auf Symbolen. Und dann muss man sagen: Macht das Deep-Learning-Zeug empirisch das, was wir wollen? Und das Problem bisher ist, dass es modellfrei war. Vicarious [ein KI-betriebenes Industrierobotik-Startup] hatte a tolle Vorführung eines Atari-Spiellernsystems, das DeepMind sehr populär machte, wo es lernte, Breakout auf übermenschlicher Ebene zu spielen. Doch dann bewegte Vicarious das Paddel ein paar Pixel und das Ganze fiel auseinander, weil das Lernniveau viel zu flach war. Es hatte kein Konzept von einem Paddel, einem Ball, einem Satz Steine. Ein symbolischer Algorithmus für Breakout könnte diese Dinge sehr leicht kompensieren.

Der Grund, sich Menschen anzuschauen, liegt darin, dass Menschen bestimmte Dinge viel besser können als Deep-Learning-Systeme. Das bedeutet nicht, dass Menschen letztendlich das richtige Modell sein werden. Wir wollen Systeme, die einige Eigenschaften von Computern haben und einige Eigenschaften, die von Menschen geliehen wurden. Wir wollen nicht, dass unsere KI-Systeme ein schlechtes Gedächtnis haben, nur weil Menschen es tun. Aber da Menschen das einzige Modell eines Systems sind, das ein tiefes Verständnis von etwas entwickeln kann – buchstäblich das einzige Modell, das wir haben – müssen wir dieses Modell ernst nehmen.

DL: Ja, also das Beispiel, dass die Programmiersprachen der Welt symbolbasiert sind – das stimmt, weil sie für Menschen entwickelt wurden, um ihre Ideen und Gedanken umzusetzen.

Deep Learning ist keine Nachbildung des menschlichen Gehirns. Vielleicht kann man sagen, dass es von der neuronalen Welt inspiriert ist, aber es ist ein Stück Software. Wir sind mit Deep Learning noch nicht wirklich in die Tiefe gegangen. Wir hatten bisher nur eine begrenzte Menge an Trainingsdaten. Wir hatten begrenzte Strukturen mit begrenzter Rechenleistung. Aber der entscheidende Punkt ist, dass Deep Learning das Konzept lernt, es lernt die Funktionen. Es ist keine menschengemachte Sache. Ich denke, der große Unterschied zwischen Garys Ansatz und meinem Ansatz besteht darin, ob die menschlichen Ingenieure dem System Intelligenz verleihen oder ob das System selbst Intelligenz erlernt.

Danny, Sie haben erwähnt, dass wir das Potenzial von Deep Learning aufgrund von Einschränkungen bei Daten und Rechenleistung noch nicht wirklich erkannt haben. Sollten wir nicht neue Techniken entwickeln, da Deep Learning so ineffizient ist? Wir mussten die Rechenleistung drastisch erhöhen, um neue Deep-Learning-Fähigkeiten freizuschalten.

DL: Eines der Probleme mit Deep Learning ist, dass es bisher wirklich auf einer Art klassischem Ansatz basierte: Sie generieren einen großen Trainingsdatensatz und geben ihn dann ein. Eine Sache, die Deep Learning wirklich verbessern könnte, ist ein aktives Lernprozess, bei dem das Netzwerk trainiert wird, um die Trainingsdaten zu optimieren. Sie müssen nicht einfach eine lähmende Datenmenge eingeben, um den Lernprozess zu verbessern. Sie können Ihre Trainingsdaten ständig auf einen bestimmten Bereich abstimmen.

Gary, Sie weisen auf die Schwachstellen von Deep Learning hin Voreingenommenheit und zu gegnerische Angriffe . Danny, Sie haben erwähnt, dass synthetische Daten eine Lösung dafür sind, weil es keine Voreingenommenheit gibt und Sie Millionen von Simulationen ausführen können, die vermutlich gegnerische Schwachstellen beseitigen. Was sind Ihre Antworten darauf?

GM: Daten allein sind noch keine Lösung. Synthetische Daten helfen nicht bei Dingen wie Vorurteilen bei Krediten oder Vorurteilen bei Vorstellungsgesprächen. Das eigentliche Problem besteht darin, dass diese Systeme dazu neigen, Vorurteile aufrechtzuerhalten, die aus historischen Gründen vorhanden waren. Es ist nicht offensichtlich, dass synthetische Daten die Lösung sind, im Gegensatz zum Aufbau von Systemen, die ausgefeilt genug sind, um die kulturellen Vorurteile zu verstehen, die wir zu ersetzen versuchen.

Gegnerische Angriffe sind eine andere Art von Sache. Daten könnten bei einigen von ihnen helfen, aber bisher haben wir die vielen verschiedenen Arten von gegnerischen Angriffen nicht wirklich eliminiert. Ich habe Ihnen den Baseball mit Schaum darauf gezeigt, der als Espresso bezeichnet wird. Wenn jemand im Voraus daran denkt, Baseballs mit Espresso in der Simulation zu machen und sie sorgfältig zu beschriften, in Ordnung. Es wird immer Fälle geben, an die niemand gedacht hat. Ein rein datengesteuertes System wird weiterhin anfällig sein.

DL: Daten aus der realen Welt sind sehr voreingenommen, egal was Sie tun. Sie sammeln Daten in einer bestimmten Umgebung, sagen wir für selbstfahrende Fahrzeuge, und Sie haben eine Vertretung von vielleicht 90 % Erwachsenen und 10 % Kindern auf der Straße. Das ist die Normalverteilung. Ein maschinelles Lernsystem muss jedoch mit einer gleichmäßigen Anzahl von Erwachsenen und Kindern trainieren, um sicher zu vermeiden, dass einer von ihnen getroffen wird. Mit synthetischen Daten können Sie also grundsätzlich ausgleichen und die Verzerrung vermeiden, wenn Sie vorsichtig sind. Das bedeutet nicht, dass Sie keine neuen Vorurteile erzeugen können. Darauf müssen Sie achten. Sicherlich lösen Sie Datenschutzprobleme, da Ihre Trainingsdaten keine echten Menschen oder echten Kinder enthalten.

Was gegnerische Beispiele betrifft, so besteht das Problem bei vielen von ihnen darin, dass sie im Grunde gegen schwache Computer-Vision-Modelle entwickelt werden – Modelle, die beispielsweise auf 10 oder 20 Millionen Bildern von ImageNet trainiert wurden. Das sind bei weitem nicht genug Daten, um ein Modell tatsächlich zu verallgemeinern. Wir brauchen große Mengen an Datensätzen mit unglaublich vielen Domain-Randomisierungen, um diese Computer-Vision-Modelle zu verallgemeinern, damit sie nicht wirklich getäuscht werden.

Worauf freust du dich im Hinblick auf die Zukunft der KI am meisten?

GM: Im letzten Jahr gab es eine echte Bewegung in Richtung Hybridmodelle. Die Leute erforschen neue Dinge, die sie vorher noch nicht gesehen haben, und das ist aufregend.

DL: Ich denke, es sind wirklich Multi-Modell-Systeme – Systeme, die aus vielen verschiedenen Wahrnehmungs- und Verhaltensmodellen zusammengesetzt wurden, um wirklich komplexe Aufgaben zu lösen.

verbergen