Militärische künstliche Intelligenz kann leicht und gefährlich getäuscht werden

Eine Schildkröte und ein Gewehr Getty Images

Im vergangenen März kündigten chinesische Forscher einen ausgeklügelten und potenziell verheerenden Angriff auf eines der wertvollsten technologischen Vermögenswerte Amerikas an – ein Tesla-Elektroauto.

Das Team aus dem Sicherheitslabor des chinesischen Technologieriesen Tencent demonstrierte mehrere Möglichkeiten, die KI-Algorithmen in Teslas Auto zu täuschen. Durch die subtile Änderung der Daten, die an die Sensoren des Autos gesendet wurden, konnten die Forscher die künstliche Intelligenz, die das Fahrzeug steuert, täuschen und verwirren.

Diese Geschichte war Teil unserer Ausgabe vom November 2019

• Siehe den Rest des Problems
• Abonnieren

In einem Fall enthielt ein Fernsehbildschirm ein verstecktes Muster, das die Scheibenwischer dazu verleitete, sich zu aktivieren. In einem anderen Fall wurden Spurmarkierungen auf der Straße minimal modifiziert, um das autonome Fahrsystem so zu verwirren, dass es darüber hinweg und in die Fahrspur für den Gegenverkehr fuhr.

Die Algorithmen von Tesla sind normalerweise brillant darin, Regentropfen auf einer Windschutzscheibe zu erkennen oder den Linien auf der Straße zu folgen, aber sie funktionieren auf eine Weise, die sich grundlegend von der menschlichen Wahrnehmung unterscheidet. Das macht solche Deep-Learning-Algorithmen, die für Anwendungen wie Gesichtserkennung und Krebsdiagnose schnell durch verschiedene Branchen fegen, überraschend leicht zu täuschen, wenn man ihre Schwachstellen findet.

Einen Tesla in die Irre zu führen, mag für die Vereinigten Staaten nicht wie eine strategische Bedrohung erscheinen. Aber was wäre, wenn ähnliche Techniken verwendet würden, um Angriffsdrohnen oder Software, die Satellitenbilder analysiert, dazu zu bringen, Dinge zu sehen, die nicht da sind – oder Dinge nicht zu sehen, die da sind?

Sammeln von künstlicher Intelligenz

KI gilt weltweit bereits als der nächste große militärische Vorteil.

Anfang dieses Jahres kündigten die USA eine große Strategie zur Nutzung künstlicher Intelligenz in vielen Bereichen des Militärs an, darunter Geheimdienstanalyse, Entscheidungsfindung, Fahrzeugautonomie, Logistik und Waffen. Das vom Verteidigungsministerium vorgeschlagene Budget von 718 Milliarden US-Dollar für 2020 sieht 927 Millionen US-Dollar für KI und maschinelles Lernen vor. Zu den bestehenden Projekten gehören eher banale (Testen, ob KI vorhersagen kann, wann Panzer und Lastwagen gewartet werden müssen) sowie Dinge auf dem neuesten Stand der Waffentechnologie (Drohnenschwärme).

Der KI-Vorstoß des Pentagon wird teilweise von der Angst getrieben, wie Konkurrenten die Technologie nutzen könnten. Im vergangenen Jahr schickte der damalige Verteidigungsminister Jim Mattis ein Memo an Präsident Donald Trump, in dem er warnte, dass die USA in Sachen KI bereits ins Hintertreffen geraten. Seine Sorge ist verständlich.

Im Juli 2017 formulierte China seine KI-Strategie und erklärte, dass die wichtigsten Industrieländer der Welt die Entwicklung von KI als eine wichtige Strategie zur Verbesserung der nationalen Wettbewerbsfähigkeit und zum Schutz der nationalen Sicherheit betrachten. Und ein paar Monate später erklärte Wladimir Putin aus Russland ominös: Wer auch immer der Führer im Bereich [der KI] wird, wird der Herrscher der Welt werden.

Der Ehrgeiz, die intelligentesten und tödlichsten Waffen zu bauen, ist verständlich, aber wie der Tesla-Hack zeigt, könnte ein Feind, der weiß, wie ein KI-Algorithmus funktioniert, ihn unbrauchbar machen oder ihn sogar gegen seine Besitzer wenden. Das Geheimnis, um die KI-Kriege zu gewinnen, liegt möglicherweise nicht in der Herstellung der beeindruckendsten Waffen, sondern darin, den beunruhigenden Verrat der Software zu meistern.

Battle-Bots

An einem hellen und sonnigen Tag im vergangenen Sommer in Washington, DC, saß Michael Kanaan in der Cafeteria des Pentagon, aß ein Sandwich und staunte über einen leistungsstarken neuen Satz maschineller Lernalgorithmen.

Ein paar Wochen zuvor hatte Kanaan ein Videospiel gesehen, in dem fünf KI-Algorithmen zusammengearbeitet hatten, um fünf Menschen in einem Wettbewerb, bei dem es um die Kontrolle von Streitkräften, Lagern und Ressourcen auf einem komplexen, weitläufigen Schlachtfeld ging, beinahe auszumanövrieren, zu überlisten und zu überlisten. Die Stirn unter Kanaans kurz geschnittenem blonden Haar war jedoch gerunzelt, als er die Aktion beschrieb. Es war eine der beeindruckendsten Demonstrationen der KI-Strategie, die er je gesehen hatte, eine unerwartete Entwicklung, die den KI-Fortschritten in Schach, Atari und anderen Spielen ähnelt.

Das Kriegsspiel hatte in Dota 2 stattgefunden, einem beliebten Sci-Fi-Videospiel, das für Computer unglaublich herausfordernd ist. Teams müssen ihr Territorium verteidigen, während sie die Lager ihrer Gegner in einer Umgebung angreifen, die komplexer und trügerischer ist als jedes Brettspiel. Spieler können nur einen kleinen Teil des Gesamtbildes sehen, und es kann etwa eine halbe Stunde dauern, um festzustellen, ob eine Strategie erfolgreich ist.

Die KI-Kämpfer wurden nicht vom Militär entwickelt, sondern von OpenAI, einem Unternehmen, das von Größen aus dem Silicon Valley wie Elon Musk und Sam Altman gegründet wurde, um grundlegende KI-Forschung zu betreiben. Die algorithmischen Krieger des Unternehmens, bekannt als die OpenAI Five, erarbeiteten ihre eigenen Gewinnstrategien durch unermüdliches Üben und indem sie mit Zügen reagierten, die sich als am vorteilhaftesten erwiesen.

KI-gelenkte Raketen könnten durch gegnerische Daten geblendet und vielleicht sogar auf befreundete Ziele zurückgelenkt werden.

Es ist genau die Art von Software, die Kanaan fasziniert, eine der Personen, die damit beauftragt sind, künstliche Intelligenz zur Modernisierung des US-Militärs einzusetzen. Für ihn zeigt es, was das Militär gewinnen kann, wenn es die Hilfe der weltbesten KI-Forscher in Anspruch nimmt. Doch ob sie dazu bereit sind, wird zunehmend in Frage gestellt.

Kanaan war der Leiter der Air Force bei Project Maven, einer militärischen Initiative, die darauf abzielte, KI zur automatisierten Identifizierung von Objekten in Luftbildern einzusetzen. Google war ein Auftragnehmer von Maven, und als andere Google-Mitarbeiter dies im Jahr 2018 herausfanden, beschloss das Unternehmen, das Projekt aufzugeben. Anschließend entwickelte es einen KI-Verhaltenskodex, der besagte, dass Google seine KI nicht zur Entwicklung von Waffen oder anderen Technologien verwenden würde, deren Hauptzweck oder -implementierung darin besteht, Menschen zu verletzen oder direkt zu unterstützen.

Arbeiter einiger anderer großer Technologieunternehmen forderten daraufhin, dass ihre Arbeitgeber auf Militärverträge verzichten. Viele prominente KI-Forscher haben die Bemühungen unterstützt, ein weltweites Verbot der Entwicklung vollständig autonomer Waffen einzuleiten.

Für Kanaan wäre es jedoch ein großes Problem, wenn das Militär nicht mit Forschern wie denen, die OpenAI Five entwickelt haben, zusammenarbeiten könnte. Noch beunruhigender ist die Aussicht, dass ein Gegner Zugang zu einer solchen Spitzentechnologie erhält. Der Code ist einfach da draußen, damit jeder ihn benutzen kann, sagte er. Er fügte hinzu: Krieg ist viel komplexer als irgendein Videospiel.

Fünf Algorithmen arbeiten zusammen, um fünf Menschen im schlachtfeldbasierten Videospiel Dota 2 zu überlisten. Bild mit freundlicher Genehmigung

Der KI-Anstieg

Kanaan ist im Allgemeinen sehr optimistisch in Bezug auf KI, teilweise weil er aus erster Hand weiß, wie nützlich sie für Truppen sein kann. Vor sechs Jahren war er als Geheimdienstoffizier der Air Force in Afghanistan für den Einsatz eines neuartigen Instruments zum Sammeln von Informationen verantwortlich: eines Hyperspektral-Imagers. Das Instrument kann Objekte erkennen, die normalerweise nicht sichtbar sind, wie in Tarnung gehüllte Panzer oder Emissionen aus einer improvisierten Bombenfabrik. Kanaan sagt, das System habe den US-Truppen geholfen, viele tausend Pfund Sprengstoff vom Schlachtfeld zu entfernen. Trotzdem war es für Analysten oft unpraktisch, die riesigen Datenmengen zu verarbeiten, die vom Imager gesammelt wurden. Wir haben zu viel Zeit damit verbracht, uns die Daten anzusehen und nicht genug Zeit, um Entscheidungen zu treffen, sagt er. Manchmal hat es so lange gedauert, dass man sich gefragt hat, ob man mehr Leben hätte retten können.

Eine Lösung könnte in einem Durchbruch in der Computer Vision durch ein Team unter der Leitung von Geoffrey Hinton an der University of Toronto liegen. Es zeigte sich, dass ein von einem vielschichtigen neuronalen Netzwerk inspirierter Algorithmus Objekte in Bildern mit beispielloser Fähigkeit erkennen kann, wenn ihm genügend Daten und Computerleistung zur Verfügung stehen.

Das Trainieren eines neuronalen Netzwerks beinhaltet das Einspeisen von Daten, wie die Pixel in einem Bild, und das kontinuierliche Ändern der Verbindungen im Netzwerk mithilfe mathematischer Techniken, sodass die Ausgabe einem bestimmten Ergebnis näher kommt, z. B. das Identifizieren des Objekts im Bild. Mit der Zeit lernen diese Deep-Learning-Netzwerke, die Muster von Pixeln zu erkennen, aus denen Häuser oder Menschen bestehen. Fortschritte im Deep Learning haben den aktuellen KI-Boom ausgelöst; Die Technologie untermauert die autonomen Systeme von Tesla und die Algorithmen von OpenAI.

Kanaan erkannte sofort das Potenzial von Deep Learning für die Verarbeitung der verschiedenen Arten von Bildern und Sensordaten, die für militärische Operationen unerlässlich sind. Er und andere in der Air Force begannen bald, ihre Vorgesetzten dazu zu bewegen, in die Technologie zu investieren. Ihre Bemühungen haben zum großen KI-Vorstoß des Pentagon beigetragen.

Doch kurz nachdem Deep Learning auf den Markt kam, fanden Forscher heraus, dass genau die Eigenschaften, die es so leistungsfähig machen, auch eine Achillesferse sind.

So wie es möglich ist, zu berechnen, wie die Parameter eines Netzwerks optimiert werden müssen, damit es ein Objekt korrekt klassifiziert, ist es möglich, zu berechnen, wie minimale Änderungen am Eingabebild dazu führen können, dass das Netzwerk es falsch klassifiziert. In solchen gegnerischen Beispielen werden nur wenige Pixel im Bild verändert, sodass es für eine Person genauso aussieht, aber ganz anders als für einen KI-Algorithmus. Das Problem kann überall dort auftreten, wo Deep Learning eingesetzt werden könnte – zum Beispiel bei der Führung autonomer Fahrzeuge, der Planung von Missionen oder der Erkennung von Netzwerkeinbrüchen.

Inmitten der zunehmenden militärischen Nutzung von KI haben diese mysteriösen Schwachstellen in der Software weitaus weniger Aufmerksamkeit erhalten.

Bewegliche Ziele

Ein bemerkenswertes Objekt dient dazu, die Leistungsfähigkeit des kontradiktorischen maschinellen Lernens zu veranschaulichen. Es ist eine Modellschildkröte.

Für Sie oder mich sieht es normal aus, aber für eine Drohne oder einen Roboter, der einen bestimmten Deep-Learning-Vision-Algorithmus ausführt, scheint es … ein Gewehr zu sein. In einem anderen Projekt hatten die Forscher 2D-Bilder verwendet, damit ein KI-Bildverarbeitungssystem, das über die Google-Cloud verfügbar gemacht wurde, sie mit so ziemlich allem verwechseln würde. (Google hat den Algorithmus seitdem aktualisiert, damit er nicht getäuscht wird.)

Die Schildkröte wurde nicht von einem nationalstaatlichen Gegner erschaffen, sondern von vier Typen am MIT. Einer von ihnen ist Anish Athalye, ein schlaksiger und sehr höflicher junger Mann, der im Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT an Computersicherheit arbeitet. In einem Video auf Athalyes Laptop von den getesteten Schildkröten (einige der Modelle wurden auf einer Konferenz gestohlen, sagt er) wird es um 360 Grad gedreht und auf den Kopf gestellt. Der Algorithmus erkennt immer wieder dasselbe: Gewehr, Gewehr, Gewehr.

Die ersten gegnerischen Beispiele waren spröde und fehleranfällig, aber Athalye und seine Freunde glaubten, sie könnten eine Version entwerfen, die robust genug ist, um an einem 3D-gedruckten Objekt zu arbeiten. Dazu gehörte die Modellierung eines 3D-Renderings von Objekten und die Entwicklung eines Algorithmus zur Erstellung der Schildkröte, eines gegnerischen Beispiels, das in verschiedenen Winkeln und Entfernungen funktionieren würde. Einfacher gesagt, sie entwickelten einen Algorithmus, um etwas zu schaffen, das ein maschinelles Lernmodell zuverlässig täuschen würde.

Die militärischen Anwendungen liegen auf der Hand. Durch die Verwendung gegnerischer algorithmischer Tarnung könnten sich Panzer oder Flugzeuge vor mit KI ausgestatteten Satelliten und Drohnen verstecken. KI-gelenkte Raketen könnten durch gegnerische Daten geblendet und vielleicht sogar auf befreundete Ziele zurückgelenkt werden. Informationen, die in Geheimdienstalgorithmen eingespeist werden, könnten vergiftet werden, um eine terroristische Bedrohung zu verschleiern oder Truppen in der realen Welt eine Falle zu stellen.

Athalye ist überrascht, wie wenig Bedenken er gegenüber kontradiktorischem maschinellem Lernen begegnet ist. Ich habe mit einer Reihe von Leuten aus der Industrie gesprochen und sie gefragt, ob sie sich Sorgen über kontroverse Beispiele machen. Die Antwort lautet fast durchweg nein, sagt er, da sich Unternehmen darauf konzentrieren, ihre KI-Systeme als oberste Priorität zum Laufen zu bringen.

Glücklicherweise beginnt das Pentagon aufmerksam zu werden. Im August dieses Jahres kündigte die Defense Advanced Research Projects Agency (DARPA) mehrere große KI-Forschungsprojekte an. Darunter ist GARD, ein Programm, das sich auf kontradiktorisches maschinelles Lernen konzentriert. Hava Siegelmann, Professorin an der University of Massachusetts, Amherst, und Programmmanagerin für GARD, sagt, dass diese Angriffe in militärischen Situationen verheerend sein könnten, weil die Menschen sie nicht identifizieren können. Es ist, als wären wir blind, sagt sie. Das macht es wirklich sehr gefährlich.

Die Herausforderungen des kontradiktorischen maschinellen Lernens erklären auch, warum das Pentagon so sehr daran interessiert ist, mit Unternehmen wie Google und Amazon sowie akademischen Einrichtungen wie dem MIT zusammenzuarbeiten. Die Technologie entwickelt sich schnell, und die neuesten Fortschritte setzen sich in Labors durch, die von Silicon Valley-Unternehmen und Spitzenuniversitäten betrieben werden, nicht von konventionellen Rüstungsunternehmen.

Entscheidend ist, dass sie auch außerhalb der USA stattfinden, insbesondere in China. Ich glaube schon, dass eine andere Welt auf uns zukommt, sagt Kanaan, der KI-Experte der Air Force. Und das müssen wir mit KI bekämpfen.

Die Gegenreaktion gegen den militärischen Einsatz von KI ist verständlich, kann aber das Gesamtbild verfehlen. Auch wenn sich die Menschen Sorgen um intelligente Killerroboter machen, ist ein vielleicht größeres kurzfristiges Risiko ein algorithmischer Nebel des Krieges – einer, den selbst die intelligentesten Maschinen nicht durchschauen können.

Will Knight war bis vor kurzem leitender Redakteur für KI bei MIT Technology Review und arbeitet jetzt bei Wired.

verbergen