Algorithmus für maschinelles Lernen kann zeigen, ob Staatsgeheimnisse richtig klassifiziert sind

Das US-Außenministerium generiert jedes Jahr etwa zwei Milliarden E-Mails. Ein erheblicher Teil davon enthält sensible oder geheime Informationen und muss daher klassifiziert werden, ein Prozess, der zeitaufwändig und kostspielig ist. Allein im Jahr 2015 wurden 16 Milliarden US-Dollar für den Schutz geheimer Informationen ausgegeben.

Die Zuverlässigkeit dieses Klassifizierungsprozesses ist jedoch unklar. Niemand weiß, ob die Regeln zur Klassifizierung von Informationen konsequent und zuverlässig angewendet werden. In der Tat gibt es erhebliche Streitigkeiten darüber, was überhaupt Informationen sind, die klassifiziert werden sollten.

Darüber hinaus ist es leicht vorstellbar, dass menschliches Versagen eine erhebliche Rolle bei der Fehlklassifizierung von Amtsgeheimnissen spielt. Aber niemand weiß, wie schwerwiegend diese Fehler sein könnten.

Heute ändert sich das dank der Arbeit von Renato Rocha Souza vom brasilianischen Think Tank Fundação Getulio Vargas in Rio De Janeiro und Kollegen an der Columbia University in New York. Diese Typen haben einen maschinellen Lernalgorithmus verwendet, um über eine Million deklassifizierter Kabel des Außenministeriums aus den 1970er Jahren zu untersuchen.

Ihre Arbeit bietet einen beispiellosen Einblick in die Natur offizieller Geheimnisse, wie Menschen die Regeln anwenden und wie oft sich Fehler in den Prozess einschleichen, um sensible Informationen preiszugeben oder ansonsten harmlose Details zu verbergen. Die Algorithmen zeigen auch verdächtige Muster in der Art und Weise, wie Kabel verloren gehen.

Das Team begann mit einem Korpus von einer Million Kabeln, die es in Form von XML-Dateien aus den U.S. National Archives herunterlud. Jedes Kabel ist eine Textnachricht, die zwischen dem Außenministerium und einer diplomatischen Vertretung in einem fremden Land wie einer Botschaft oder einem Konsulat ausgetauscht wird.

Die Kabel sind als geheim, vertraulich, für den begrenzten offiziellen Gebrauch oder als nicht klassifiziert gekennzeichnet. Geheime Informationen haben das Potenzial, die nationale Sicherheit ernsthaft zu schädigen, vertrauliche Informationen haben das Potenzial, Schaden zu verursachen, aber keinen ernsthaften Schaden. Die Kategorie Limited Official Use war in den 1970er Jahren undefiniert und bleibt auch heute noch umstritten.

Die Kabel enthalten auch andere Informationen. Jede Nachricht hat ein Datum, einen Absender und Empfänger, einen Betreff und natürlich den Nachrichtentext.

Souza und Co verwendeten eine Vielzahl von maschinellen Lernansätzen, um zu bestimmen, wie diese Faktoren mit dem Klassifizierungslabel korrelieren. Und nachdem sie diese Korrelation entdeckt hatten, testeten sie den Algorithmus, um zu sehen, wie gut er vorhersagen konnte, ob ein bestimmtes Kabel klassifiziert war oder nicht.

Die Ergebnisse sorgen für eine interessante Lektüre. Laut Souza und Co. ist die Nachricht selbst der beste Indikator dafür, ob ein Kabel klassifiziert ist. Von allen Merkmalen war die relative Häufigkeit verschiedener Wörter im Körper am nützlichsten, um sensible Informationen zu identifizieren, sagen sie. Die Absender- und Empfängerdaten sind ebenfalls ein guter Indikator für die Sensibilität, können jedoch dazu führen, dass der Algorithmus viele nicht klassifizierte Kabel als solche klassifiziert. Mit anderen Worten, dies führt zu einer hohen Rate an Fehlalarmen.

Wenn der maschinell lernende Algorithmus die verschiedenen Arten von Metadaten in seinen Entscheidungen kombiniert, kann er etwa 90 Prozent der klassifizierten Kabel erkennen, mit einer Falsch-Positiv-Rate von nur 11 Prozent. Und Souza und Co sagen, es sollte möglich sein, es besser zu machen, wenn noch klassifizierte Kabel enthalten wären.

False Positives und False Negatives sind selbst interessant. Dies sind Kabel, von denen die Maschine vorhergesagt hat, dass sie klassifiziert werden, aber nicht und umgekehrt. In vielen Fällen deckte die Maschine Kabel auf, die von Menschen falsch klassifiziert worden waren. Ein Beispiel ist ein Depeschen über die Empfindlichkeit der japanischen Regierung gegenüber US-Inspektionen ihrer Nuklearanlagen. Dieses Kabel war nicht klassifiziert, hätte es aber sein müssen, da der Text offenbart, dass es ursprünglich vertraulich war, sagen die Forscher.

Eine Einschränkung der Daten besteht darin, dass viele Kabel verloren gegangen sind, angeblich aufgrund von Problemen bei der Konvertierung in ein elektronisches Format. Der vielleicht interessanteste Aspekt dieser Arbeit ist, dass sie darauf hindeutet, dass diese Nachrichten aus anderen Gründen verschwunden sein könnten.

Ein Anhaltspunkt ist die Geschwindigkeit, mit der die Nachrichten verschwanden, die sich für klassifizierte und nicht klassifizierte Kabel unterscheidet. Elektronische Nachrichten, die als „geheim“ eingestuft wurden, gingen im Vergleich zu nicht klassifizierten und begrenzt amtlich genutzten Nachrichten mit mehr als dreimal höherer Wahrscheinlichkeit verloren, sagen Souza und Co.

Darüber hinaus bleiben die mit den Kabeln verbundenen Metadaten oft erhalten, wenn die elektronische Nachricht verloren gegangen ist. Wie das passieren konnte, ist ein Rätsel.

Auch wenn die Nachrichten verloren gingen, als sie von einem Format in ein anderes konvertiert wurden, würden sie höchstwahrscheinlich verloren gehen, wenn das Außenministerium sein neues Datenspeichersystem einrichtete. Es ist bemerkenswert, dass die meisten dieser [fehlenden] Kabel nicht aus der Zeit stammen, als das Außenministerium das System zum ersten Mal eingerichtet hat, obwohl man erwarten könnte, dass es sich um die Fehlerbehebung von Wegen zur zuverlässigen Übertragung von Daten zwischen verschiedenen Hardware- und Softwareplattformen gehandelt hätte, sagt das Team.

Die Arbeit hat wichtige Implikationen für das Gleichgewicht zwischen Transparenz und Geheimhaltung. Maschinen können eindeutig helfen, die Praxis der Datenklassifizierung zu überwachen. Aber sie können das im Durchschnitt nicht besser als die Datenbanken, aus denen sie lernen. Wenn diese Fehler enthalten, wie es die Kabel des Außenministeriums eindeutig tun, werden die Maschinen unweigerlich lahmgelegt.

Eine interessante Frage ist jedoch, ob die Daten, die diese Art des maschinellen Lernens offenbart, selbst klassifiziert werden sollten, wenn sie Verhaltensmuster aufdecken, die dem nationalen Interesse schaden könnten. Beispielsweise könnte die Rate, mit der vertrauliche Informationen fälschlicherweise als nicht klassifiziert gekennzeichnet werden, für eine ausländische Macht nützlich sein, die versucht, geheime Informationen aus nicht klassifizierten Kabeln zu sammeln.

Offensichtlich gibt es noch mehr zu tun. Souza und Co. sagen, dass es trotz der enormen Ausgaben des Außenministeriums für den Schutz geheimer Informationen nur wenige oder keine veröffentlichten Forschungsergebnisse zur Konsistenz der Klassifizierung gibt. Es gibt auch kein Verständnis dafür, wie viel diese Art des maschinellen Lernens offenbaren kann.

Vielleicht wird all diese Arbeit hinter verschlossenen Türen durchgeführt. Andererseits vielleicht nicht.

Ref: arxiv.org/abs/1611.00356 : Nutzung künstlicher Intelligenz zur Identifizierung von Staatsgeheimnissen

verbergen