211service.com
Dieser Algorithmus erkennt Gesichterwechsel in Videos automatisch
Die Fähigkeit, das Gesicht oder den Ausdruck einer Person zu nehmen und es auf ein Video einer anderen Person zu legen, ist seit kurzem möglich. Insbesondere auf Websites wie Reddit und 4Chan sind pornografische Videos namens Deepfakes aufgetaucht, die die Gesichter berühmter Persönlichkeiten auf den Körpern von Schauspielern zeigen.
Dieses Phänomen hat erhebliche Auswirkungen. Zumindest hat es das Potenzial, den Ruf von Menschen zu untergraben, die Opfer dieser Art von Fälschung sind. Es stellt biometrische ID-Systeme vor Probleme. Und es droht das Vertrauen der Öffentlichkeit in Videos jeglicher Art zu untergraben.
Daher wird dringend eine schnelle und genaue Methode benötigt, um diese Videos zu erkennen.
Welche dieser Bildpaare sind Fälschungen? Antwort unten.
Hier Andreas Rossler von der Technischen Universität München in Deutschland und Kollegen, die ein Deep-Learning-System entwickelt haben, das Face-Swap-Videos automatisch erkennen kann. Die neue Technik könnte dabei helfen, gefälschte Videos zu identifizieren, sobald sie ins Internet gestellt werden.
Aber die Arbeit hat auch Stachel im Schwanz. Die gleiche Deep-Learning-Technik, die Face-Swap-Videos erkennen kann, kann auch verwendet werden, um die Qualität von Face-Swaps überhaupt zu verbessern – und das könnte sie schwerer zu erkennen machen.
Die neue Technik basiert auf einem Deep-Learning-Algorithmus, den Rossler und Co darauf trainiert haben, Gesichterwechsel zu erkennen. Diese Algorithmen können nur aus riesigen annotierten Datensätzen guter Beispiele lernen, die es bisher einfach nicht gab.
Also begann das Team mit der Erstellung eines großen Datensatzes von Face-Swap-Videos und ihren Originalen. Sie verwenden zwei Arten von Gesichtswechseln, die mit der Software namens Face2Face einfach durchgeführt werden können. (Diese Software wurde von einigen Mitgliedern dieses Teams erstellt.)
Bei der ersten Art des Gesichtstauschs wird das Gesicht einer Person auf den Körper einer anderen Person gelegt, sodass es deren Gesichtsausdruck annimmt. Die zweite nimmt die Ausdrücke von einem Gesicht und modifiziert ein zweites Gesicht, um sie anzuzeigen.
Das Team hat dies mit über 1.000 Videos getan und eine Datenbank mit etwa einer halben Million Bildern erstellt, in denen die Gesichter mit modernster Gesichtsbearbeitungssoftware manipuliert wurden. Sie nannten dies die FaceForensics-Datenbank.
Die Größe dieser Datenbank ist eine deutliche Verbesserung gegenüber dem, was zuvor verfügbar war. Wir stellen einen neuartigen Datensatz manipulierter Videos vor, der alle bestehenden öffentlich zugänglichen forensischen Datensätze um Größenordnungen übertrifft, sagen Rossler und Co.
Als nächstes verwendet das Team die Datenbank, um einen Deep-Learning-Algorithmus zu trainieren, um den Unterschied zwischen Gesichtertauschen und ihren unverfälschten Originalen zu erkennen. Den resultierenden Algorithmus nennen sie XceptionNet.
Abschließend vergleichen sie den neuen Ansatz mit anderen Techniken zur Fälschungserkennung.
Die Ergebnisse sind beeindruckend. XceptionNet übertrifft andere Techniken bei der Erkennung manipulierter Videos, selbst wenn die Videos komprimiert wurden, was die Aufgabe erheblich erschwert. Wir haben eine starke Ergebnisbasis für die Erkennung einer Gesichtsmanipulation mit modernen Deep-Learning-Architekturen festgelegt, sagen Rossler und Co.
Das sollte es einfacher machen, gefälschte Videos zu erkennen, wenn sie ins Internet hochgeladen werden. Aber das Team ist sich der Katz-und-Maus-Natur der Fälschungserkennung bewusst: Sobald eine neue Erkennungstechnik auftaucht, beginnt das Rennen, einen Weg zu finden, sie zu täuschen.
Rossler und Co. haben seit der Entwicklung von XceptionNet einen natürlichen Vorsprung. Sie verwenden sie also, um die verräterischen Anzeichen dafür zu erkennen, dass ein Video manipuliert wurde, und verwenden diese Informationen dann, um die Fälschung zu verfeinern, wodurch sie noch schwerer zu erkennen ist.
Es stellt sich heraus, dass dieser Prozess die visuelle Qualität der Fälschung verbessert, aber keinen großen Einfluss auf die Fähigkeit von XceptionNet hat, sie zu erkennen. Unser Refiner verbessert hauptsächlich die visuelle Qualität, behindert aber nur geringfügig die Fälschungserkennung für Deep-Learning-Methoden, die genau auf die gefälschten Ausgabedaten trainiert werden, heißt es.
Das ist eine interessante Arbeit, da sie eine völlig neue Methode zur Verbesserung des Prozesses der Bildbearbeitung einführt. Wir glauben, dass dieses Zusammenspiel zwischen Manipulation und Erkennung ein äußerst spannender Weg für Folgearbeiten ist, sagen sie.
Ref: arxiv.org/abs/1803.09179 : FaceForensics: Ein umfangreicher Videodatensatz zur Fälschungserkennung in menschlichen Gesichtern
Antwort: Das obere Bild in jedem Paar ist echt.