Der Algorithmus klont den künstlerischen Stil von Van Gogh und fügt ihn in andere Bilder und Filme ein

Die Natur des künstlerischen Stils ist für die meisten Menschen ein Rätsel. Denken Sie an Vincent Van Goghs Sternenklare Nacht , Picassos Arbeit über den Kubismus oder die von Edvard Munch Der Schrei . Alle haben einen kraftvollen, einzigartigen Stil, den Menschen leicht erkennen.

Aber was ist mit Maschinen? Deep Neural Networks revolutionieren die Art und Weise, wie Maschinen die Welt erkennen und interpretieren. Bei Aufgaben wie der Objekt- und Gesichtserkennung übertrifft die maschinelle Bildverarbeitung heute routinemäßig den Menschen, was noch vor wenigen Jahren undenkbar war.

In letzter Zeit haben diese Geräte die ersten vorsichtigen Schritte unternommen, um einen künstlerischen Stil zu erkennen und ihn sogar zu reproduzieren. Wie weit diese Art von Arbeit gehen kann, war nicht klar. Ist es beispielsweise möglich, einen künstlerischen Stil aus einem Bild zu kopieren und in ein ganzes Video einzufügen, ohne Artefakte zu erzeugen, die das visuelle Erlebnis ruinieren?

Dass genau das möglich ist, zeigen heute Manuel Ruder und seine Kollegen von der Universität Freiburg in Deutschland. Diese Jungs nehmen berühmte Kunstwerke wie z Sternenklare Nacht und Der Schrei und übertragen ihren Stil auf eine Reihe von Videosequenzen aus Filmen wie z Eiszeit und TV-Programme wie Miss Marple. Das Ergebnis ist eine beeindruckende Wiedergabe von Videos und die Möglichkeit, dies in fast jedem erdenklichen Stil zu tun.

Tiefe neuronale Netze bestehen aus vielen Schichten, die jeweils Informationen aus einem Bild extrahieren und die übrig gebliebenen Daten an die nächste Schicht weitergeben. Die ersten Schichten extrahieren breite Muster wie Farbe und die tieferen Schichten extrahieren zunehmend mehr Details, die eine Objekterkennung ermöglichen.

Die Informationen, die von den tieferen Schichten extrahiert werden, sind wichtig. Es ist im Wesentlichen der Inhalt eines Bildes abzüglich der Kontextinformationen wie Farbe, Textur usw. In gewisser Weise ist es das Computeräquivalent einer Strichzeichnung.

Leon Gatys an der Universität Tübingen und ein paar Kumpels haben im vergangenen Jahr begonnen, auf diese Weise künstlerischen Stil zu studieren. Sie entdeckten, dass es möglich ist, einen künstlerischen Stil zu erfassen, indem man nicht auf die Informationen in jeder Ebene, sondern auf die Korrelationen zwischen den Ebenen achtet. Die Art und Weise, wie ein Künstler ein Gesicht reproduziert, korreliert also mit der Art und Weise, wie er oder sie einen Baum oder ein Haus oder die Sonne reproduziert. Das Erfassen dieser Korrelation erfasst auch den Stil.

Ihre wichtigste Entdeckung war jedoch, dass der Inhalt eines Bildes vollständig vom künstlerischen Stil getrennt werden kann. Darüber hinaus stellten sie fest, dass sie diesen künstlerischen Stil übernehmen und kopieren und in den Inhalt jedes anderen Bildes einfügen konnten.

Plötzlich wird es möglich, den abstrakten Stil eines Kandinsky einzufangen und auf ein Bild Ihrer Katze zu kleben. Das macht viel Spaß. Es stellte sich aber auch die Frage, wie weit diese Technik noch weiterentwickelt werden kann.

Der offensichtliche nächste Schritt besteht darin, den künstlerischen Stil in aufeinanderfolgende Bilder einzufügen, um ein Video zu erstellen. Aber das macht sofort Probleme. Kleine Unterschiede zwischen aufeinanderfolgenden Frames können zu großen Unterschieden in der Art und Weise führen, wie der neue künstlerische Stil angewendet wird. Und das lässt das Video sprunghaft und visuell zusammenhangslos erscheinen. Ein besonderes Problem sind die Kanten von Objekten, wenn sie sich bewegen oder verdeckt werden.

Jetzt haben Ruder und Co dieses Problem gelöst. Bei einem künstlerischen Bild übertragen wir dessen besonderen Malstil auf das gesamte Video, heißt es.

Ihr Ansatz besteht darin, einen Algorithmus zu verwenden, der die Abweichungen zwischen aufeinanderfolgenden verarbeiteten Frames analysiert und große Unterschiede verhindert, dabei jedoch Bereiche einer Szene ignoriert, die nach dem Verdecken sichtbar werden. Dies ermöglicht es dem Prozess, nicht verdeckte Bereiche und verzerrte Bewegungsgrenzen wieder aufzubauen, während das Erscheinungsbild des Rests des Bildes erhalten bleibt, sagen sie.

Die Ergebnisse sind beeindruckend. Das Team verwendet seinen Algorithmus, um den künstlerischen Stil einer Reihe verschiedener Kunstwerke von Kandinsky, Picasso, Matisse, Turner und natürlich Munch und Van Gogh zu extrahieren.

Sie verarbeiteten jeweils noch die Sequenzen in einer Auflösung von 1024 x 436 auf einer Nvidia Titan X GPU bei gleichzeitiger Parallelverarbeitung auf einer CPU. Dieser Vorgang dauert zu Beginn etwa acht Minuten pro Frame. Nach der Optimierung sinkt dies jedoch auf durchschnittlich etwa drei Minuten pro Frame. Der gesamte Prozess ist also rechenintensiv.

Der beste Weg, das Ergebnis zu schätzen, ist schau das Video , eine beeindruckende Sammlung von Sequenzen aus einer Vielzahl von Filmen, Computeranimationen und Fernsehsendungen.

Natürlich gibt es noch Verbesserungsmöglichkeiten. Der Algorithmus kämpft mit sehr schnellen oder großen Bewegungen zwischen Frames und es sollte möglich sein, den Prozess weiter zu optimieren, um die Rechenzeit zu reduzieren. Aber keines dieser Probleme sieht nach Showstoppern aus.

Die Arbeit wirft eine interessante Frage auf, wie weit diese Technik noch weiterentwickelt werden kann. Es ist zum Beispiel leicht vorstellbar, dass Apps dies in der Cloud tun könnten, während Sie auf Ihrem Smartphone filmen. Wäre es aber auch möglich den Style einzufügen Der Schrei in drei Dimensionen und darüber hinaus in eine virtuelle Realität? Es ist schwer, Gründe dafür zu finden, warum nicht.

All dies läutet eine völlig neue Herangehensweise an das Filmemachen, aber auch an die Kunst ein. Wenn der künstlerische Stil zu einer Ware wird, die von einem Bild zum anderen geschnitten und eingefügt werden kann, was bedeutet das für die Arbeit von Künstlern? Es ist nicht schwer vorstellbar, wie diese Stile bearbeitet oder sogar zu Hybriden kombiniert werden könnten.

Hat jemand Lust auf einen Rubens-Picasso, einen Warhol-Monet oder einen Burton-Bergman?

Ref: arxiv.org/abs/1604.08610 : Übertragung des künstlerischen Stils für Videos

verbergen