211service.com
Algorithmen können jede Szene in einen Comic verwandeln
Comics haben die Form einer Reihe von Standbildern, die zusammen eine Geschichte erzählen. Die Bilder sind oft stark stilisiert und die Grafiker werden für ihr Können bewundert.
Aber diese Art von Kunstfertigkeit ist schwer zu erlernen und schwer zu perfektionieren, was ihre Herstellung zeitaufwändig und teuer macht. Künstler, Verleger und Leser würden sich also sehr über eine automatisierte Methode freuen, um ein Bild dazu zu bringen, einen gewünschten Comic-Stil zu imitieren.
Es stellt sich heraus, dass diese Art von Algorithmus bereits existiert. Bereits 2015 entdeckte eine Gruppe von Forschern in Deutschland einen Weg, den künstlerischen Stil eines Bildes auf ein anderes zu übertragen. Seitdem haben andere diesen Ansatz stetig verbessert, um ihn schneller und genauer zu machen.
Von links nach rechts: das ursprüngliche Grafikbild, das Zielbild und das resultierende stilisierte Bild
Bisher konzentrierte sich die Arbeit jedoch darauf, den Stil von bildenden Künstlern wie Picasso und Van Gogh auf andere Bilder zu übertragen oder gewöhnliche Bilder zu verändern, um beispielsweise die Nacht zum Tag zu machen. Wie gut funktionieren diese Algorithmen mit den oft stärker stilisierten Bildern von Comiczeichnern?
Heute erhalten wir dank der Arbeit von Maciej Pęśko und Tomasz Trzciński von der Technischen Universität Warschau in Polen eine Antwort. Diese Jungs haben verschiedene Arten von Bildstilübertragungen auf Comicgrafiken angewendet und die Ergebnisse verglichen.
Zuerst etwas Hintergrund. Dieser Ansatz begann mit der Arbeit von Leon Gatys an der Universität Tübingen und einigen Freunden, die untersuchten, wie tiefe neuronale Netzwerke künstlerische Stile aufzeichneten und analysierten. Diese Netzwerke bestehen aus Schichten, die ein Bild jeweils auf einer anderen Ebene analysieren – Details wie Formen, Farben und Linien.
Die wichtigste Erkenntnis hinter der Arbeit von Gatys und Co ist, dass der künstlerische Stil nicht in den Schichten selbst erfasst wird, sondern in den Korrelationen zwischen ihnen. Damit ist es sofort möglich, den Stil eines Künstlers vom Inhalt der Kunst zu trennen und sogar von einem Bild auf ein anderes zu übertragen.
Und genau das taten Gatys und Co. zum großen Erstaunen der Computer-Vision-Community. Diese Arbeit wurde zur Grundlage einer neuen Unterdisziplin des Computersehens, die als Neural Style Transfer bekannt ist.
Ein Problem bei dem neuen Ansatz besteht darin, dass er rechenintensiv ist. Es braucht viel Zeit – mehrere Sekunden für 512x512-Bilder auf modernen Desktop-Computern – um ein Bild zu analysieren, seinen Stil zu entfernen und diesen Stil auf eine andere Szene anzuwenden.
Also begannen Informatiker, nach verschiedenen Ansätzen zu suchen, die die Aufgabe schneller erledigen könnten. Und tatsächlich haben sie verschiedene Algorithmen entwickelt, die einen ähnlichen Job machen. Es gibt jedoch einen Kompromiss zwischen Geschwindigkeit und Qualität.
Geben Sie Pęśko und Trzciński ein. Diese Jungs haben eine breite Palette von Algorithmen zur Übertragung neuronaler Stile auf die spezifische Aufgabe getestet, die mit Comics verbundenen Grafikstile zu übertragen. Dies sei der erste Versuch, die mit mehreren Methoden erzielten Ergebnisse im Kontext des Comic-Stiltransfers auszuwerten und zu vergleichen, heißt es.
Sie konzentrieren sich speziell auf die schnellsten Techniken, die das Potenzial haben, an jedem grafischen Bild zu arbeiten. Wir konzentrieren uns hauptsächlich auf Methoden, deren Ausführungszeit pro Bild 2 Sekunden nicht überschreitet, heißt es.
Auf diese Weise testeten sie fünf verschiedene Algorithmen an 600x450-Pixel-Bildern, die mit einer 12-Gigabyte-Titan-X-Grafikverarbeitungseinheit verarbeitet wurden. Sie wählten Bilder aus, die verschiedene Comicstile repräsentieren, und übertrugen diese auf zufällig ausgewählte Bilder aus einer Google-Bildersuche.
Schließlich zeigten sie die Ergebnisse 100 Personen, um zu bewerten, wie gut die Algorithmen die Stilübertragung erreichten.
Die Ergebnisse zeigen den Stand der Technik in diesem Bereich. Der am besten bewertete Algorithmus ist eine Technik, die als adaptive Instanznormalisierung bekannt ist und 2017 entwickelt wurde, mit rund 30 Prozent der Stimmen dafür. Es bestätigt unsere Annahmen, dass diese Methode Ergebnisse liefert, die in Bezug auf die stilistische Ähnlichkeit Cartoons oder Comics am nächsten kommen, sagen Pęśko und Trzciński.
Allerdings sind die Ergebnisse keineswegs perfekt. Alle Techniken leiden bis zu einem gewissen Grad unter Problemen wie ungeeigneter Farbübertragung und Unschärfe. Wir glauben, dass es noch Verbesserungspotenzial gibt, sagen die Forscher.
Das stellt eine Chance dar. Allein der Comicmarkt in den USA hat einen Wert von 1 Milliarde US-Dollar pro Jahr. Und es gibt viele Teile der Welt, die noch ihre eigenen Kulturen rund um Comics entwickeln müssen, wie zum Beispiel Indien. Es gibt also Märkte, die Wachstumspotenzial haben.
Die Fähigkeit, qualitativ hochwertige Comic-Bilder zu erstellen, wird für jeden, der diese Märkte erobern möchte, einen erheblichen Unterschied machen.
Es gibt jedoch ein weiteres Problem: die Herausforderung, starke Charaktere und überzeugende Handlungsstränge zu entwickeln. Neuronale Netze können dabei nicht helfen … zumindest noch nicht.
Ref: arxiv.org/abs/1809.01726 : Neural Comic Style Transfer: Fallstudie