211service.com
Der Algorithmus, der die Wissenschaft der Farbe erweitert
Die Farbpaletten, die aus Gemälden der bildenden Kunst extrahiert wurden.
Das Studium der Farbe erlebt eine Revolution. Bisher war die Farbtheorie kaum mehr als eine Sammlung von Ideen, die sich lose auf die Wissenschaft stützten.
Aber die Fähigkeit, riesige Bilddatensätze mit Bildverarbeitungsalgorithmen zu analysieren, ändert dies. Plötzlich ist es möglich, Farbe und ihre Verwendung auf ganz andere Weise zu untersuchen. Beispielsweise ist es jetzt einfach, Farbkombinationen aus einem Bild zu extrahieren und in ein anderes Bild einzufügen.
Aber dieser Vorgang des Einfügens von Farbe ist ein stumpfes Werkzeug. Es kann einen Farbsatz durch einen anderen ersetzen, aber es kann diese Farbpaletten nicht vergleichen, entscheiden, wie bestimmte Farben angepasst werden sollen, oder feststellen, ob einer Palette eine Farbe fehlt, und diese ersetzen.
Das Problem ist, dass es keine Möglichkeit gibt, Farben zu ordnen. Und das macht es schwierig, Paletten zu vergleichen. Bildspezialisten würden daher gerne eine natürliche Möglichkeit haben, aus Bildern extrahierte Farben zu ordnen und sie so vergleichen zu können.
Betreten Sie Huy Phan von der Technischen Universität Dänemark in Kopenhagen und ein paar Kumpel, die einen Weg gefunden haben, genau das zu tun. Ihre Technik ist einfach zu implementieren und führt sofort zu einer neuen Generation von angereicherten Bildfiltern, die weitaus flexibler sind als die derzeit verfügbaren.
Das Grundproblem ist einfach zu formulieren: In welcher Reihenfolge sollten die Farben angesichts der Farbpalette aus zwei Bildern erscheinen, um einen aussagekräftigen Vergleich zu ermöglichen? Mit aussagekräftig meint das Team, dass Farben, die dieselben Objekte beschreiben, vergleichbar sein sollten.
Phan und Co gehen das als eine Art Sortierproblem an. Sie bewerten ein Bild zunächst, indem sie die Position der darin enthaltenen Farben – seine Palette – in einem dreidimensionalen Farbraum aufzeichnen (jede Farbe kann als dreifacher Vektor betrachtet werden, der beschreibt, wie sie aus einer Mischung aus Rot, Grün, und blau, zum Beispiel).
Dann messen sie den Abstand zwischen jedem Farbpaar in der Palette. Schließlich verwenden sie einen Algorithmus, um herauszufinden, wie eine Palette mit minimaler Verzerrung auf eine andere abgebildet werden kann. Effektiv findet dieser Algorithmus Cluster innerhalb des Farbraums jeder Palette.
Der Datensatz, den sie verwenden, ist wichtig. Wir betrachten Farbpaletten aus Kunstsammlungen, von denen wir glauben, dass sie eine reichhaltige Quelle stilistischer und einzigartiger Farbthemen sind, sagen Phan und Co.
Das schränkt auch das Thema ein, was entscheidend ist. Henri Matisse verwendete beispielsweise in seinen Gemälden oft tiefe Rot- und Grüntöne, während Maximilien Luce kräftige Blau- und Gelbtöne verwendete, um Objekte zu schattieren. Da diese Künstler jedoch weitgehend ähnliche Szenen verwenden (z. B. in Himmel und Land unterteilt), sind die Farben vergleichbar.
Das bedeutet, dass das Team davon ausgehen kann, dass ähnliche Farbcluster ähnliche Objekte beschreiben. Der Algorithmus bildet diese Cluster dann aufeinander ab. Auf diese Weise kann es die Färbung des Himmels in einem Bild übernehmen und denselben Farbsatz auf den Himmel in einem anderen Bild anwenden.
Und da die Transformation auf den gesamten Raum angewendet wird, wird es einfach, jede Farbe aus der Palette einer entsprechenden Farbe in der anderen Palette zuzuordnen.
Das führt zu einer natürlichen Art, Farben zu ordnen. Phan und Co tun dies, indem sie zunächst die Anzahl der Farben angeben, die in jedem Cluster erscheinen. Phan und Co verwenden fünf als Standardbeispiel (höhere Zahlen erfordern erheblich mehr Rechenressourcen).
Der Algorithmus findet dann die fünf Farben im ersten Cluster, dann im zweiten, dritten und so weiter. Das Ordnen dieser Cluster ermöglicht dann einen einfachen Vergleich der Paletten in jedem Bild.
Die Methode führt sofort zu einigen interessanten Anwendungen. Sie erstellen beispielsweise eine Anwendung namens Photo-style Explorer, die wie ein Instagram-Filter funktioniert, jedoch in einem kontinuierlichen Farbraum. Anstatt zwischen einigen vordefinierten Themen zu wählen, kann man frei durch einen kontinuierlichen Bereich möglicher Fotokolorierungen surfen, um ein bevorzugtes Thema auszuwählen, heißt es.
Eine weitere Option besteht darin, Fotos mit unterschiedlichen Paletten in verschiedenen Teilen des Bildes neu einzufärben. So ist es möglich, eine Palette zum Umfärben des Himmels und eine andere zum Umfärben von Bäumen zu verwenden.
Es ermöglicht auch eine bessere Analyse der Farbsignaturen von Künstlern und deren Übertragung auf andere Bilder. So wird es möglich, ein Foto mit der Farbpalette von Renoir oder Vincent van Gogh schnell neu einzufärben.
Das ist eine interessante Arbeit, die die Art und Weise erweitert, wie Farbe in modernen Bildern verwendet werden kann.
Ref: http://arxiv.org/abs/1703.06003 : Color Orchestra: Bestellen von Farbpaletten für Interpolation und Vorhersage