Maschinelles Sehen kann unbekannte Verbindungen zwischen klassischen Kunstwerken erkennen

Bild von vier Gemälden mit ähnlich gestellten Motiven

Eine der wichtigen Fragen, denen Kunsthistoriker nachgehen, ist, wie große Künstler von anderen beeinflusst wurden. Sie untersuchen Stil, Inhalt und Genre der Kunstwerke und suchen nach Verbindungen und Einflüssen zwischen Künstlern.

Das ist ein komplexes Geschäft. In den Tagen vor der Fotografie konnte ein Kunstwerk nur von Hand kopiert werden. In der Tat war diese Art von Arbeit üblich. Künstler replizierten oft ihre eigenen Arbeiten oder die Arbeiten anderer im selben Studio, und Kopien waren im Überfluss vorhanden.

Das Ziel dieser Form des Kopierens war jedoch nicht immer die Reproduktion des Originals. Oft nutzten Künstler vorhandene Bilder als Ausgangspunkt für ihre eigenen Arbeiten, die die Komposition oder Pose des Originals widerspiegelten. Tatsächlich gibt es viele Beispiele identischer menschlicher Figuren in derselben Pose in völlig unterschiedlichen Gemälden.

Die Kunstgeschichte ist also ein komplexes Netz von Verbindungen zwischen Künstlern und ihren Werken, die sich oft in den Einflüssen auf Originalwerke, Teilkopien und vollständige Kopien abbilden.

Die menschliche Pose spielt dabei eine wichtige Rolle. Eine Aufgabe des Kunsthistorikers besteht darin, dieses Netz auseinanderzureißen, die menschlichen Posen verschiedener Künstler zu studieren und einen Blick auf die Kräfte zu werfen, die sie beeinflusst haben.

Heute wird das dank der Arbeit von Tomas Jenicek und Ondrej Chum von der Tschechischen Technischen Universität in Prag einfacher. Diese Jungs haben im Laufe der Geschichte ein maschinelles Bildverarbeitungssystem verwendet, um die Posen menschlicher Motive in Gemälden der bildenden Kunst zu analysieren. Sie suchen dann nach anderen Gemälden, die Menschen in denselben Posen zeigen.

Die Technik offenbart bisher unbekannte Verbindungen zwischen Kunst und Künstlern. Es fügt dem Waffenarsenal, das Kunsthistoriker verwenden können, ein mächtiges neues Werkzeug hinzu, mit dem Potenzial, die Art und Weise zu verändern, wie wir Kunstgeschichte verstehen.

Die Methode ist relativ einfach und basiert auf den riesigen Datenbanken, die Kunsthistoriker in den letzten Jahren erstellt haben. Diese haben die Sammlungen vieler der weltweit führenden Museen und Galerien digitalisiert, und viele von ihnen sind online frei verfügbar. Diese Datenbanken sind plötzlich der Analyse durch maschinelle Intelligenz zugänglich.

Gleichzeitig haben andere Forscher Algorithmen für maschinelles Sehen entwickelt, die eine menschliche Pose aus einem 2D-Bild bestimmen können. Der wohl fortschrittlichste ist ein Algorithmus namens OpenPose, ein Open-Source-Programm zur Echtzeit-Posenerkennung in 2D-Bildern, das an der Carnegie Mellon University in Pittsburgh entwickelt wurde.

Jenicek und Chum verwenden diese Software, um in einer Datenbank mit manuell annotierten Bildern nach ähnlichen Posen zu suchen. Dies fungiert als eine Art Goldstandard.

Sie sagen, dass der automatisierte Prozess andere Methoden zum Auffinden ähnlicher Bilder leicht übertrifft. Wir zeigen experimentell, dass die explizite Zuordnung menschlicher Posen den standardmäßigen inhaltsbasierten Bildabrufmethoden auf einem manuell annotierten Übertragungsdatensatz für Kunstkompositionen überlegen ist, sagen sie.

Anschließend suchen sie in einer Online-Datenbank namens Web Gallery of Art nach ähnlichen Posen, die 37.000 Bilder enthält. Die Forscher sagen, dass ihr Algorithmus eine Vielzahl von Verbindungen zwischen Bildern entdeckt hat, die mit anderen Mitteln unmöglich gewesen wären (siehe Bild).

Natürlich ist der Algorithmus nicht perfekt. Es findet eine Reihe von Fehlalarmen, bei denen Posen in verschiedenen Bildern ähnlich erscheinen, sich aber nach visueller Inspektion als völlig unterschiedlich herausstellen.

Dies ist keineswegs der erste Versuch, Bildende Kunst mit maschinellem Sehen zu studieren. Forscher haben bereits verwendeten Algorithmen, um auffällige neue Verbindungen zwischen Kunstwerken zu finden basierend auf der allgemeinen Komposition eines Gemäldes.

Die Schätzung der menschlichen Pose ist für Maschinen viel schwieriger als das Studium der allgemeinen Komposition, daher hat es länger gedauert, diese Technologie in der Kunstwelt zum Tragen zu bringen. Aber die Prävalenz des Menschen in der Kunst ist so groß, dass diese Technik ein erhebliches Potenzial hat.

Es bietet eine leistungsstarke neue Möglichkeit, Kunstwerke im Laufe der Jahrhunderte zu analysieren und zu untersuchen, wie Kopien und Variationen menschlicher Posen Künstler beeinflusst haben. Es wird faszinierend sein zu beobachten, wie Kunsthistoriker dieses neue Werkzeug verwenden.

Ref: arxiv.org/abs/1907.03537 : Verbindung von Kunst durch menschliche Posen

verbergen