Deep Learning verwandelt Monoaufnahmen in immersiven Sound

Samuel Dixon | Unsplash

Hören Sie einen Vogel, der in einem nahe gelegenen Baum singt, und Sie können seine ungefähre Position relativ schnell identifizieren, ohne hinzusehen. Hören Sie das Dröhnen eines Automotors, wenn Sie die Straße überqueren, und Sie können normalerweise sofort erkennen, ob er hinter Ihnen ist.

Die menschliche Fähigkeit, einen Ton im dreidimensionalen Raum zu lokalisieren, ist außergewöhnlich. Das Phänomen ist gut verstanden – es ist das Ergebnis der asymmetrischen Form unserer Ohren und des Abstands zwischen ihnen.

Aber während Forscher gelernt haben, wie man 3D-Bilder erstellt, die unser visuelles System leicht täuschen, hat niemand einen zufriedenstellenden Weg gefunden, synthetische 3D-Klänge zu erzeugen, die unser Gehör überzeugend täuschen.

Heute scheint sich das dank der Arbeit von Ruohan Gao von der University of Texas at und Kristen Grauman von Facebook Research zumindest teilweise zu ändern. Sie haben einen Trick verwendet, den auch Menschen nutzen, um einem KI-System beizubringen, gewöhnliche Mono-Sounds in ziemlich guten 3D-Sound umzuwandeln. Die Forscher nennen es 2,5-D-Sound.

Zuerst etwas Hintergrund. Das Gehirn verwendet eine Vielzahl von Hinweisen, um herauszufinden, woher ein Geräusch im 3D-Raum kommt. Ein wichtiger Hinweis ist der Unterschied zwischen den Ankunftszeiten eines Tons an jedem Ohr – der interaurale Zeitunterschied.

Ein links erzeugter Ton kommt offensichtlich vor dem rechten an Ihrem linken Ohr an. Und obwohl Sie sich dieses Unterschieds nicht bewusst sind, nutzt das Gehirn ihn, um festzustellen, woher der Ton kommt.

Ein weiterer Hinweis ist der Lautstärkeunterschied. Derselbe Ton wird auf dem linken Ohr lauter sein als auf dem rechten, und das Gehirn verwendet diese Informationen ebenfalls, um seine Berechnungen anzustellen. Dies wird als interauraler Pegelunterschied bezeichnet.

Diese Unterschiede hängen vom Abstand zwischen den Ohren ab. Stereoaufnahmen geben diesen Effekt nicht wieder, da die Trennung von Stereomikrofonen nicht dazu passt.

Die Art und Weise, wie Schall mit Ohrenklappen interagiert, ist ebenfalls wichtig. Die Klappen verzerren den Schall je nach Einfallsrichtung. Zum Beispiel erreicht ein Schall von vorne den Gehörgang, bevor er auf die Ohrenklappe trifft. Im Gegensatz dazu wird der gleiche Schall, der hinter dem Kopf kommt, durch die Ohrenklappe verzerrt, bevor er den Gehörgang erreicht.

Auch das Gehirn kann diese Unterschiede wahrnehmen. Tatsächlich ist die asymmetrische Form des Ohrs der Grund dafür, dass wir erkennen können, ob ein Geräusch beispielsweise von oben oder aus vielen anderen Richtungen kommt.

Der Trick bei der künstlichen Reproduktion von 3D-Sound besteht darin, den Effekt zu reproduzieren, den all diese Geometrie auf den Sound hat. Und das ist ein schwieriges Problem.

Eine Möglichkeit, die Verzerrung zu messen, ist die binaurale Aufnahme. Dies ist eine Aufnahme, die durch Platzieren eines Mikrofons in jedem Ohr gemacht wird, das diese winzigen Variationen aufnehmen kann.

Durch die Analyse der Variationen können die Forscher sie dann mit einem mathematischen Algorithmus reproduzieren, der als kopfbezogene Übertragungsfunktion bekannt ist. Das verwandelt jeden gewöhnlichen Kopfhörer in eine außergewöhnliche 3D-Klangmaschine.

Aber weil alle Ohren unterschiedlich sind, hört jeder Ton anders. Das Erstellen der kopfbezogenen Übertragungsfunktion einer Person bedeutet also, die Form der Ohren der Person zu messen, bevor eine Aufnahme abgespielt wird. Und obwohl das im Labor möglich ist, hat niemand herausgefunden, wie es in freier Wildbahn geht.

Dennoch gibt es Möglichkeiten, sich dem 3D-Klang anzunähern, indem die Klangverzerrungen verwendet werden, die nicht von der Ohrform abhängen – die interaurale Zeit und die Pegelunterschiede.

Der Trick, den Grauman und Gao anwenden, besteht darin, anhand visueller Hinweise zu bestimmen, aus welcher Richtung ein Geräusch kommt (wie es Menschen oft auch tun). Ausgehend von einem Video einer Szene und einer Mono-Tonaufnahme ermittelt das maschinelle Lernsystem, woher die Geräusche kommen, und verzerrt dann die interauralen Zeit- und Pegelunterschiede, um diesen Effekt für den Zuhörer zu erzeugen.

Stellen Sie sich zum Beispiel ein Video vor, das zwei Musiker zeigt, die Schlagzeug und Klavier spielen. Wenn sich die Trommel auf der linken Seite des Sichtfelds und das Klavier auf der rechten Seite befindet, ist es einfach anzunehmen, dass die Trommelklänge von links und das Klavier von rechts kommen sollten. Das macht dieses maschinell lernende System und verzerrt den Ton entsprechend.

Die Trainingsmethode der Forscher ist relativ einfach. Der erste Schritt beim Trainieren eines maschinell lernenden Systems besteht darin, eine Datenbank mit Beispielen für den Effekt zu erstellen, den es lernen muss. Grauman und Gao erstellten eines, indem sie binaurale Aufnahmen von über 2.000 Musikclips machten, die sie auch auf Video aufzeichneten.

Ihr binauraler Rekorder besteht aus einem Paar synthetischer Ohren, die durch die Breite eines menschlichen Kopfes getrennt sind und die mit einer GoPro-Kamera auch die vorausliegende Szene aufzeichnen.

Das Team verwendete diese Aufnahmen dann, um einen maschinellen Lernalgorithmus zu trainieren, um anhand des Videos der Szene zu erkennen, woher ein Geräusch kam. Nachdem es dies gelernt hat, ist es in der Lage, ein Video anzusehen und dann eine monaurale Aufnahme so zu verzerren, dass simuliert wird, woher der Ton kommen sollte. Wir nennen die resultierende Ausgabe visuellen 2,5-D-Sound – der visuelle Stream hilft dabei, das flache Einkanal-Audio in räumlichen Klang zu „heben“, sagen Grauman und Gao.

Die Ergebnisse sind beeindruckend. Sie können zusehen ein Video ihrer Arbeit hier – Achten Sie darauf, Kopfhörer zu tragen, während Sie zusehen.

Das Video vergleicht die Ergebnisse von 2,5D-Aufnahmen mit monauraler Aufnahme und zeigt, wie gut es sein kann. Der vorhergesagte visuelle 2,5-D-Sound bietet ein immersiveres Audioerlebnis, sagen Grauman und Gao.

Aus den oben genannten Gründen erzeugt es jedoch keinen vollständigen 3D-Sound – die Forscher erstellen keine personalisierte kopfbezogene Übertragungsfunktion.

Und es gibt Situationen, mit denen der Algorithmus nur schwer fertig wird. Offensichtlich kann das System keine Tonquelle verarbeiten, die im Video nicht sichtbar ist. Es kann auch nicht mit Schallquellen umgehen, für deren Erkennung es nicht trainiert wurde. Dieses System konzentriert sich hauptsächlich auf Musikvideos.

Trotzdem haben Grauman und Gao eine clevere Idee, die für viele Musikvideos gut funktioniert. Und sie haben Ambitionen, ihre Anwendungen zu erweitern. Wir planen, Wege zu erkunden, um Objektlokalisierung und Bewegung zu integrieren und Szenengeräusche explizit zu modellieren, sagen sie.

Ref: arxiv.org/abs/1812.04204 : 2,5-D-Visual-Sound

verbergen