211service.com
Wenn KI den Ton in Videoclips liefert, können Menschen den Unterschied nicht erkennen
Maschinelles Lernen verändert die Art und Weise, wie wir über Bilder denken und wie sie erstellt werden. Forscher haben Maschinen darauf trainiert, Gesichter zu erzeugen, Cartoons zu zeichnen und sogar den Stil von Gemälden auf Bilder zu übertragen. Von diesen Techniken bis zur Erstellung von Videos auf diese Weise ist es nur ein kleiner Schritt, und tatsächlich wird dies bereits getan.
All das deutet auf eine Möglichkeit hin, virtuelle Umgebungen vollständig maschinell zu erstellen. Das eröffnet alle möglichen Möglichkeiten für die Zukunft der menschlichen Erfahrung.
Aber es gibt ein Problem. Video ist nicht nur ein visuelles Erlebnis; Ebenso wichtig ist es, realistischen Sound zu erzeugen. Eine interessante Frage ist also, ob Maschinen die Audiokomponente eines Videos überzeugend erzeugen können.
Heute erhalten wir eine Antwort dank der Arbeit von Yipin Zhou und seinen Freunden an der University of North Carolina in Chapel Hill und einigen Kumpels von Adobe Research. Diese Jungs haben einen maschinellen Lernalgorithmus trainiert, um realistische Soundtracks für kurze Videoclips zu erzeugen.
Tatsächlich sind die Geräusche so realistisch, dass sie die meisten Menschen glauben machen, dass sie echt sind. Sie können Machen Sie hier selbst einen Test um zu sehen, ob Sie den Unterschied erkennen können.
Das Team verfolgt den Standardansatz für maschinelles Lernen. Algorithmen sind immer nur so gut wie die Daten, mit denen sie trainiert werden. Daher besteht der erste Schritt darin, einen großen, qualitativ hochwertigen, annotierten Datensatz mit Videobeispielen zu erstellen.
Das Team erstellt diesen Datensatz, indem es eine Teilmenge von Clips aus einer Google-Sammlung namens Audioset auswählt, die aus über zwei Millionen 10-Sekunden-Clips von YouTube besteht, die alle Audioereignisse enthalten. Diese Videos sind in von Menschen gekennzeichnete Kategorien unterteilt, die sich auf Dinge wie Hunde, Kettensägen, Hubschrauber usw. konzentrieren
Um eine Maschine zu trainieren, muss das Team Clips haben, in denen die Schallquelle deutlich sichtbar ist. Daher ist jedes Video, das Audio von Ereignissen außerhalb des Bildschirms enthält, ungeeignet. Das Team filtert diese mithilfe von Crowdsourcing-Mitarbeitern des Amazon-Dienstes Mechanical Turk heraus, um Clips zu finden, in denen die Audioquelle deutlich sichtbar ist und den Soundtrack dominiert.
Daraus entstand ein neuer Datensatz mit über 28.000 Videos, die jeweils etwa sieben Sekunden lang sind und 10 verschiedene Kategorien abdecken.
Als Nächstes verwendete das Team diese Videos, um eine Maschine zu trainieren, die mit jeder Kategorie verbundenen Wellenformen zu erkennen und sie mithilfe eines neuronalen Netzwerks namens SampleRNN von Grund auf neu zu reproduzieren.
Schließlich testeten sie die Ergebnisse, indem sie menschliche Gutachter baten, die Qualität des Tons zu einem Video zu bewerten und festzustellen, ob er echt oder künstlich erzeugt ist.
Die Ergebnisse deuten darauf hin, dass Maschinen bei dieser Aufgabe ziemlich gut werden können. Unsere Experimente zeigen, dass die erzeugten Klänge ziemlich realistisch sind und eine gute zeitliche Synchronisation mit den visuellen Eingaben haben, sagen Zhou und Co.
Und menschliche Gutachter scheinen dem zuzustimmen. Auswertungen zeigen, dass über 70 % der von unseren Modellen erzeugten Geräusche Menschen vorgaukeln können, dass sie echt sind, sagen Zhou und Co.
Das ist eine interessante Arbeit, die den Weg für die automatisierte Tonbearbeitung ebnet. Ein häufiges Problem bei Videos ist, dass Fremdgeräusche von einer Off-Screen-Quelle einen Clip ruinieren können. Es wird also nützlich sein, eine Möglichkeit zu haben, den Ton automatisch durch eine realistische, maschinell erzeugte Alternative zu ersetzen.
Und mit der Beteiligung von Adobe an dieser Forschung wird es nicht lange dauern, bis wir diese Art von Fähigkeit in kommerzieller Videobearbeitungssoftware sehen.
Ref: arxiv.org/abs/1712.01393 : Visual to Sound: Erzeugen von natürlichem Sound für Videos in freier Wildbahn