211service.com
Algorithmus für maschinelles Lernen beobachtet die Tanztanzrevolution und erschafft dann eigene Tänze
Dance Dance Revolution ist eines der klassischen Videospiele des späten 20. Jahrhunderts. Ein Beweis für seinen Erfolg, seine Neuheit und seine Langlebigkeit ist, dass es auch heute noch beliebt ist, fast 20 Jahre nach seiner Markteinführung.
Dies ist ein Tanzspiel, das aus einem Bildschirm und einer Tanzplattform besteht, die die Spieler mit ihren Füßen steuern. Die Plattform verfügt über vier Pads, die die Spieler in der Reihenfolge berühren müssen, die durch eine Tabelle auf dem Bildschirm angegeben ist. Die Spieler müssen also so zur Musik tanzen, wie es das Spiel erfordert.
Das Spiel ermöglicht es den Spielern auch, ihre eigenen Tänze zu entwerfen und zu verteilen. Im Laufe der Jahre haben Menschen riesige Datenbanken mit Tänzen für eine große Auswahl an populären Liedern erstellt.
Das brachte Chris Donahue und seine Freunde von der University of California in San Diego auf eine Idee. Warum nicht diese riesige Datenbank nutzen, um eine Deep-Learning-Maschine zu trainieren, eigene Tänze zu kreieren?
Heute zeigen sie, wie ihnen das gelungen ist. Ihr System – Dance Dance Convolution genannt – nimmt als Eingabe die rohen Audiodateien von Popsongs und produziert Tanzroutinen als Ausgabe. Das Ergebnis ist eine Maschine, die Musik choreographieren kann.
Das Spiel selbst ist im Prinzip unkompliziert. Während die Musik spielt, berührt der Spieler die Pads auf der Tanzplattform in der auf dem Bildschirm angezeigten Reihenfolge. Jedes Pad kann sich in einem von vier Zuständen befinden: Ein, Aus, Halten (oder Einfrieren) und Loslassen. Da die vier Pads unabhängig voneinander aktiviert oder losgelassen werden können, gibt es jederzeit 256 mögliche Step-Kombinationen.
Natürlich werden die Tänze zunehmend schwieriger, wobei die meisten Songs Tänze mit fünf Schwierigkeitsgraden haben. Die Schwierigkeit wird durch die Geschwindigkeit der rhythmischen Unterteilungen bestimmt. Anfängerspiele haben Schritte auf Viertel- und Achtelnoten, aber Tänze mit höherem Schwierigkeitsgrad haben Sechzehntelnotenschritte und einige Muster mit 12tel- und 24telnoten.
Es gibt auch andere informelle Regeln für die Erstellung von Tanzcharts. Chart-Autoren bemühen sich, Muster zu vermeiden, die einen Spieler zwingen würden, sich vom Bildschirm abzuwenden, sagen Donahue und Co. Das Ergebnis sind Tänze mit einer großen Vielfalt an reichen Strukturen.
Die Aufgabe, die Erstellung von Tanzcharts zu automatisieren, ist keineswegs einfach. Donahue und Co teilen es in zwei Teile. Die erste entscheidet, wann Schritte platziert werden, und die zweite entscheidet, welche Schritte ausgewählt werden sollen. Anschließend trainieren sie einen maschinellen Lernalgorithmus, um jede Aufgabe zu lernen.
Die erste Aufgabe läuft darauf hinaus, eine Reihe von Zeitstempeln in einem Song zu identifizieren, an denen Schritte platziert werden sollen. Dies ähnelt einem gut untersuchten Problem in der Musikforschung, das als Onset-Erkennung bezeichnet wird. Dabei geht es darum, wichtige Momente in einem Song wie Melodienoten oder Schlagzeugschläge zu identifizieren.
Während nicht jeder Beginn in unseren Daten einem Tanz-Tanz-Revolution-Schritt entspricht, entspricht jeder Tanz-Tanz-Revolution-Schritt einem Beginn, sagen Donahue und Co.
Nachdem die Zeitstempel für jeden Schritt identifiziert wurden, besteht die zweite Aufgabe darin, einen Schritt auszuwählen, der zu jedem Zeitpunkt ausgeführt werden soll.
Bei allen maschinellen Lernaufgaben ist der Trainingsdatensatz entscheidend. Die Musikforschung wurde in der Vergangenheit behindert, weil Urheberrechtsprobleme verhindern können, dass Songs in der Forschung verwendet (oder zumindest zusammen mit den Ergebnissen weitergegeben werden).
DDR umgeht dies, weil so viele Dance-Charts von normalen Benutzern erstellt wurden. Donahue und Co. sagen, dass ein Online-Repository namens Stepmania Online über 350 Gigabyte an Dance-Charts mit mehr als 100.000 Songs speichert.
Für diese Forschung konzentriert sich das Team auf zwei kleinere Datensätze, die aus Aufnahmen und Tanzcharts bestehen. Die erste enthält 90 Songs, die von einem einzigen Autor choreografiert wurden, der für jeden Song Charts mit fünf Schwierigkeitsgraden erstellt hat. Der zweite Datensatz enthält 133 Songs mit jeweils einem einzigen Dance-Chart.
Das Team erweitert dann den Datensatz, indem es ein Spiegelbild jedes Diagramms erstellt – beispielsweise indem es links gegen rechts und oben gegen unten (oder beides) tauscht. Das Ergebnis ist ein Datensatz von 35 Stunden Musik in Form von Audio-Rohdateien mit mehr als 350.000 Schritten.
Donahue und Co verwenden dann 80 Prozent der Musik, um den maschinellen Lernalgorithmus zu trainieren, um die Zeiten für die Schrittplatzierung zu erkennen. Sie validieren und testen das resultierende Modell mit den verbleibenden 20 Prozent der Daten. Und sie verwenden ähnliche Proportionen, um einen anderen Algorithmus zu trainieren, um die Schrittauswahl zu bestimmen. Ähnliche Techniken werden beim maschinellen Lernen häufig für Aufgaben wie die Verarbeitung natürlicher Sprache verwendet.
Die Ergebnisse sind beeindruckend. Unsere Experimente belegen die Machbarkeit der Verwendung von maschinellem Lernen zur automatischen Generierung hochwertiger DDR-Diagramme aus Rohaudio, sagen Donahue und Co.
Durch die Kombination von Erkenntnissen aus der Erkennung musikalischer Anfänge und der statistischen Sprachmodellierung haben wir eine Reihe von Deep-Learning-Methoden zum Erlernen des Choreografierens entwickelt und evaluiert, heißt es.
Das ist eine unterhaltsame Arbeit, die den Nutzen des maschinellen Lernens für Aufgaben zeigt, bei denen große annotierte Datensätze vorhanden sind. Es zeigt auch, dass den Maschinen wieder einmal eine weitere Bastion der menschlichen Kreativität zugefallen ist.
Ref: arxiv.org/abs/1703.06891 : Tanz Tanz Faltung