Gebärdensprachübersetzer

Zweisprachige Wörterbücher sind normalerweise eine Einbahnstraße: Sie können ein Wort auf Englisch nachschlagen und beispielsweise sein spanisches Äquivalent finden, aber Sie können auch umgekehrt vorgehen. Gebärdensprachwörterbücher übersetzen jedoch nur von geschriebenen Wörtern in Gesten. Dies kann sehr frustrierend sein, insbesondere für Eltern gehörloser Kinder, die unbekannte Gesten verstehen möchten, oder gehörlose Menschen, die online in ihrer Muttersprache interagieren möchten. Forscher der Boston University (BU) entwickeln daher ein durchsuchbares Wörterbuch für Gebärdensprache , in dem jeder Benutzer von seinem eigenen Laptop aus eine Geste in die Suchmaschine eines Wörterbuchs eingeben kann, indem er sich vor einer integrierten Kamera unterschreibt.





Suche nach Zeichen: Forscher in Boston entwickeln das erste Wörterbuch in Gebärdensprache, das mit Gesten durchsucht werden kann. Ein Unterzeichner (im Bild) sitzt in einem Studio, das mit Hochgeschwindigkeitskameras ausgestattet ist, die Handbewegungen und Gesichtsausdrücke erfassen. Videos auf einem Laptop fordern sie auf, besondere Zeichen zu setzen. Das Video des Unterzeichners wird verwendet, um Algorithmen zu trainieren, um gestische Muster zu erkennen.

Sie haben vielleicht eine Sammlung von Gebärdensprache auf YouTube, und jetzt müssen Sie auf Englisch suchen, um zu suchen, sagt Stan Sclaroff , Professor für Informatik an der BU. Es ist das Äquivalent, sagt Sclaroff, der Suche nach spanischem Text mit englischen Übersetzungen. Es ist unnatürlich, sagt er, und es ist nicht fair.

Sclaroff entwickelt das Wörterbuch in Zusammenarbeit mit Carol Neidle , Professor für Linguistik an der BU, und Vassilis Athitsos, Assistenzprofessor für Informatik und Ingenieurwissenschaften an der University of Texas in Arlington. Sobald der Benutzer eine Geste ausführt, analysiert das Wörterbuch sie und zeigt die fünf besten möglichen Übereinstimmungen und Bedeutungen an.

Die heutige Gebärdenspracherkennung ist [an] ungefähr dem Stadium, in dem die Spracherkennung vor 20 Jahren stand, sagt Thad Starner , Leiter der Contextual Computing Group am Georgia Institute of Technology. Starners Gruppe hat sich entwickelt Gebärdenspracherkennungssoftware für Kinder , mit sensorbeladenen Handschuhen, um Handbewegungen zu verfolgen. Er und seine Schüler haben Lernspiele entwickelt, in denen hörgeschädigte Kinder mit Handschuhen die Gebärdensprache lernen. Ein Computer wertet die Handform aus und geht zur nächsten Übung über, wenn ein Kind richtig unterschrieben hat.

Im Gegensatz zu Starners Arbeit streben Sclaroff und Neidle ein sensorloses System an, in dem jeder mit einer Kamera und einer Internetverbindung Gebärdensprache lernen und interagieren kann. Der Ansatz, so Starner, sei sowohl im Bereich der Gebärdenspracherkennung als auch im Bereich Computer Vision einzigartig.

Das erfordert viel Rechenleistung, und der Versuch, mit Gebärdensprache in verschiedenen Videoqualitäten umzugehen, sei sehr schwierig, sagt Starner. Wenn sie also erfolgreich sind, wäre es sehr cool, das Web tatsächlich in Gebärdensprache durchsuchen zu können.

Um diese große Herausforderung zu meistern, bittet das BU-Team mehrere Unterzeichner, nacheinander in einem Studio zu sitzen und mit 3.000 Gesten in einem klassischen American Sign Language (ASL)-Wörterbuch zu unterschreiben. Während der Unterschrift erfassen vier hochwertige Hochgeschwindigkeitskameras gleichzeitig Vorder- und Seitenansicht sowie Gesichtsausdrücke. Laut Neidle sind Lächeln, Stirnrunzeln und hochgezogene Augenbrauen ein weitgehend unterschätzter Teil von ASL, der starke Hinweise auf die Bedeutung einer Geste geben könnte.

Sobald die visuellen Daten eintreffen, analysieren Neidle und ihre Schüler sie, markieren den Anfang und das Ende jedes Zeichens und identifizieren wichtige Untergesten – Einheiten, die englischen Phonemen entsprechen. Inzwischen verwendet Sclaroff diese Informationen, um Algorithmen zu entwickeln, die beispielsweise die Hände des Unterzeichners vom Hintergrund unterscheiden oder die Handposition und -form sowie Bewegungsmuster erkennen können. Angesichts der Tatsache, dass jede Person ein Wort auf eine etwas andere Art und Weise unterschreiben könnte, analysiert das Team Gesten sowohl von einheimischen als auch von nicht-muttersprachlichen Unterzeichnern, in der Hoffnung, einen Computererkenner zu entwickeln, der mit solchen Variationen umgehen kann.

Die größte Herausforderung für die Zukunft könnte darin bestehen, die vielen unkontrollierbaren Faktoren auf der Benutzerseite der Benutzeroberfläche zu berücksichtigen, sagt Sclaroff. Jemand, der beispielsweise eine Geste verwendet, um eine Suchanfrage in einen Laptop einzugeben, hat eine Kamera von geringerer Qualität. Der Hintergrund kann überladener sein als die sorgfältig kontrollierte Studioumgebung in den Datenbank-Samples, und der Computer muss sich auf Variablen wie Kleidung und Hautton einstellen.

Nur das Schild zu produzieren und es nachzuschlagen – das ist die eigentliche Neuheit, die wir erreichen wollen, sagt Neidle. Das wäre eine Verbesserung gegenüber allem, was jetzt existiert.

verbergen