Ein neues immersives Klassenzimmer nutzt KI und VR, um Mandarin-Chinesisch zu unterrichten

Ein Bild von Schülern, die in der immersiven virtuellen Umgebung stehen Polytechnisches Institut Rensselaer

Oft ist der beste Weg, eine Sprache zu lernen, in eine Umgebung einzutauchen, in der sie gesprochen wird. Die ständige Exposition, zusammen mit dem Kommunikationsdruck, hilft Ihnen, neue Vokabeln schnell aufzunehmen und zu üben. Aber nicht jeder bekommt die Möglichkeit, im Ausland zu leben oder zu studieren.

In einer neuen Zusammenarbeit mit IBM Research bietet das Rensselaer Polytechnic Institute (RPI), eine Universität mit Sitz in Troy, New York, seinen Studenten, die Chinesisch lernen, jetzt eine weitere Option: eine virtuelle 360-Grad-Umgebung, die sie in die belebten Straßen von Peking oder a teleportiert überfülltes chinesisches Restaurant. Die Schüler können mit Straßenverkäufern feilschen oder Essen bestellen, und die Umgebung ist mit verschiedenen KI-Funktionen ausgestattet, um in Echtzeit auf sie zu reagieren. Während das Klassenzimmer weitgehend experimentell ist, wird es in diesem Sommer zum ersten Mal in einem sechswöchigen, anrechenbaren Kurs an der Universität verwendet.

Das Projekt wurde von zwei RPI-Fakultätsmitgliedern inspiriert, die häufig Rollenspiele verwendeten, um ihren Schülern beim Chinesischlernen zu helfen. Parallel dazu wurden in den letzten Jahren mehrere Studien haben herausgefunden, dass interaktive Lernumgebungen das Sprachverständnis und den Spracherhalt verbessern können. Eine Studie wurde 2018 veröffentlicht auch gefunden dass das Erlernen von Japanisch in einer virtuellen 3D-Umgebung die Wahrscheinlichkeit erhöht, dass Schüler Vokabeln aufgreifen, denen sie zufällig durch die Simulation begegnet sind. Auf der Grundlage dieser Ideen gingen die Professoren eine Zusammenarbeit mit IBM Research ein, um zu untersuchen, ob sie solche Vorteile für ihre eigenen Studenten replizieren könnten.

Die Umgebung umgibt die Schüler nicht nur mit digitalen Projektionen einer Szene, sondern verwendet auch verschiedene Arten von Sensoren, um sich dynamisch an die Worte und Handlungen der Schüler anzupassen. Mikrofone, die von den Teilnehmern getragen werden, speisen ihr Audio direkt in Spracherkennungsalgorithmen ein. Kameras verfolgen ihre Bewegungen und Gesten, um zu registrieren, wenn sie auf verschiedene Objekte zeigen oder auf verschiedene virtuelle Agenten zugehen. Zeigt ein Schüler beispielsweise auf ein Gericht in der Restaurantszene und fragt, was es sei, kann ein virtueller Agent mit Namen und Beschreibung antworten. Die Narrative-Generation-Technologie ermöglicht es jedem Agenten auch, ausgefeiltere Antworten auf spontane Fragen (Welche Geschichte hat das Gericht?) Zu konstruieren, indem er Wissen aus Wikipedia verwendet. (Die Gesprächsthemen sind jedoch immer noch etwas auf die Aufgabe beschränkt, die der Schüler zu erledigen versucht.)

Kameras und Sensoren verfolgen die Gesten der Schüler, sodass sie frei auf Objekte in einer Szene zeigen können, um sich damit zu beschäftigen. Polytechnisches Institut Rensselaer

Viele der Technologien in der Umgebung sind im Handel erhältliche Produkte, die zu einem zusammenhängenden Erlebnis verwoben wurden. Einige mussten jedoch eigens für das Projekt entwickelt werden. Mandarin-Chinesisch hat zum Beispiel fünf Töne, die für viele neue Lernende eine Herausforderung darstellen, aber entscheidend sind, um Bedeutung zu vermitteln. Sagen Sie das Wort verkaufen (卖 schleifend ) etwas daneben und Sie könnten am Ende kaufen (买 mǎi ) stattdessen. Also entwickelten die Forscher einen Algorithmus, um die Töne in der Aussprache der Schüler zu analysieren. Es vergleicht sie mit denen von Muttersprachlern und zeigt, wo sie sich unterscheiden, und gibt dann direkt in der Umgebung akustisches und visuelles Feedback. Es ermöglicht den Schülern, einen virtuellen Agenten zu fragen, wie man etwas sagt, und sofort mit dem Üben des neuen Vokabulars zu beginnen.

Hui Su, der Direktor des Cognitive and Immersive Systems Laboratory, der Zusammenarbeit zwischen IBM Research und RPI, die die Initiative leitete, sagt, sein Team befinde sich noch in einem frühen Stadium des Verständnisses der Effektivität. Aber in einem Pilotprojekt Ende 2017 stellten die Forscher qualitativ fest, dass es das Engagement und die Freude der Schüler am Sprachenlernen steigerte und ihnen half, schnell neue Wörter zu lernen.

Vor einer Restaurant-Bestellübung wurde den Schülern beispielsweise nicht beigebracht, wie sie ihr Essen bezahlen, aber durch das Beobachten ihrer Kollegen und das Gespräch mit den virtuellen Agenten eigneten sich viele das notwendige Vokabular dazu an. Es war eine kleine Überraschung, sagt Su. Einer der Schüler sagte, dass dies die Art und Weise sein sollte, Sprache zu unterrichten, fügt er hinzu.

Ein Algorithmus gibt den Schülern visuelles Feedback zu ihrer Tonaussprache. Polytechnisches Institut Rensselaer

Im ersten Jahr wird der neue Kurs fast die Hälfte der Zeit die virtuelle Umgebung und den Rest ein traditionelles Klassenzimmer nutzen, obwohl sich diese Anordnung in Zukunft ändern könnte.

Wenn die Klasse starke Beweise für die Verbesserung der Lernergebnisse der Schüler liefert, könnte sie als Modell für andere dienen. Die naheliegendste Idee wäre, es auf andere Sprachen auszudehnen. Aber es könnte auch außerhalb von Universitäten verwendet werden, um Führungskräfte zu coachen, Regierungsmitarbeiter zu schulen oder andere Vorbereitungsaktivitäten durchzuführen, die von Szenariosimulationen und Rollenspielen profitieren könnten.

Letztendlich wird die Initiative die längerfristige Mission der Forscher unterstützen, zu verstehen, wie sich kognitive und immersive Umgebungen auf das Lernen, die Zusammenarbeit und die Wahrnehmung von Sinnen auswirken können, sagt Su.

Um mehr Geschichten wie diese direkt in Ihren Posteingang zu bekommen, melden Sie sich für unseren von Webby nominierten KI-Newsletter The Algorithm an. Es ist kostenlos.

verbergen