211service.com
KI-Assistenten sagen dumme Dinge, und wir werden gleich herausfinden, warum
Bruder UK | Flickr
Siri und Alexa sind eindeutig alles andere als perfekt, aber es besteht die Hoffnung, dass stetige Fortschritte beim maschinellen Lernen sie bald zu artikulierten Helfern machen werden. Ein neuer Test kann jedoch helfen zu zeigen, dass ein grundlegend anderer Ansatz erforderlich ist, damit KI-Systeme Sprache tatsächlich beherrschen.
Entwickelt von Forschern der Allen Institut für KI (AI2), eine gemeinnützige Organisation mit Sitz in Seattle, the AI2 Denkaufgabe (ARC) wird wissenschaftliche Multiple-Choice-Fragen auf Grundschulniveau stellen. Jede Frage erfordert ein gewisses Verständnis dafür, wie die Welt funktioniert. Das Projekt ist in einem verwandten beschrieben Forschungsbericht (pdf).
Hier ist eine Frage: Welcher Artikel unten ist nicht aus einem in der Natur gewachsenen Material hergestellt? (A) ein Baumwollhemd (B) einen Holzstuhl (C) einen Plastiklöffel (D) einen Graskorb
Diese Frage fällt jedem leicht, der weiß, dass Plastik nicht nachwächst. Die Antwort greift auf ein gesundes Menschenverstandsbild der Welt zurück, das sogar kleine Kinder besitzen.
Genau dieser gesunde Menschenverstand fehlt der KI hinter Sprachassistenten, Chatbots und Übersetzungssoftware. Und das ist einer der Gründe, warum sie so leicht verwirrt werden.
Sprachsysteme, die auf maschinelles Lernen setzen, können oft überzeugende Antworten auf Fragen liefern, wenn sie schon viele ähnliche Beispiele gesehen haben. Ein Programm, das zum Beispiel in vielen Tausenden von IT-Support-Chats trainiert wurde, kann sich in begrenzten Situationen möglicherweise als technischer Support-Helfer ausgeben. Aber ein solches System würde scheitern, wenn man etwas fragen würde, das breiteres Wissen erfordert.
Wir müssen unseren gesunden Menschenverstand einsetzen, um die Lücken rund um die Sprache zu füllen, die wir sehen, um ein kohärentes Bild dessen zu erhalten, was gesagt wird, sagt Peter Clark, der leitende Forscher des ARC-Projekts. Maschinen haben diesen gesunden Menschenverstand nicht und sehen daher nur, was explizit geschrieben ist, und übersehen die vielen Implikationen und Annahmen, die einem Textstück zugrunde liegen.
Der neue Test ist Teil einer Initiative von AI2, KI-Systemen ein solches Weltverständnis zu verleihen. Und es ist wichtig, weil es schwierig sein kann, festzustellen, wie gut ein Sprachsystem versteht, was es sagt.
Beispielsweise entwickelten im Januar Forscher bei Microsoft und einer anderen Gruppe bei Alibaba Frage-und-Antwort-Programme, die Menschen in einem einfachen Test namens Stanford Question Answering Dataset übertrafen. Diese Fortschritte wurden von Schlagzeilen begleitet, die verkündeten, dass KI-Programme jetzt besser lesen könnten als Menschen. Aber die Programme konnten komplexere Fragen nicht beantworten oder auf andere Wissensquellen zurückgreifen.
Technologieunternehmen werden weiterhin auf diese Weise für die Fähigkeiten von KI-Systemen werben. Microsoft gibt heute bekannt, dass es eine Software entwickelt hat, die in der Lage ist, englische Nachrichtenmeldungen ins Chinesische und umgekehrt zu übersetzen, mit Ergebnissen, die unabhängige Freiwillige als gleichwertig mit der Arbeit professioneller Übersetzer betrachten. Die Forscher des Unternehmens verwendeten fortschrittliche Deep-Learning-Techniken, um ein neues Maß an Genauigkeit zu erreichen. Obwohl dies möglicherweise sehr nützlich ist, würde das System Schwierigkeiten haben, wenn es darum gebeten würde, freilaufende Gespräche oder Texte aus einem unbekannten Bereich, wie z. B. medizinische Notizen, zu übersetzen.
Gary Markus , ein Professor an der NYU, der sich für die Bedeutung des gesunden Menschenverstandes in der KI ausgesprochen hat, wird durch die AI2-Herausforderung ermutigt. Ich denke, dies ist ein großartiges Gegenmittel zu den oberflächlichen Benchmarks, die im Bereich des maschinellen Lernens so üblich geworden sind, sagt er. Es sollte KI-Forscher wirklich dazu zwingen, ihr Spiel zu verbessern.