211service.com
IQ-Testergebnis: Fortschrittliche KI-Maschine stimmt mit der Punktzahl eines vierjährigen Kindes überein
Die schnellen Fortschritte in der Informationsverarbeitungstechnologie in den letzten Jahren haben Computergeräte mit beeindruckenden Leistungen hervorgebracht. Diese Maschinen sind seit langem besser als Menschen beim Rechnen, bei bestimmten Spielen wie Schach und in jüngerer Zeit bei fortgeschrittenen Mustererkennungsaufgaben wie der Gesichtserkennung.
Aber eine offene Frage ist: Inwieweit summieren sich diese Fähigkeiten zum Äquivalent menschlicher Intelligenz? Heute erhalten wir eine Art Antwort dank der Arbeit von Stellan Ohlsson von der University of Illinois und einigen Freunden, die eine der weltweit leistungsstärksten Maschinen für künstliche Intelligenz mithilfe eines Standard-IQ-Tests auf Herz und Nieren geprüft haben.
Die Ergebnisse zeigen, dass Computer zwar in den letzten Jahren deutlich leistungsstärker geworden sind, aber noch einiges an menschlicher Leistungsfähigkeit aufholen müssen.
Zuerst etwas Hintergrund. Die Wissenschaft der Messung menschlicher Fähigkeiten und Leistungen ist als Psychometrie bekannt. Wenn es um die menschliche Intelligenz geht, ist der am weitesten verbreitete psychometrische Test der Intelligenzquotient oder IQ-Test.
Diese besteht aus zwei Teilen. Die erste besteht aus einer Reihe von Fragen, mit denen verschiedene Aspekte der menschlichen Leistungsfähigkeit getestet werden sollen. Die zweite ist eine Datenbank mit Testergebnissen, mit denen zukünftige Ergebnisse verglichen werden können. So werden Menschen bewertet; B. über- oder unterdurchschnittlich im Vergleich zur Datenbank.
IQ-Tests wurden auch entwickelt, um Menschen in verschiedenen Phasen ihres Lebens zu testen. Daher ist es unwahrscheinlich, dass ein Test für Erwachsene viel Aufschluss über die Leistung von 10- oder 4-Jährigen gibt. Daher muss der Prozess des Entwerfens von Tests und des Erstellens der Testergebnisdatenbank für jede dieser Gruppen durchgeführt werden.
Im Laufe der Jahre haben Informatiker eine Reihe von KI-Maschinen entwickelt, die versucht haben, ein rationales Verständnis der Welt um sie herum zu erlangen. Eines der bekanntesten, ConceptNet, wird seit den 1990er Jahren am MIT entwickelt.
Um seine Intelligenz zu messen, verwendeten Ohlsson und Co. einen verbalen IQ-Test, der für Kinder entwickelt wurde, um ConceptNet 4 zu testen (ConceptNet 5 wurde inzwischen veröffentlicht).
Dieser Test, der als Wechsler Preschool and Primary Scale of Intelligence bekannt ist, misst die Leistung von Kindern in fünf Kategorien: Informationen, Wortschatz, Wortschluss, Verständnis und Ähnlichkeiten.
Die Kategorie Information enthält Fragen wie: Wo findet man einen Pinguin?
Die Wortschatzkategorie enthält Fragen wie: Was ist ___? wie in Was ist ein Haus?
Beim Wortschluss muss ein Kind anhand von drei Hinweisen etwas erkennen, z. B.: Du kannst hindurchsehen, es ist quadratisch, und du kannst es öffnen.
Die Ähnlichkeitsfragen haben die Form: Beenden Sie, was ich sage. X und Y sind beide ___ wie in Finish was ich sage. Kugelschreiber und Bleistift sind beide ___. Dies erfordert, dass das Kind zwei Konzepte versteht und die Überschneidung zwischen ihnen findet.
Und schließlich sind die Verständnisfragen von der Form: Warum geben sich Menschen die Hand? Dies erfordert die Konstruktion einer Erklärung und geht damit über die bloße Informationsbeschaffung hinaus.
Ohlsson und Co führten diesen Test durch, indem sie die Fragen in modifizierter Form an die KI-Maschine weitergaben. Dies erforderte etwas Programmierung, damit die Fragen mit der Wissensstruktur des Computers über die Welt verbunden werden konnten.
Und die Ergebnisse sorgen für eine interessante Lektüre. ConceptNet schneidet gut bei Vokabular und Ähnlichkeiten ab, mittelmäßig bei Informationen und schlecht bei Wortschluss und -verständnis, sagen Ohlsson und Co.
Insbesondere die Antworten, die es gab, waren sehr sensibel für die Art und Weise, wie es die Frage interpretierte. In der Kategorie Verständnis wurde beispielsweise die Maschine gefragt Warum geben wir uns die Hand?
Für ConceptNet 4 läuft dies auf eine Suche hinaus, die sich auf drei Konzepte bezieht, zwei Ein-Wort-Konzepte von Shake and Hand und ein Zwei-Wort-Konzept von Shake Hands. Wenn es alle diese Konzepte verwendet, um nach einer Antwort zu suchen, erzeugt es einen epileptischen Anfall.
Wenn Sie die Maschine jedoch zwingen, nur einzelne Konzepte zu berücksichtigen, werden die viel zufriedenstellenderen Antworten 'Danke', 'Flirten' und 'Freund treffen' erzielt.
Aber das funktioniert nicht immer. In der Informationskategorie wurde die Maschine beispielsweise gefragt, wo findet man einen Lehrer?
Die Maschine zerlegt dies in eine Anfrage nach drei verschiedenen Konzepten: die von finden und Lehrer und die des Zwei-Wort-Konzepts finden Lehrer. Unter Verwendung all dieser Antworten gibt es die richtige Antwort wie: Aber wenn Ohlsson und Co es zwingen, nur das Zwei-Wort-Konzept „Lehrer finden“ zu berücksichtigen, gibt es die rätselhaften Antworten „Band“ oder „Klavier“.
Warum es unter bestimmten Umständen Probleme mit dieser Art von Argumentation hat, ist nicht klar.
Außerdem sind viele der falschen Antworten völlig anders als die, die Kinder geben würden. Beispielsweise wurden ConceptNet 4 in der Kategorie Wortschluss folgende Hinweise gegeben: Dieses Tier hat eine Mähne, wenn es männlich ist, dies ist ein Tier, das in Afrika lebt, und dies eine große gelblich-braune Katze.
Aber die fünf wichtigsten Antworten waren: Hund, Bauernhof, Kreatur, Zuhause und Katze.
Das ist bizarr. Der gesunde Menschenverstand sollte die Antwort zumindest auf Tiere beschränken und auch die einfache Schlussfolgerung ziehen, dass, wenn die Hinweise sagen, dass es sich um eine Katze handelt, Katzentypen die einzigen Alternativen sind, die in Betracht gezogen werden müssen, sagen Ohlsson und Co.
All dies führte Ohlsson und Co zu einer klaren Schlussfolgerung. Das ConceptNet-System erzielte einen WPPSI-III-VIQ, der für ein vierjähriges Kind durchschnittlich, für fünf- bis siebenjährige jedoch unterdurchschnittlich ist, heißt es.
Das ist ein interessantes Ergebnis. Natürlich gibt es verschiedene Möglichkeiten, wie der Test verbessert werden könnte. Eine besteht darin, dem Computer Fähigkeiten zur Verarbeitung natürlicher Sprache zu verleihen. Das würde die Abhängigkeit von der für die Eingabe der Fragen erforderlichen Programmierung verringern und ist mit Online-Assistenten wie Siri, Cortana und Google Now bereits möglich.
Der vielleicht wichtigste Punkt ist, dass diese Arbeit an einer Version von ConceptNet 4 aus dem Jahr 2012 durchgeführt wurde. Künstliche Intelligenz hat sich seitdem schnell verändert. Die wichtigste Änderung war ein Wechsel von der Wissensbeschaffung zu einer lerngetriebenen Arbeitsweise. Diese Systeme verarbeiten jetzt riesige Datenbanken mit Informationen, um Erkenntnisse über Sprache, Bilder und andere Aspekte der Welt zu gewinnen. Dies hat zu einer exponentiellen Leistungssteigerung bei vielen Aufgaben geführt, beispielsweise bei der Gesichtserkennung.
Nimmt man das Ergebnis von Ohlsson und Co. für bare Münze, hat es 60 Jahre KI-Forschung gedauert, um 2012 eine Maschine zu bauen, die dem gesunden Menschenverstand eines Vierjährigen nahe kommt. Aber die Natur exponentieller Verbesserungen lässt die Aussicht aufkommen, dass die nächsten sechs Jahre ähnlich dramatische Verbesserungen hervorbringen könnten.
Eine Frage, die wir uns dringend stellen sollten, lautet also: Mit welcher Art von KI-Maschine könnten wir uns 2018 auseinandersetzen?
Ref: arxiv.org/abs/1509.03390 : Messung der Leistung eines künstlichen Intelligenzsystems bei einem verbalen IQ-Test für kleine Kinder