Watson über Jeopardy, Teil 2

Die erste Nacht des Gefahr Es hat großen Spaß gemacht, das IBM Watson-Programm gegen menschliche Teilnehmer anzutreten. Eine nette Geste war das Backstage-Display, das drei Antworten zeigte, die Watson für jede Frage berücksichtigte, und das Vertrauen der Maschine in sie. Das ist interessant, denn es gibt Ihnen einen Einblick in die Bandbreite der Dinge, die in Betracht gezogen wurden.

Einige der Kategorien waren offensichtlich Softballs für Watson. Eine Kategorie, Beatles People, war einfach, weil das Programm einfach nur passende Songtexte dazu bringen würde, die Antwort zu finden (aber nicht ganz). Die Spielregeln verbieten es dem Computer, im Internet nach Antworten zu suchen. Watson ist auf eigene, im Voraus gespeicherte Ressourcen angewiesen. Aber mit seinen 15 Petabyte an Speicher hat Watson im Grunde mehr oder weniger eine Kopie eines guten Teils des Webs.

Offensichtlich hatte es eine Kopie der Beatles-Texte, nach denen es suchte. Sonst hätte es kein Gebet zu diesen Fragen gegeben.

Watson beendete die erste Runde punktgleich mit $5.000; Ken Jennings wurde mit $2.000 Dritter. Aber um eine Vorstellung davon zu bekommen, wie gut Watson wirklich abgeschnitten hat, können Sie zu Hause Ihren eigenen Wettbewerb gegen Watsons wirklichen Konkurrenten veranstalten. Nicht Brad Rutter oder Ken Jennings, sondern eine Suchmaschine wie Google. Geben Sie einfach den Hinweis bei Google ein und sehen Sie, was Sie erhalten. Wie Watson analysiert Google riesige Textmengen, zählt Wörter und verfolgt, wie oft Wörter zusammen vorkommen. Wie Watson verwendet Google mehrere Ansätze, um Text zu analysieren, und hat dann eine Art Abstimmungsschema, um herauszufinden, wie sicher es von der Antwort ist.

Es gibt viele Unterschiede zwischen Watson und Google, aber das gibt Ihnen ein gutes Gefühl für das Problem. Meistens erhalten Sie einige Webseiten, auf denen die Antwort irgendwo enthalten ist, aber die Antwort aus allem auszuwählen, was sich auf der Seite befindet, Anzeigen und alles, ist keine leichte Aufgabe. Zu verstehen, was eine Antwort ausmacht, ist das zentrale Problem.

Interessanterweise war es manchmal lehrreicher, wo Watson scheiterte, als wenn es erfolgreich war.

Hinweis: Es war diese anatomische Kuriosität des US-Turner George Eyser….

Antwort von Ken Jennings: Fehlende Hand (falsch)

Watsons Antwort: Bein (falsch)

Richtige Antwort: Fehlendes Bein

Was Watson nicht erkannte, war, dass das Wort Bein an sich keine Antwort auf die Frage war. Dies ist für die Menschen der gesunde Menschenverstand, denn das Bein ist ein anatomischer Teil, keine anatomische Kuriosität, obwohl Watson erkannte, dass die Beine irgendwie beteiligt waren. Was hier passierte, könnte etwas Tiefgreifenderes als ein einfacher Fehler gewesen sein. David Ferrucci, Watsons Projektleiter, führte das Scheitern auf die Schwierigkeit des Wortes Kuriosität in der Frage zurück. Um zu verstehen, was seltsam sein könnte, müssen Sie es mit dem vergleichen, was nicht seltsam ist – das heißt, was der gesunde Menschenverstand ist. Ein Problem bei Watsons Ansatz besteht darin, dass, wenn ein Satz in seiner Datenbank auftaucht, es nicht sagen kann, ob jemand ihn dort abgelegt hat, nur weil er wahr ist oder weil jemand der Meinung ist, dass er so ungewöhnlich war, dass er gesagt werden musste.

Ein Computer, dem der gesunde Menschenverstand fehlt, ist leider keine Kuriosität. Vielleicht sollte es sein.

Henry Lieberman ist ein Forschungswissenschaftler der am Media Laboratory des MIT an künstlicher Intelligenz arbeitet.

verbergen