Wie Mechanical Turkers ein riesiges Lexikon von Verbindungen zwischen Worten und Emotionen durch Crowdsourcing erstellt haben

Einer der Schlagworte, die mit dem Social Web verbunden sind, ist die Sentiment-Analyse. Dies ist die Fähigkeit, die Meinung oder den Geisteszustand einer Person zu bestimmen, indem die Wörter analysiert werden, die sie auf Twitter, Facebook oder einem anderen Medium veröffentlichen.

Mit dieser Methode wurde viel versprochen – die Fähigkeit, die Zufriedenheit mit Politikern, Filmen und Produkten zu messen; die Fähigkeit, Kundenbeziehungen besser zu verwalten; die Fähigkeit, Dialoge für emotionsbewusste Spiele zu erstellen; die Fähigkeit, den Emotionsfluss in Romanen zu messen; und so weiter.

Die Idee ist, diesen Prozess vollständig zu automatisieren – um die von sozialen Websites produzierten Wortschwalle mithilfe fortschrittlicher Data-Mining-Techniken zu analysieren, um die Stimmung in großem Umfang zu messen.

Aber all dies hängt davon ab, wie gut wir die Emotionen und Polaritäten (ob negativ oder positiv) verstehen, die Menschen mit jedem Wort oder jeder Wortkombination verbinden.

Heute stellen Saif Mohammad und Peter Turney vom National Research Council Canada in Ottawa eine riesige Datenbank mit Wörtern und den damit verbundenen Emotionen und Polaritäten vor, die sie schnell und kostengünstig über die Crowdsourcing-Website Mechanical Turk von Amazon aufgebaut haben. Sie sagen, dass dieser Crowdsourcing-Mechanismus es ermöglicht, die Größe und Qualität der Datenbank schnell und einfach zu erhöhen.

Die meisten Psychologen glauben, dass es im Wesentlichen sechs grundlegende Emotionen gibt – Freude, Traurigkeit, Wut, Angst, Ekel und Überraschung – oder höchstens acht, wenn man Vertrauen und Vorfreude mit einbezieht. Die Aufgabe eines Wort-Emotions-Lexikons besteht also darin, festzustellen, wie stark ein Wort mit jeder dieser Emotionen verbunden ist.

Eine Möglichkeit, dies zu tun, besteht darin, eine kleine Gruppe von Experten zu verwenden, um Emotionen mit einer Reihe von Wörtern zu assoziieren. Eine der berühmtesten Datenbanken, die in den 1960er Jahren erstellt wurde und als General Inquirer-Datenbank bekannt ist, enthält über 11.000 Wörter, die mit 182 verschiedenen Tags gekennzeichnet sind, darunter einige der Emotionen, die Psychologen heute für die grundlegendsten halten.

Eine modernere Datenbank ist das WordNet Affect Lexicon, in dem einige hundert Wörter auf diese Weise markiert sind. Dabei wurde eine kleine Gruppe von Experten verwendet, um eine Reihe von Startwörtern manuell mit den grundlegenden Emotionen zu versehen. Die Größe dieser Datenbank wurde dann dramatisch erhöht, indem automatisch alle Synonyme dieser Wörter mit denselben Emotionen verknüpft wurden.

Eines der Probleme bei diesen Ansätzen ist die schiere Zeit, die zum Kompilieren einer großen Datenbank benötigt wird, daher versuchten Mohammad und Turney einen anderen Ansatz.

Diese Jungs wählten etwa 10.000 Wörter aus einem bestehenden Thesaurus und den oben beschriebenen Lexika aus und erstellten dann einen Satz von fünf Fragen zu jedem Wort, die die damit verbundenen Emotionen und Polaritäten enthüllen würden. Das sind insgesamt über 50.000 Fragen.

Sie stellten diese Fragen dann über 2000 Personen oder Türken auf der Mechanical Turk-Website von Amazon und zahlten 4 Cent für jeden Satz richtig beantworteter Fragen.

Das Ergebnis ist ein umfassendes Wort-Emotion-Lexikon für über 10.000 Wörter oder Zwei-Wort-Phrasen, das sie EmoLex nennen.

Ein wichtiger Faktor in dieser Untersuchung ist die Qualität der Antworten, die Crowdsourcing liefert. Einige Türken könnten zum Beispiel zufällig antworten oder sogar absichtlich falsche Antworten eingeben.

Mohammad und Turney haben dies angegangen, indem sie Testfragen eingefügt haben, mit denen sie beurteilen können, ob der Turker gut antwortet. Wenn nicht, werden alle Daten dieser Person ignoriert.

Sie haben die Qualität ihrer Datenbank getestet, indem sie sie mit früheren von Experten erstellten Datenbanken verglichen haben, und sagen, dass sie gut abschneidet. Wir haben eine Teilmenge unseres Lexikons mit bestehenden Goldstandarddaten verglichen, um zu zeigen, dass die erhaltenen Anmerkungen tatsächlich von hoher Qualität sind, heißt es.

Dieser Ansatz hat großes Potenzial für die Zukunft. Mohammad und Turney sagen, dass es einfach sein sollte, die Datendatenbank zu vergrößern und gleichzeitig kann die gleiche Technik leicht angepasst werden, um ähnliche Lexika in anderen Sprachen zu erstellen. Und all dies kann sehr billig gemacht werden – sie haben 2100 US-Dollar für Mechanical Turk für diese Arbeit ausgegeben.

Unterm Strich kann die Sentimentanalyse immer nur so gut sein wie die Datenbank, auf die sie sich stützt. Mit EmoLex haben Analysten ein neues Werkzeug für ihre Trickkiste.

Ref: arxiv.org/abs/1308.6297 : Crowdsourcing eines Wort-Emotion-Assoziationslexikons

verbergen