211service.com
Wisdom of the Crowd sagt Entscheidungen des Obersten Gerichtshofs genau voraus
FantasySCOTUS ist eine Online-Fantasy-Liga, in der Teilnehmer gegeneinander antreten, indem sie Entscheidungen des Obersten Gerichtshofs der USA vorhersagen. Die Spieler werden wie in jeder Fantasy-Liga eingestuft, und die besten Spieler können Preise wie einen Goldenen Hammer und sogar 10.000 $ in bar gewinnen.
Seit 2011 haben rund 7.000 Spieler über 600.000 Vorhersagen über den Ausgang von über 400 Entscheidungen des Obersten Gerichtshofs gemacht. Diese Personen benötigen keine besondere Qualifikation und der Eintritt ist frei, obwohl die Preise auf US-Bürger beschränkt sind. Die Spieler können kommen und gehen, wie sie wollen, und an einigen Vorhersagen teilnehmen, an anderen jedoch nicht.
All das macht diese Gruppe zu einer interessanten Gruppe. Sozialwissenschaftler interessieren sich seit langem für die Weisheit der Masse – das Phänomen, bei dem eine große Anzahl von Individuen, die scheinbar unabhängig handeln, gemeinsam überraschend genaue Entscheidungen treffen können, manchmal sogar bessere als die klügsten unter ihnen.
Die Landschaft der Crowdsourcing-Weisheit bei der Vorhersage von SCOTUS-Entscheidungen
Wissenschaftler wissen, dass die Weisheit der Masse unter manchen Umständen sehr genau ist, in anderen jedoch nicht besser als zufälliges Raten und manchmal sogar noch schlechter. Wie gut ist die Masse also darin, Entscheidungen des Obersten Gerichtshofs vorherzusagen?
Heute erhalten wir eine Antwort dank der Arbeit von Daniel Martin Katz vom Chicago Kent College of Law in Illinois und ein paar Freunden, die die Daten von FantasySCOTUS verarbeitet haben, um herauszufinden, wie gut die Weisheit der Masse wirklich ist. Und sie zeigen, dass Crowdsourcing das Ergebnis unter einer Vielzahl von Bedingungen ziemlich gut vorhersagen kann.
Ihre Methode ist unkompliziert. Diese Jungs denken sich folgendes Szenario aus:
Stellen Sie sich vor, die folgende Geschichte wäre real. Im Oktober 2011 wurde ein Preis in Höhe von einer Million Dollar angekündigt, um sechs Jahre Entscheidungen des Obersten Gerichtshofs der Vereinigten Staaten anhand von Crowdsourcing-Daten vorherzusagen. Tausende von Teams aus Industrie und Wissenschaft stellen sich der Herausforderung und treffen jeweils leicht unterschiedliche, aber vernünftige Entscheidungen darüber, wie sie ihre Vorhersagen treffen.
Katz und Co. fragen, wie diese Teams das Problem angehen könnten. Einige Teams folgen möglicherweise der Weisheit der Masse im Allgemeinen, andere wählen möglicherweise eine Untergruppe einflussreicher Personen aus, denen sie folgen, ein anderer Ansatz könnte darin bestehen, den Einfluss einzelner Personen nach ihrer Genauigkeit in der Vergangenheit zu gewichten, und so weiter. Diese Modelle können sich auch im Laufe der Zeit weiterentwickeln, wenn die Teams lernen, welche Art von Ansatz am besten funktioniert.
Die Frage, die Katz und Co. stellen, ist, wie gut diese Modelle sein können. Um dies herauszufinden, erstellen sie eine breite Palette von Modellen – etwa 250.000 davon – und testen sie anhand der Daten von FantasySCOTUS. Wir simulieren Modelle umfassend über eine breite Palette vernünftiger Auswahlmöglichkeiten und analysieren dann die Leistung dieser Modelle insgesamt, sagen die Forscher.
Anschließend vergleichen sie die Leistung der Modelle mit einem Nullmodell. In diesem Fall ist das Nullmodell eine Faustregel, die Anwälte verwenden, um das Ergebnis von Entscheidungen des Obersten Gerichtshofs zu erraten. Diese Regel setzt voraus, dass SCOTUS die Entscheidung eines niedrigeren Gerichts aufhebt. Und tatsächlich passiert das in etwa 60 Prozent der Fälle.
Die Analyse zeigt aber, dass Crowdsourcing-Modelle noch besser sind. Katz und Co. sagen, dass viele Modelle das Nullmodell, das SCOTUS-Entscheidungen mit einer Genauigkeit von 80 Prozent am besten vorhersagt, durchweg übertreffen. Wir unterstützen nachdrücklich die Behauptung, dass Crowdsourcing die Entscheidungen des Obersten Gerichtshofs der Vereinigten Staaten genau und zuverlässig vorhersagen kann, sagen sie.
Das Team plant, die gleiche Methode zu verwenden, um das Ergebnis anderer Gesetzgebungsverfahren und sogar Wahlen vorherzusagen.
Die Arbeit gibt jedoch keinen Einblick in die Schwächen der Crowdsourcing-Weisheit. Zum Beispiel bricht die Weisheit von Massen oft zusammen, wenn die Meinungen von Einzelpersonen korrelieren – wenn sie sich gegenseitig zu stark beeinflussen. Dies kann zu katastrophalen Situationen führen, wenn beispielsweise große Gruppen unter dem Einfluss von Gruppendenken irrationale oder falsche Meinungen vertreten.
Natürlich liegt der interessante Bereich zwischen diesen Extremen – zwischen Weisheit und Torheit. Aus diesem Grund könnte das Verständnis, wie und wann Weisheit zusammenbricht, ein interessanter Weg für zukünftige Arbeiten sein.
Ref: arxiv.org/abs/1712.03846 : Crowdsourcing prognostiziert Entscheidungen des Obersten Gerichtshofs genau und robust