211service.com
KI besiegt das Schwarmbewusstsein
Mechancial Turk von Amazon ist das Nonplusultra für nahezu anonymes Outsourcing: Jede Aufgabe, die online erledigt werden kann, kann durch die Kombination von automatisiertem Marktplatz und menschlicher Arbeit erledigt werden. Diejenigen, die sich anmelden, um Aufgaben zu erledigen - Türken - werden nur wenige Cent pro Arbeit bezahlt, um alles von der Dateneingabe bis zum . zu erledigen Volkskunst .
(Gleichstrom) Jim Linwood
Mechanical Turk wurde entwickelt, um Aufgaben zu erledigen, die für Menschen einfach und für Maschinen schwierig sind, z. B. das Kategorisieren oder Identifizieren des Inhalts von Bildern. Das Problem für Amazon und all seine Nachahmer ist jedoch, dass Maschinen bei vielen Aufgaben besser werden, während die Menschen auf Mechanical Turk aus Gründen, die ich im morgigen Beitrag untersuchen werde, schlechter werden.
Vor kurzem veröffentlichten beispielsweise Forscher, die an der Online-Rezensionsseite Yelp arbeiten, a Papier (pdf) über ihre Erfahrung im Vergleich mit Tausenden von Mechanical Turkers gegen a überwachter Lernalgorithmus .
Die Ergebnisse waren nicht schön: Um eine Population von Türken zu finden, deren Arbeit passabel war, verwendeten die Forscher zunächst Mechanical Turk, um einen Test an 4.660 Bewerbern durchzuführen. Es war ein Multiple-Choice-Test, um festzustellen, ob ein Türker die richtige Kategorie für ein Unternehmen (Restaurant, Einkaufen usw.) identifizieren und über seine offizielle Website oder telefonisch seine korrekte Telefonnummer und Adresse überprüfen konnte.
79 bestanden. Das war ein extrem einfach ankreuztest. Da fragt man sich, wie die anderen 4.581 überhaupt schlau genug waren, um einen Webbrowser zu bedienen.
Diese 79 hochqualifizierten Mitarbeiter wurden dann mit dem Problem konfrontiert, Geschäftsinformationen zu dreien gleichzeitig zu überprüfen. Dies ermöglichte es den Forschern, nur die Ergebnisse zu verwenden, von denen eine einfache Mehrheit der Türken zustimmte, dass sie richtig waren, oder in einigen Fällen das Ergebnis zu verwenden, das von den Türken gewählt wurde, die in der Vergangenheit am genauesten waren.
Forscher haben einen Naive-Bayes-Klassifikator auf die gleichen Probleme geworfen. Dies ist eine Art überwachter Lernalgorithmus; einer der, nach einem Vergleich dieser Systeme aus dem Jahr 2006 , ist nicht einmal die beste Art da draußen.
Der Bayes-Klassifikator gewann leicht.
In fast allen Fällen identifizierte der Algorithmus, der auf einem Pool von 12 Millionen von Nutzern eingereichten Yelp-Bewertungen trainiert wurde, die Kategorie eines Unternehmens ein Drittel häufiger korrekt als die Menschen. In der Automobilkategorie war die Wahrscheinlichkeit, dass der Computer ein Unternehmen korrekt identifizierte, doppelt so hoch wie die der versammelten Massen.
Diese Ergebnisse deuten nicht unbedingt darauf hin, dass die Kategorisierung von Unternehmen ein Problem wie beim Schach ist, bei dem der menschliche Computer endlich von seinem mechanischen Gegenstück übertroffen wurde. Vielmehr legen sie nahe, dass etwas an Mechanical Turk selbst kaputt ist – entweder das Anreizsystem oder seine Mechanismen für die Qualität der Polizei. Es ist seit langem bekannt, dass die Löhne bei Mechanical Turk recht niedrig sind – die Arbeiter verdienen im Durchschnitt zwischen zwei und drei Dollar pro Stunde für ihre Arbeit, und wahrscheinlich ist dies ein Teil des Problems. Ökonomen haben gerade erst begonnen, sich mit dieser Frage zu befassen; mehr dazu morgen.
