Selbst die beste KI zum Erkennen von Fake News ist immer noch schrecklich

Illustration eines verwirrten Roboters, der eine Zeitung hält Frau Tech

Als Facebook-Chef Mark Zuckerberg dem Kongress versprach, dass KI helfen würde, das Problem der Fake News zu lösen, verriet er wenig wie . Neue Forschungsergebnisse bringen uns dem herauszufinden einen Schritt näher.

In einer umfangreichen Studie, die später in diesem Monat auf einer Konferenz vorgestellt wird, haben Forscher des MIT, des Qatar Computing Research Institute (QCRI) und der Universität Sofia in Bulgarien über 900 mögliche Variablen zur Vorhersage der Vertrauenswürdigkeit eines Medienunternehmens getestet – wahrscheinlich die größte Menge, die jemals vorgeschlagen wurde .

Die Forscher trainierten dann ein maschinelles Lernmodell mit verschiedenen Kombinationen der Variablen, um zu sehen, welche die genauesten Ergebnisse liefern würden. Das beste Modell kennzeichnet Nachrichtenagenturen in nur 65 % der Fälle genau mit niedriger, mittlerer oder hoher Faktizität.

Das ist weit entfernt von einem durchschlagenden Erfolg. Aber die Experimente enthüllen wichtige Dinge darüber, was nötig wäre, um unsere Faktenprüfung an eine Maschine auszulagern. Preslav Nakov, leitender Wissenschaftler am QCRI und einer der Forscher der Studie, sagt, er sei optimistisch, dass Quellen gefälschter Nachrichten auf diese Weise automatisch entdeckt werden können.

Aber das bedeutet nicht, dass es einfach sein wird.

Methode zum Wahnsinn

In der Explosion der Forschung zur Erkennung von Fake-News seit dem US-Präsidentschaftswahlkampf 2016 haben sich vier Hauptansätze herauskristallisiert: Faktenprüfung einzelner Behauptungen, Aufdeckung gefälschter Artikel, Jagd auf Trolle und Messung der Zuverlässigkeit von Nachrichtenquellen. Nakov und der Rest des Teams entschieden sich dafür, sich auf die vierte zu konzentrieren, weil sie dem Ursprung von Fehlinformationen am nächsten kommt. Es wurde auch am wenigsten untersucht.

Frühere Studien versuchten, die Zuverlässigkeit einer Nachrichtenquelle dadurch zu charakterisieren, wie viele ihrer Behauptungen mit Behauptungen übereinstimmten oder in Konflikt standen, die bereits auf Fakten überprüft worden waren. Mit anderen Worten, eine Maschine würde die Geschichte der Tatsachenbehauptungen einer Nachrichtenagentur mit den Schlussfolgerungen von Websites wie Snopes oder PolitiFact vergleichen. Der Mechanismus stützt sich jedoch auf die Überprüfung menschlicher Fakten und bewertet die Geschichte der Verkaufsstelle, nicht die unmittelbare Gegenwart. Bis die neuesten Behauptungen manuell auf Fakten überprüft wurden, sei es bereits zu spät, sagt Nakov.

Um eine gefälschte Nachrichtenquelle nahezu in Echtzeit zu erkennen, trainierten Nakov und seine Mitarbeiter ihr System mit Variablen, die unabhängig von menschlichen Faktenprüfern tabelliert werden konnten. Dazu gehörten inhaltliche Analysen, wie die Satzstruktur von Überschriften und die Wortvielfalt in Artikeln; allgemeine Website-Indikatoren wie URL-Struktur und Website-Traffic; und Maßnahmen zum Einfluss der Verkaufsstelle, wie ihr Engagement in den sozialen Medien und die Wikipedia-Seite, falls vorhanden.

Bei der Auswahl der Variablen stützten sich die Forscher sowohl auf frühere Forschungsergebnisse – frühere Studien haben beispielsweise gezeigt, dass gefälschte Nachrichtenartikel dazu neigen, sich wiederholende Wortwahlen zu haben – als auch auf neue Hypothesen.

Durch das Testen verschiedener Kombinationen von Variablen konnten die Forscher die besten Prädiktoren für die Zuverlässigkeit einer Nachrichtenquelle identifizieren. Ob eine Verkaufsstelle beispielsweise eine Wikipedia-Seite hatte, hatte eine übergroße Vorhersagekraft; der Verkehr des Outlets hatte dagegen keinen. Die Übung half den Forschern, zusätzliche Variablen zu bestimmen, die sie in Zukunft untersuchen könnten.

Daten verhungert

Aber es gibt noch ein weiteres Hindernis: ein Mangel an Trainingsdaten – was Nakov die Grundwahrheit nennt.

Für die meisten maschinellen Lernaufgaben ist es einfach genug, die Trainingsdaten zu kommentieren. Wenn Sie ein System aufbauen möchten, das Artikel über Sport erkennt, können Sie Artikel ganz einfach als mit oder ohne Bezug zu diesem Thema kennzeichnen. Anschließend füttern Sie den Datensatz in eine Maschine, damit diese die Eigenschaften eines Sportartikels lernen kann.

Aber die Kennzeichnung von Medien mit hoher oder niedriger Faktizität ist viel heikler. Es muss von professionellen Journalisten durchgeführt werden, die strenge Methoden befolgen, und es ist ein zeitintensiver Prozess. Infolgedessen ist es eine Herausforderung, einen soliden Korpus von Trainingsdaten aufzubauen, was teilweise der Grund dafür ist, dass die Genauigkeit des Studienmodells so gering ist. Der offensichtlichste Weg, die Genauigkeit zu erhöhen, besteht darin, mehr Trainingsdaten zu erhalten, sagt Nakov

Derzeit hat Media Bias Fact Check, die Organisation, die ausgewählt wurde, um die Wahrheit für die Forschung zu liefern, 2.500 Medienquellen ausgewertet – ein Mangel an maschinellem Lernen. Aber Nakov sagt, dass die Datenbank der Organisation schnell wächst. Die Forscher wollen nicht nur mehr Trainingsdaten erhalten, sondern auch die Leistung ihres Modells mit mehr Variablen verbessern, von denen einige die Struktur der Website beschreiben, ob sie Kontaktinformationen enthält und ihre Muster beim Veröffentlichen und Löschen von Inhalten.

Sie befinden sich auch in der Anfangsphase des Aufbaus einer Nachrichtenaggregationsplattform, die den Lesern wichtige Hinweise auf die Vertrauenswürdigkeit jeder geteilten Geschichte und Quelle gibt.

Trotz der noch zu leistenden Arbeit glaubt Nakov, dass eine solche Technologie dazu beitragen kann, die Fake-News-Epidemie relativ schnell zu lösen, wenn Plattformen wie Facebook und Twitter sich ernsthaft bemühen. Es sei wie Spam bekämpfen, schrieb er in einer Skype-Nachricht. Wir werden Fake News nie vollständig stoppen, aber wir können sie unter Kontrolle bringen.

verbergen