Ein Algorithmus fasst langen Text überraschend gut zusammen

Herr. Technik

Wer hat schon Zeit, jeden Artikel zu lesen, den er auf Twitter oder Facebook geteilt sieht, oder jedes Dokument, das für seinen Job relevant ist? Da die Informationsüberflutung immer schlimmer wird, könnten Computer unsere einzige Hoffnung für die Bewältigung einer wachsenden Flut von Dokumenten werden. Und es kann zur Routine werden, sich auf eine Maschine zu verlassen, um Artikel, Forschungsarbeiten und andere Texte für Sie zu analysieren und zu paraphrasieren.

Ein von Forschern bei Salesforce entwickelter Algorithmus zeigt, wie Computer irgendwann die Aufgabe übernehmen können, Dokumente zusammenzufassen. Es verwendet mehrere maschinelle Lerntricks, um überraschend kohärente und genaue Textschnipsel aus längeren Textstücken zu erstellen. Und obwohl es noch nicht so gut ist wie eine Person, deutet es an, wie das Verdichten von Text schließlich automatisiert werden könnte.

Der Algorithmus produzierte zum Beispiel die folgende Zusammenfassung einer kürzlichen New York Times Artikel über den Versuch von Facebook, Fake News vor den bevorstehenden Wahlen in Großbritannien zu bekämpfen:

• Das soziale Netzwerk veröffentlichte am Montag eine Reihe von Anzeigen in Zeitungen in Großbritannien.
• Es hat Zehntausende gefälschte Konten in Großbritannien entfernt.
• Es sagte auch, dass es 3.000 weitere Moderatoren einstellen würde, was die Zahl der Menschen weltweit, die nach unangemessenen oder anstößigen Inhalten scannen, fast verdoppeln würde.

Laut einem gängigen Softwaretool zur Messung der Genauigkeit von Textzusammenfassungen ist der Salesforce-Algorithmus erheblich besser als alles, was zuvor entwickelt wurde.

Ich glaube nicht, dass ich jemals eine so große Verbesserung bei einer [natürlichen Sprachverarbeitung]-Aufgabe gesehen habe, sagt Richard Söcher , Chefwissenschaftler bei Salesforce. Socher ist ein bekannter Name in den Bereichen maschinelles Lernen und Verarbeitung natürlicher Sprache, und sein Startup, MetaMind , wurde 2016 von Salesforce übernommen.

Die Software ist noch weit davon entfernt, die Fähigkeit eines Menschen zu erreichen, die Essenz von Dokumenttext zu erfassen, und andere Zusammenfassungen, die sie erstellt, sind schlampiger und weniger kohärent. In der Tat würde die perfekte Zusammenfassung von Text echte Intelligenz erfordern, einschließlich gesundem Menschenverstand und Sprachbeherrschung.

Das Parsing von Sprache bleibt eine der großen Herausforderungen der künstlichen Intelligenz (siehe AI’s Language Problem). Aber es ist eine Herausforderung mit enormem kommerziellem Potenzial. Selbst eine begrenzte linguistische Intelligenz – die Fähigkeit, gesprochene oder geschriebene Anfragen zu parsen und auf differenziertere und kohärentere Weise zu antworten – könnte Personal Computing verändern. In vielen Fachbereichen – wie Medizin, wissenschaftliche Forschung und Recht – könnten die Verdichtung von Informationen und die Gewinnung von Erkenntnissen enorme wirtschaftliche Vorteile haben.

Caiming Xiong, ein Forschungswissenschaftler bei Salesforce, der an der Arbeit mitgewirkt hat, sagt, dass der Algorithmus seines Teams zwar unvollkommen ist, aber tägliche Nachrichtenartikel zusammenfassen oder eine Zusammenfassung von Kunden-E-Mails liefern könnte. Letzteres könnte besonders für die Salesforce-eigene Plattform nützlich sein.

Der Algorithmus des Teams verwendet eine Kombination von Ansätzen, um seine Verbesserung zu erreichen. Das System lernt aus Beispielen für gute Zusammenfassungen, ein Ansatz, der als überwachtes Lernen bezeichnet wird, wendet aber auch eine Art künstliche Aufmerksamkeit auf den Text an, den es aufnimmt und ausgibt. Dadurch wird sichergestellt, dass nicht zu viele sich wiederholende Textstränge entstehen, ein häufiges Problem bei Zusammenfassungsalgorithmen.

Das System experimentiert, um mithilfe eines Prozesses namens Reinforcement Learning eigene Zusammenfassungen zu erstellen. Inspiriert von der Art und Weise, wie Tiere zu lernen scheinen, bedeutet dies, positives Feedback für Aktionen zu geben, die zu einem bestimmten Ziel führen. Reinforcement Learning wurde verwendet, um Computer zu trainieren, beeindruckende neue Dinge zu tun, wie das Spielen komplexer Spiele oder das Steuern von Robotern (siehe 10 Breakthrough Technologies 2017: Reinforcement Learning ). Diejenigen, die an Konversationsschnittstellen arbeiten, sehen sich jetzt zunehmend verstärktes Lernen als eine Möglichkeit an, ihre Systeme zu verbessern.

Christian Hammond , Professor an der Northwestern University und Gründer von Narrative Wissenschaft , ein Unternehmen, das narrative Berichte aus Rohdaten generiert, sagt, die Salesforce-Forschung sei ein guter Fortschritt, aber sie zeige auch die Grenzen auf, sich nur auf statistisches maschinelles Lernen zu verlassen. Irgendwann müssen wir zugeben, dass wir in diesen Systemen ein bisschen Semantik und ein bisschen syntaktisches Wissen brauchen, damit sie flüssig und fließend sind, sagt Hammond.

Hammond sagt, dass die Verwendung eines Aufmerksamkeitsmechanismus auf einer sehr einfachen Ebene die Art und Weise nachahmt, wie eine Person dem gerade Gesagten Aufmerksamkeit schenkt. Wenn Sie etwas sagen, werden die Details, wie Sie es sagen, vom Kontext dessen bestimmt, was Sie zuvor gesagt haben, sagt er. Diese Arbeit ist ein Schritt in diese Richtung.

Die Verbesserung der Sprachkenntnisse von Computern kann sich auch als wichtig erweisen, um die künstliche Intelligenz voranzutreiben. Ein Startup hat angerufen Maluuba , das Anfang dieses Jahres von Microsoft erworben wurde, hat kürzlich ein System entwickelt, das relevante Fragen aus Text generieren kann. Das Maluuba-Team verwendete auch eine Kombination aus überwachtem Lernen und bestärkendem Lernen.

Laut Adam Trischler, Senior Research Scientist bei Maluuba, ist das Stellen relevanter Fragen ein wichtiger Teil des Lernens, daher ist es auch wichtig, neugierige Maschinen zu entwickeln. Das ultimative Ziel sei es, Fragen und Antworten in einem Dialog einzusetzen, sagt Trischler. Was wäre, wenn eine Maschine hinausgehen und Informationen sammeln und dann ihre eigenen Fragen stellen könnte?

verbergen