211service.com
Kochbücher, Wikipedia und automatisch generiertes Spanglish: Die schrullige Art und Weise, wie KI-Forscher Daten sammeln
Joe Raedle/Getty Images
Daten sind das Öl, das die KI-Entwicklung antreibt, und sie verschaffen uns viele der Fortschritte, die wir für selbstverständlich halten: YouTube-Untertitel, Spotify-Musikempfehlungen, diese gruseligen Anzeigen, die Ihnen durch das Internet folgen.
Doch wenn es darum geht, nützliche Daten zu sammeln, müssen KI-Experten oft kreativ werden. Nehmen Sie die Verarbeitung natürlicher Sprache (NLP), ein Teilgebiet der KI, das sich darauf konzentriert, Computern beizubringen, wie man menschliche Sprache analysiert. Auf der jährlichen Konferenz über empirische Methoden im NLP stellten Experten ein breites Spektrum an Forschungsergebnissen vor, die sich auf raffinierte Weise auf gesammelte Informationen stützten. Nachfolgend haben wir vier unserer Lieblingsprojekte zusammengefasst.
SCHNELL
Unter den Beiträgen zum mehrsprachigen NLP in diesem Jahr hat Microsoft einen präsentiert das sich auf die Verarbeitung von Code-gemischter Sprache konzentrierte – Text oder Sprache, die fließend zwischen zwei Sprachen wechselt. Wenn man bedenkt, dass mehr als die Hälfte der Weltbevölkerung mehrsprachig ist, ist dieser wenig erforschte Bereich wichtig.
Die Forscher begannen mit Spanglish (Spanisch und Englisch), aber ihnen fehlte genügend Spanglish-Text, um die Maschine zu trainieren. So häufig Code-Mixing in mehrsprachigen Konversationen vorkommt, so selten findet man es in Texten. Um diese Herausforderung zu meistern, schrieben die Forscher ein Programm, um Englisch in den Microsoft Bing-Übersetzer einzufügen und einige Sätze aus der spanischen Übersetzung wieder in den Originaltext einzufügen. Das Programm stellte sicher, dass die ausgetauschten Wörter und Sätze die gleiche Bedeutung hatten. Auf diese Weise konnten sie so viel Spanglish erstellen, wie sie brauchten.
Das resultierende NLP-Modell übertraf frühere Modelle, die nur getrennt auf Spanisch und Englisch trainiert wurden. Die Forscher hoffen, dass ihre Arbeit letztendlich dazu beitragen wird, mehrsprachige Chatbots zu entwickeln, die auf natürliche Weise in Code-gemischter Sprache sprechen können.
KOCHBÜCHER
Rezepte eignen sich hervorragend zum Zubereiten von Speisen, sie können aber auch Nahrung für Maschinen liefern. Sie alle folgen einem ähnlichen Schritt-für-Schritt-Muster und enthalten oft Bilder, die dem Text entsprechen – eine hervorragende Quelle für strukturierte Daten, um Maschinen beizubringen, Text und Bilder gleichzeitig zu verstehen. Deshalb forschen Forscher der Hacettepe-Universität in der Türkei einen riesigen Datensatz zusammengestellt von rund 20.000 illustrierten Kochrezepten. Sie hoffen, dass es eine neue Ressource für das Benchmarking der Leistung des gemeinsamen Bild-Text-Verständnisses sein wird.
Was sie RecipeQA nennen, wird auf früheren Forschungen aufbauen, die sich separat auf das maschinelle Leseverständnis und das visuelle Verständnis konzentriert haben. Im ersten Fall muss die Maschine eine Frage und eine zugehörige Passage verstehen, um die Antwort zu finden; in letzterem sucht es stattdessen in einem verwandten Foto nach der Antwort. Text und Fotos nebeneinander zu haben, erhöht die Komplexität der Aufgabe, da die Fotos und der Text möglicherweise ergänzende oder redundante Informationen enthalten.
KÜRZERE SÄTZE
Google möchte, dass KI Ihre Prosa aufpoliert. Zu diesem Zweck haben Forscher dort die erstellt größter Datensatz aller Zeiten zum Aufteilen langer Sätze in kleinere mit gleicher Bedeutung. Wo würden Sie riesige Mengen an Bearbeitungsdaten finden? Wikipedia natürlich.
Aus Wikipedias umfangreichem Bearbeitungsverlauf hat das Forschungsteam Fälle extrahiert, in denen Personen lange Sätze geteilt haben. Das Ergebnis: 60-mal deutlichere Satztrennungsbeispiele und 90-mal mehr Vokabeln als im vorherigen Benchmark-Datensatz für diese Aufgabe gefunden wurden. Der Datensatz umfasst auch mehrere Sprachen.
Als sie ein maschinelles Lernmodell mit ihren neuen Daten trainierten, erreichte es eine Genauigkeit von 91 %. (Hier spiegelt der Prozentsatz den Anteil der Sätze wider, die nach dem Umschreiben ihre Bedeutung und grammatikalische Korrektheit beibehalten haben.) Im Vergleich dazu erreichte ein Modell, das mit früheren Daten trainiert wurde, nur eine Genauigkeit von 32 %. Als sie beide Datensätze kombinierten und ein anderes Modell trainierten, erreichte es eine Genauigkeit von 95 %. Die Forscher kamen zu dem Schluss, dass zukünftige Verbesserungen durch die Suche nach noch mehr Datenquellen erzielt werden könnten.
SOCIAL-MEDIA-BIAS
Studien haben gezeigt, dass die Sprache, die wir erzeugen, ein guter Indikator für unsere Rasse, unser Geschlecht und unser Alter sein kann, selbst wenn diese Informationen nie explizit angegeben werden. Vor diesem Hintergrund versuchten Forscher der Bar-Ilan-Universität in Israel und des Allen-Instituts für künstliche Intelligenz, mithilfe von KI Text zu entzerren Entfernen dieser eingebetteten Indikatoren .
Um genügend Daten zu sammeln, die die Sprachmuster in verschiedenen demografischen Gruppen darstellen könnten, wandten sie sich an Twitter. Sie sammelten eine Reihe von Tweets von Benutzern, die gleichmäßig auf nicht-hispanische Weiße und nicht-hispanische Schwarze verteilt waren; zwischen Männern und Frauen; und zwischen Personen in den Altersgruppen 18-34 und über 35.
Dann nutzten sie einen kontradiktorischen Ansatz – indem sie zwei neuronale Netze gegeneinander ausspielten – um zu sehen, ob sie die inhärenten demografischen Indikatoren in den Tweets automatisch entfernen könnten. Ein neuronales Netz versuchte, die demografischen Daten vorherzusagen, während das andere versuchte, den Text so zu optimieren, dass er völlig neutral war, mit dem Ziel, die Vorhersagegenauigkeit des ersten Modells auf 50 % (oder Zufall) zu senken. Der Ansatz milderte letztendlich Rassen-, Geschlechts- und Altersindikatoren erheblich, aber nicht vollständig.