Sprachmodelle wie GPT-3 könnten eine neue Art von Suchmaschine einläuten

Stapel von Papieraufzeichnungen

Pixabay





1998 veröffentlichten ein paar Stanford-Studenten einen Aufsatz, in dem sie eine neue Art von Suchmaschine : In diesem Beitrag stellen wir Google vor, den Prototyp einer groß angelegten Suchmaschine, die die im Hypertext vorhandene Struktur stark nutzt. Google wurde entwickelt, um das Web effizient zu crawlen und zu indizieren und viel zufriedenstellendere Suchergebnisse zu produzieren als bestehende Systeme.

Verwandte Geschichte

Diese Besserwisser-KI lernt, indem sie das gesamte Web ununterbrochen liest Diffbot erstellt den größten Wissensgraphen aller Zeiten, indem es Bilderkennung und Verarbeitung natürlicher Sprache auf Milliarden von Webseiten anwendet.

Die wichtigste Innovation war ein Algorithmus namens PageRank, der Suchergebnisse ordnete, indem er berechnete, wie relevant sie für die Suchanfrage eines Benutzers waren, basierend auf ihren Links zu anderen Seiten im Web. Auf der Grundlage von PageRank wurde Google zum Tor zum Internet, und Sergey Brin und Larry Page bauten eines der größten Unternehmen der Welt auf.

Das hat jetzt ein Team von Google-Forschern veröffentlicht ein Vorschlag für eine radikale Neugestaltung das wirft den Ranking-Ansatz über Bord und ersetzt ihn durch ein einziges großes KI-Sprachmodell – eine zukünftige Version von BERT oder GPT-3 . Die Idee ist, dass Benutzer, anstatt in einer riesigen Liste von Webseiten nach Informationen zu suchen, Fragen stellen und ein auf diesen Seiten trainiertes Sprachmodell direkt antworten würde. Der Ansatz könnte nicht nur die Funktionsweise von Suchmaschinen verändern, sondern auch die Art und Weise, wie wir mit ihnen interagieren.



Viele Probleme mit bestehenden Sprachmodellen müssen zuerst behoben werden. Zunächst einmal können diese KIs manchmal voreingenommene und toxische Antworten auf Anfragen generieren – ein Problem, das Forscher bei Google und anderswo beschäftigt hingewiesen haben .

PageRank neu denken

Suchmaschinen sind schneller und genauer geworden, obwohl das Web an Größe explodiert ist. KI wird jetzt verwendet, um Ergebnisse zu ordnen, und Google verwendet BERT, um Suchanfragen zu verstehen besser. Doch trotz dieser Optimierungen funktionieren alle Mainstream-Suchmaschinen immer noch so wie vor 20 Jahren: Webseiten werden von Crawlern (Software, die das Web ununterbrochen liest und eine Liste mit allem führt, was sie findet) indiziert, Ergebnisse, die mit der Suchanfrage eines Benutzers übereinstimmen, sind aus diesem Index gesammelt und die Ergebnisse in eine Rangfolge gebracht.

Diese Blaupause aus Index-Abruf und dann Rangordnung hat sich bewährt und wurde selten in Frage gestellt oder ernsthaft überdacht, schreiben Donald Metzler und seine Kollegen bei Google Research. (Metzler lehnte eine Bitte um Stellungnahme ab.)



Das Problem ist, dass selbst die besten Suchmaschinen heute immer noch mit einer Liste von Dokumenten antworten, die die angeforderten Informationen enthalten, und nicht mit den Informationen selbst. Suchmaschinen sind auch nicht gut darin, auf Anfragen zu antworten, die Antworten aus mehreren Quellen erfordern. Es ist, als ob Sie Ihren Arzt um Rat fragen und anstelle einer direkten Antwort eine Liste mit Artikeln zum Lesen erhalten.

Metzler und seine Kollegen interessieren sich für eine Suchmaschine, die sich wie ein menschlicher Experte verhält. Es sollte Antworten in natürlicher Sprache produzieren, die aus mehr als einem Dokument synthetisiert werden, und seine Antworten mit Verweisen auf unterstützende Beweise untermauern, wie es Wikipedia-Artikel anstreben.

Verwandte Geschichte

Warum GPT-3 derzeit die beste und schlechteste KI ist

Die Sprach-KI von Open AI begeisterte die Öffentlichkeit mit ihrer offensichtlichen Beherrschung der englischen Sprache – aber ist das alles eine Illusion?



Große Sprachmodelle bringen uns teilweise auf den Weg dorthin. GPT-3 wurde mit den meisten Webinhalten und Hunderten von Büchern trainiert und bezieht Informationen aus mehreren Quellen, um Fragen in natürlicher Sprache zu beantworten. Das Problem ist, dass es diese Quellen nicht verfolgt und keine Beweise für seine Antworten liefern kann. Es gibt keine Möglichkeit zu sagen, ob GPT-3 vertrauenswürdige Informationen oder Desinformationen nachplappert – oder einfach nur Unsinn von sich gibt.

Metzler und seine Kollegen nennen Sprachvorbilder Dilettanten – sie gelten als sehr vielwissend, aber ihr Wissen ist oberflächlich. Die Lösung, so behaupten sie, besteht darin, zukünftige BERTs und GPT-3s zu bauen und zu trainieren, um Aufzeichnungen darüber zu führen, woher ihre Worte stammen. Solche Modelle sind dazu noch nicht in der Lage, aber im Prinzip ist es möglich, und es gibt erste Arbeiten in diese Richtung.

In verschiedenen Bereichen der Suche hat es jahrzehntelange Fortschritte gegeben, von der Beantwortung von Anfragen über die Zusammenfassung von Dokumenten bis hin zur Strukturierung von Informationen, sagt Ziqi Zhang von der University of Sheffield, Großbritannien, der sich mit dem Abrufen von Informationen im Internet befasst. Aber keine dieser Technologien hat die Suche überholt, da sie jeweils spezifische Probleme ansprechen und nicht verallgemeinerbar sind. Die spannende Prämisse dieses Artikels ist, dass große Sprachmodelle all diese Dinge gleichzeitig tun können, sagt er.



Zhang merkt jedoch an, dass Sprachmodelle bei technischen oder spezialisierten Fächern nicht gut abschneiden, da der Text, an dem sie trainiert werden, weniger Beispiele enthält. Es gibt wahrscheinlich hundertmal mehr Daten zum E-Commerce im Web als Daten zur Quantenmechanik, sagt er. Sprachmodelle sind heute auch in Richtung Englisch verzerrt, wodurch nicht-englische Teile des Webs unterversorgt würden.

Hanna Hajishirzi, die Natural Language Processing an der University of Washington studiert, begrüßt die Idee, warnt aber vor Problemen in der Praxis. „Ich glaube, dass große Sprachmodelle sehr wichtig und potenziell die Zukunft von Suchmaschinen sind, aber sie erfordern große Speicher- und Rechenressourcen“, sagt sie. 'Ich glaube nicht, dass sie die Indexierung ersetzen würden.'

Dennoch ist Zhang von den Möglichkeiten begeistert. Das sei in der Vergangenheit nicht möglich gewesen, weil große Sprachmodelle erst vor Kurzem aufgekommen seien, sagt er. Wenn es funktioniert, würde es unsere Sucherfahrung verändern.

Update: Wir haben den Text geändert, um die Probleme mit bestehenden großen Sprachmodellen klarer darzustellen.

verbergen