211service.com
Eine kostenlose Datenbank des gesamten Webs kann das nächste Google hervorbringen
Google begann bekanntlich als wenig mehr als ein effizienterer Algorithmus zum Ranking von Webseiten. Aber das Unternehmen baute seinen Erfolg auch auf dem Crawlen des Webs auf – mit Software, die jede Seite besucht, um einen riesigen Index von Online-Inhalten aufzubauen.
Eine gemeinnützige Organisation namens Gemeinsames Kriechen verwendet jetzt einen eigenen Webcrawler und erstellt eine riesige Kopie des Webs, die für jeden zugänglich ist. Die Organisation bietet über fünf Milliarden Webseiten an, die kostenlos zur Verfügung stehen, damit Forscher und Unternehmer Dinge ausprobieren können, die sonst nur für diejenigen möglich sind, die Zugang zu Ressourcen in der Größenordnung von Google haben.
Das Web stellt meines Wissens die größte Ansammlung von Wissen dar, und darauf kann man so viel aufbauen, sagt Unternehmer Gilad Elbaz, der Common Crawl gegründet hat. Aber allein die enorme Menge an Arbeit, die notwendig ist, um an all diese Informationen zu gelangen, ist ein großer Blocker; nur wenige Organisationen … haben die Ressourcen dafür.
Neue Suchmaschinen sind nur eines der Dinge, die mit einem Index des Webs erstellt werden können, sagt Elbaz, der darauf hinweist, dass die Übersetzungssoftware von Google mit Online-Text trainiert wurde, der in mehreren Sprachen verfügbar ist. Die einzige Möglichkeit, dies zu erreichen, bestand darin, mit einem massiven Krabbeln zu beginnen. Das hat sie auf den Weg gebracht, die Star Trek Übersetzer, sagt er. Ein offener, gemeinsamer Bestand an menschlichem Wissen ist einfach eine Möglichkeit, den Zugang zu Informationen zu demokratisieren, die für Innovation von grundlegender Bedeutung sind.
Elbaz sagt, er habe vor etwa fünf Jahren bemerkt, dass Forscher mit neuen Ideen zur Nutzung von Webdaten sich gezwungen sahen, Jobs bei Google anzunehmen, weil dies der einzige Ort war, an dem sie diese Ideen testen konnten. Er sagt, dass die Daten von Common Crawl es neuen Ideen erleichtern werden, sowohl in der Welt der Start-ups als auch in der akademischen Forschung an Bedeutung zu gewinnen.
Elbaz ist Gründer und CEO des Big-Data-Unternehmens Sachlich , und gründete zuvor ein von Google aufgekauftes Unternehmen als Basis für das Anzeigengeschäft für Webseiten. Common Crawl hat auch den Forschungsdirektor von Google, Peter Norvig , und MIT Media Lab Direktor Joi Ito in seinem Beirat.
Common Crawl hat bisher mehr als fünf Milliarden Seiten indiziert, was bis zu 81 Terabyte an Daten summiert, die über den Cloud-Computing-Dienst von Amazon bereitgestellt werden. Für etwa 25 US-Dollar könnte ein Programmierer ein Konto bei Amazon einrichten und Common Crawl-Daten verarbeiten, sagt Lisa Green, die Direktorin von Common Crawl. Der Internetarchiv , eine weitere gemeinnützige Organisation, erstellt ebenfalls eine Kopie des Webs und bietet einen Dienst namens Wayback-Maschine die alte Versionen einer bestimmten Seite anzeigen können. Es erlaubt jedoch niemandem, alle seine Daten auf einmal auf diese Weise zu analysieren.
Common Crawl hat bereits einige neue Web-Startups inspiriert oder ihnen geholfen. TinEye , eine Rückwärtssuchmaschine, die Bilder findet, die den vom Benutzer bereitgestellten ähnlich sind, nutzte für den Anfang die frühen Common Crawl-Daten. Das persönliche Projekt eines Programmierers, das Common Crawl-Daten verwendet, um zu messen, wie viele Seiten des Webs mit Facebook verbunden sind – rund 22 Prozent, schloss er – führte dazu, dass er sich die Finanzierung eines Startups gesichert hat, Glücksauster , basierend darauf, Menschen dabei zu helfen, nützliche Informationen in ihren sozialen Daten zu finden.
Weitere Ideen, die durch das Projekt ermöglicht wurden, gingen aus einem Wettbewerb hervor, bei dem im letzten Jahr Preise für die beste Anwendungsfälle . Einer der Gewinner Wikipedia-Links in Crawling-Daten verwendet, um einen Dienst aufzubauen, der die Bedeutung von Wörtern definieren kann; ein anderer versuchte zu bestimmen öffentliche Einstellung zur Kongressgesetzgebung durch die Analyse des Inhalts von Online-Diskussionen über neue Gesetze.
Rich Skrenta, Mitbegründer und CEO von Suchmaschinen-Startup Blekko (siehe As Google Tinkers With Search, Upstarts Gain Ground), sagt, dass die Daten von Common Crawl einen eindeutigen Bedarf in der Startup-Community erfüllen. Er sagt, Blekko sei von Start-ups mit Technologien angesprochen worden, die Zugriff auf große Sammlungen von Online-Daten benötigen. Diese Art von Daten sind jetzt leicht von Common Crawl verfügbar, sagt Skrenta, dessen Unternehmen im Dezember 2012 einige seiner eigenen Daten zum Projekt beigesteuert hat. Blekko hat Informationen aus seinem System geteilt, das Webseiten nach Inhalt kategorisiert, zum Beispiel, ob sie Pornografie enthalten oder Spam.
Ben Zhao , ein außerordentlicher Professor an der University of California, Santa Barbara, der große Sammlungen von Webdaten zur Untersuchung der Aktivitäten auf sozialen Websites verwendet (siehe Hidden Industry Dupes Social Media Users ), sagt, dass die Daten von Common Crawl wahrscheinlich einzigartig sind. Neue, groß angelegte Crawls sind ziemlich selten, und ich kenne keine Orte, an denen große Crawling-Daten im Web abgerufen werden können, sagt er.
Zhao merkt jedoch an, dass einige der interessantesten und wertvollsten Teile des Webs in den Daten von Common Crawl nicht gut vertreten sind: Soziale Websites sind heutzutage sehr sensibel in Bezug auf ihre Inhalte, und viele implementieren Anti-Crawling-Mechanismen, um die Geschwindigkeit für jeden zu begrenzen auf ihre Inhalte zugreifen können.
Um auf diese Daten zugreifen zu können, müssen Forscher Beziehungen zu Unternehmen aufbauen und sich auf alles verlassen, was sie veröffentlichen – ein Weg, der für Start-ups, die als Konkurrenz angesehen werden können, weniger verfügbar ist.