AI denkt, dass dieses Flutfoto eine Toilette ist. Die Behebung dieses Problems könnte die Reaktion auf Katastrophen verbessern.

Schwere Überschwemmungen im Mittleren Westen. Mit freundlicher Genehmigung des MIT Lincoln Laboratory

Andrew Weinert und seine Kollegen waren zutiefst frustriert. Nachdem der Hurrikan Maria Puerto Rico heimgesucht hatte, arbeiteten die Forscher des Lincoln Laboratory des MIT hart daran, der Federal Emergency Management Agency (FEMA) bei der Schadensbewertung zu helfen. Sie hatten den perfekten Datensatz zur Hand: 80.000 Luftaufnahmen der Region, aufgenommen von der Civil Air Patrol unmittelbar nach der Katastrophe.

Aber es gab ein Problem: Es gab zu viele Bilder, um sie manuell zu sortieren, und kommerzielle Bilderkennungssysteme konnten nichts Aussagekräftiges erkennen. In einem besonders ungeheuerlichen Beispiel empfahl ImageNet, der goldene Standard für die Bildklassifizierung, ein Bild eines großen Überschwemmungsgebiets als Toilette zu kennzeichnen.

Es gab diesen erstaunlichen Informationsgehalt, aber er war nicht zugänglich, sagt Weinert.

Sie erkannten bald, dass dieses Problem nicht einzigartig ist. In jedem groß angelegten Katastrophenszenario könnten Notfallteams wie die FEMA erheblich Zeit und Ressourcen sparen, indem sie die Einzelheiten der Bedingungen vor Ort vor ihrem Eintreffen überprüfen. Die meisten Computer-Vision-Systeme werden jedoch mit normalen Alltagsbildern trainiert, sodass sie relevante Details in Katastrophengebieten nicht zuverlässig erkennen können.

Die Erkenntnis zwang das Team, eine neue Reihe von Fotos und Filmmaterial speziell für Notfallszenarien zusammenzustellen und zu kommentieren. Sie veröffentlichten den Datensatz zusammen mit a Papier diese Woche in der Hoffnung, dass es in Zukunft zum Trainieren von Computer-Vision-Systemen verwendet wird.

Der Datensatz umfasst über 620.000 Bilder und 96,5 Stunden Video, die Bilder aus allen 50 Bundesstaaten der USA umfassen. Die meisten Medien stammen aus staatlichen Datenbanken oder Creative-Commons-Videos auf YouTube; Ein kleiner Teil wurde auch von den Mitarbeitern des Lincoln Lab selbst gefilmt.

Bilder aus dem Datensatz. Mit freundlicher Genehmigung des MIT Lincoln Laboratory

Um es für Rettungskräfte wirklich nützlich zu machen, betrachteten die Forscher verschiedene Notfallszenarien, die wahrscheinlich gängige Bildklassifizierungssysteme zum Scheitern bringen würden. Sie stellten zum Beispiel Bilder von Autos in überschwemmten Gewässern zusammen; Die meisten Systeme würden das Wasser sehen und das Fahrzeug sofort als Boot kennzeichnen – einfach als Symptom ihrer Trainingsdaten.

Sie verbrachten auch viel Zeit damit, herauszufinden, wie die Bilder am besten kommentiert werden können. Sie wollten, dass die Anmerkungen den Einsatzkräften einen nützlichen Kontext für ihre Einsätze bieten, und außerdem musste das Anmerkungsschema einfach genug sein, damit Datenkennzeichner schnell und mit minimalen Fehlern arbeiten können. Sie ahmten also die Organisationsstruktur von ImageNet nach, die Fotos in immer spezifischere Kategorien von Objekten gruppiert, wie Tier, Hund, dann Labrador Retriever. Anstelle von Objektkategorien gruppierten die Forscher die Fotos jedoch nach immer spezifischeren Katastrophenmerkmalen: Gibt es Schäden? Ja oder Nein? Gibt es Wasser? Ja oder Nein? Sollte das Wasser da sein? Ja oder Nein?

Solche Qualifikationen werden Computer-Vision-Forschern ermöglichen, den Datensatz einfach zu sortieren und relevante Segmente auszuwählen, um katastrophenbezogene Bilderkennungssysteme zu trainieren. Diese Systeme würden dann einem Notfalleinsatzkräften helfen, Bilder aus neuen Katastrophenszenarien schnell zu verarbeiten, um ein Gefühl für die schlimmsten Auswirkungen, die zu erwartenden Bedingungen vor Ort und die für ihren Einsatz vorzubereitenden Vorräte zu bekommen.

Weinert sagt, es sei noch in Arbeit, aber er ist gespannt auf sein Potenzial. Wenn wir einen Weg finden könnten zu sagen: „So sollten Sie Bilder zur Katastrophenhilfe qualifizieren“, könnten Amazon, Task Rabbit und alle anderen Cloud-Quellen damit beginnen, sie als Industriestandard zu verwenden, sagt er, und weitere entwickeln katastrophenbewusste Erkennungssysteme.

Die Forscher stellen den Datensatz nun dem National Institute of Standards and Technology zur Verfügung und haben begonnen, mit anderen Organisationen zusammenzuarbeiten, um Bilderkennungswettbewerbe rund um seine Verwendung zu veranstalten. Wir suchen nach Möglichkeiten, dies in die Hände von Computer-Vision-Forschern zu bringen, sagt Weinert.

Um mehr Geschichten wie diese direkt in Ihren Posteingang zu bekommen, melden Sie sich für unseren von Webby nominierten KI-Newsletter The Algorithm an. Es ist kostenlos.

verbergen