Die Bildverarbeitung hat gelernt, Funkwellen zu nutzen, um durch Wände und in der Dunkelheit zu sehen

Die Aktionserkennungsausgabe zeigt Figuren, die treten und auf den Rücken klopfen MIT CSAIL

Die maschinelle Bildverarbeitung hat eine beeindruckende Bilanz vorzuweisen. Es hat die übermenschliche Fähigkeit, Menschen, Gesichter und Gegenstände zu erkennen. Es kann sogar viele verschiedene Arten von Handlungen erkennen, wenn auch noch nicht ganz so gut wie Menschen.

Doch der Leistungsfähigkeit sind Grenzen gesetzt. Maschinen haben es besonders schwer, wenn Personen, Gesichter oder Objekte teilweise verdeckt sind. Und wenn die Lichtstärke zu weit abfällt, werden sie effektiv geblendet, genau wie Menschen.

Aber es gibt einen anderen Teil des elektromagnetischen Spektrums, der nicht auf die gleiche Weise begrenzt ist. Radiowellen erfüllen unsere Welt, ob es Tag oder Nacht ist. Sie passieren leicht Wände und werden von menschlichen Körpern sowohl übertragen als auch reflektiert. Tatsächlich haben Forscher verschiedene Möglichkeiten entwickelt, Wi-Fi-Funksignale zu verwenden, um hinter verschlossene Türen zu sehen.

Aber diese Radiovisionssysteme haben einige Mängel. Ihre Auflösung ist gering; Die Bilder sind verrauscht und voller ablenkender Reflexionen, die es schwierig machen, den Sinn des Geschehens zu verstehen.

In diesem Sinne haben Radiobilder und Bilder mit sichtbarem Licht komplementäre Vor- und Nachteile. Und das eröffnet die Möglichkeit, die Stärken des einen zu nutzen, um die Schwächen des anderen zu überwinden.

Betreten Sie Tianhong Li und seine Kollegen am MIT, die einen Weg gefunden haben, einem Radio-Vision-System beizubringen, die Handlungen von Menschen zu erkennen, indem sie es mit sichtbaren Lichtbildern trainieren. Das neue Radio-Vision-System kann sehen, was Personen in einer Vielzahl von Situationen vorhaben, in denen die Bildgebung mit sichtbarem Licht versagt. Wir stellen ein neuronales Netzwerkmodell vor, das menschliche Handlungen durch Wände und Okklusionen hindurch und bei schlechten Lichtverhältnissen erkennen kann, sagen Li und Co.

Die Methode des Teams bedient sich eines raffinierten Tricks. Die Grundidee besteht darin, Videobilder derselben Szene mit sichtbarem Licht und Radiowellen aufzunehmen. Machine-Vision-Systeme sind bereits in der Lage, menschliche Handlungen anhand von Bildern mit sichtbarem Licht zu erkennen. Der nächste Schritt besteht also darin, diese Bilder mit den Radiobildern derselben Szene zu korrelieren.

Die Schwierigkeit besteht jedoch darin sicherzustellen, dass sich der Lernprozess auf die menschliche Bewegung konzentriert und nicht auf andere Merkmale wie den Hintergrund. Also führen Li und Co. einen Zwischenschritt ein, in dem die Maschine 3D-Strichmännchen-Modelle generiert, die die Handlungen der Personen in der Szene nachbilden.

Durch die Übersetzung der Eingabe in eine skelettbasierte Zwischendarstellung kann unser Modell sowohl von visionsbasierten als auch von hochfrequenzbasierten Datensätzen lernen und es den beiden Aufgaben ermöglichen, sich gegenseitig zu helfen. sagen Li und Co.

Auf diese Weise lernt das System, Aktionen im sichtbaren Licht zu erkennen und dann die gleichen Aktionen zu erkennen, die im Dunkeln oder hinter Wänden unter Verwendung von Funkwellen stattfinden. Wir zeigen, dass unser Modell in sichtbaren Szenarien eine vergleichbare Genauigkeit wie visionsbasierte Aktionserkennungssysteme erreicht, aber weiterhin genau funktioniert, wenn Menschen nicht sichtbar sind, sagen die Forscher.

Das ist eine interessante Arbeit, die ein erhebliches Potenzial hat. Die offensichtlichen Anwendungen liegen in Szenarien, in denen Bilder mit sichtbarem Licht versagen – bei schlechten Lichtverhältnissen und hinter geschlossenen Türen.

Aber es gibt auch andere Anwendungen. Ein Problem bei Bildern mit sichtbarem Licht besteht darin, dass Personen erkennbar sind, was Datenschutzprobleme aufwirft.

Aber ein Funksystem hat nicht die Auflösung für die Gesichtserkennung. Das Identifizieren von Handlungen ohne Erkennen von Gesichtern wirft nicht die gleichen Datenschutzbedenken auf. Es kann die Handlungserkennung in die Häuser der Menschen bringen und die Integration in Smart-Home-Systeme ermöglichen, sagen Li und Co. Damit könnte beispielsweise das Haus einer älteren Person überwacht und die zuständigen Dienste bei einem Sturz alarmiert werden. Und dies ohne ein großes Risiko für die Privatsphäre.

Das übersteigt die Möglichkeiten heutiger visionsbasierter Systeme.

Ref: arxiv.org/abs/1909.09300 : Das Unsichtbare sichtbar machen: Handlungserkennung durch Mauern und Verschlüsse

verbergen