Foto Zukunft

An einem Sommertag des Jahres 1826 stellte Joseph Nicéphore Niépce auf seinem Landsitz rund 340 Kilometer südöstlich von Paris seine Camera Obscura auf und projizierte das Bild seines Hofes auf eine mit einem lichtempfindlichen Material beschichtete Zinnplatte. Acht Stunden lang fokussierte die Linse das Licht der Sonne und fixierte chemisch die Bereiche, in denen das Licht auf die Platte traf, um die Ansicht eines Taubenhauses, eines Birnbaums, eines Scheunendachs und eines verlängerten Flügels seines Hauses einzufangen. Für diese Leistung wird Niépce das weltweit erste Foto zugeschrieben.

Zinn und andere feste Platten wichen 1889 flexiblen Filmrollen; Farbfilm folgte Mitte der 1930er Jahre. Mitte der 1990er Jahre wurden die ersten Farb-Digitalkameras für den Massenmarkt eingeführt, die Bilder mit Lichtsensoren auf einem Chip aufzeichneten. Diese Fortschritte haben zu billigeren, kleineren und tragbareren Kameras geführt, die lebendige Bilder erzeugen können. Aber auf der grundlegendsten Ebene wurden Kameras nicht wesentlich verändert, sagt Ramesh Raskar, außerordentlicher Professor und Leiter der Camera Culture Group am MIT Media Lab. Das physische Gerät selbst habe sich in den letzten 100 Jahren kaum verändert, sagt er. Sie haben eine ähnliche Linse, eine ähnliche Box, die das menschliche Auge nachahmt. Abgesehen davon, dass es billiger, schneller und bequemer ist, hat sich die Fotografie nicht so sehr verändert.

Diese Geschichte war Teil unserer Ausgabe vom Mai 2009

• Siehe den Rest der Ausgabe
• Abonnieren

Raskar hofft jedoch, dass er und andere am MIT und auf der ganzen Welt eine Revolution in der Fotografie auslösen können. Forscher auf einem Gebiet namens Computational Photography überdenken Digitalkameras, um die in ihnen eingebauten Computer besser zu nutzen. Sie stellen sich einen Tag vor, an dem jeder mit einer Kamera mit einem kleinen, billigen Objektiv atemberaubende Bilder aufnehmen kann, die heute nur von professionellen Fotografen mit High-End-Geräten und Software wie Adobe Photoshop möglich sind. Tatsächlich glauben sie, dass solche Kameras die modernsten Technologien von heute übertreffen und scheinbar grundlegende Grenzen überwinden könnten.

Computational Photography umfasst neue Designs für optische Komponenten und Kamerahardware sowie neue Algorithmen zur Bildanalyse. Das Ziel, sagt Raskar, ist es, Kameras zu bauen, die aufzeichnen können, was das Auge sieht, und nicht nur das, was das Objektiv und der Sensor aufnehmen können. Auf einer Achterbahn kann man sich nie ein gutes Bild machen, sagt er. Wenn Sie bei einem großartigen Abendessen sind, können Sie niemals Fotos machen, die das Essen appetitlich aussehen lassen. Aber mit Computertechniken könnten Kameras Unschärfen aus einem Schnappschuss beseitigen, der auf einer holprigen Fahrt im Vergnügungspark aufgenommen wurde. Solche Kameras könnten auch die subtilen Formen und Schatten von Speisen und das Lächeln der Menschen im schwachen Licht eines Candle-Light-Dinners einfangen – ohne lange Belichtungszeit, die unweigerlich zu verschwommenen Bildern führt, oder den Einsatz eines störenden Blitzes.

Seitenleiste: Die Reise vom Labor zum Markt

Darüber hinaus könnte Computerfotografie es Amateurfotografen leicht machen, Bilder zu erstellen, die heute spezialisierte und zeitaufwändige Nachbearbeitungstechniken erfordern. Sogar Handykameras, die über preiswerte feste Objektive verfügen, könnten Amateuren die gleiche Kontrolle über die Fokussierung geben, die Profis mit einer High-End-Spiegelreflexkamera (SLR) haben.

Alle Kameras funktionieren auf die gleiche grundlegende Weise: Licht tritt durch eine Fokussierlinse ein und passiert eine Blende. Bei einer herkömmlichen Kamera trifft das Licht auf photoreaktive Chemikalien auf Filmen oder Platten. In einer Digitalkamera passiert das Licht Farbtrennfilter und landet auf einem Array von Fotosensoren, von denen jeder ein Pixel repräsentiert. Wenn Licht auf einen Fotosensor trifft, erzeugt dieser einen elektrischen Strom, dessen Stärke die Intensität des Lichts widerspiegelt. Der Strom wird in digitale 1s umgewandelt und 0 s, die der Prozessor der Kamera (ein Computerchip) dann in das Bild umwandelt, das auf dem Vorschaubildschirm der Kamera angezeigt und auf einer Flash-Speicherkarte oder einer internen Festplatte gespeichert wird.

Wenn Bilder als digitale Informationsbits erfasst werden, können sie durch Software verbessert werden, was eine ganz neue Welt von Möglichkeiten eröffnet. In den letzten 15 Jahren, sagt Raskar, haben Forscher daran gearbeitet, diese Möglichkeiten voll auszuschöpfen, insbesondere durch neue Bildverarbeitungsalgorithmen, die Anleihen aus den traditionell unterschiedlichen Bereichen der Computer Vision und Computergrafik machen. Computer Vision ermöglicht es einer Kamera, Objekte in einem Bild zu analysieren und Merkmale wie die Kante eines Tisches zu erkennen. Und die Techniken der Computergrafik bieten zahlreiche Möglichkeiten, ein digitales Bild zu manipulieren. Wenn diese Ansätze in einer Kamera kombiniert werden, deren optische Komponenten auf solche Algorithmen ausgelegt sind, können Sie einige überraschende Dinge tun. Sie können beispielsweise die Lichtquelle nach der Aufnahme des Fotos so einstellen, dass ein Objekt, das aus einem Winkel beleuchtet wird, aus einem anderen Winkel beleuchtet erscheint. Und Sie können den Fokus auf einem Foto sogar nachträglich anpassen.

Kampfbewegungsunschärfe

Eines der überzeugendsten Beispiele dafür, was Computerfotografie erreichen kann, ist die bewegungsinvariante Fotografie, eine clevere Methode, um Unschärfe aus Bildern von sich bewegenden Objekten zu entfernen.

Unschärfe ist ein Prozess, bei dem Informationen verschlüsselt werden, sagt Frédo Durand, außerordentlicher Professor für Elektrotechnik und Informatik am MIT, der an der Entwicklung dieser Idee mitgewirkt hat. Pixel eines digitalen Bildes verhalten sich wie Quadrate auf einem Schachbrett, sagt er. Ein sich schnell bewegendes schwarz-weißes Schachbrettmuster verschwimmt zu Grau, einem Durchschnitt der schwarzen und weißen Quadrate. Wenn Sie jedoch genau wissen, wie das Schachbrett bewegt wurde – etwa indem Sie es um einen Punkt in der Mitte drehen oder es nach oben und unten schütteln –, können Sie eine mathematische Funktion schreiben, um die bewegungsbasierte Unschärfe zu beschreiben. Sobald Sie diese Funktion kennen, können Sie sie umkehren, um die Unschärfe zu entfernen.

Durand und seine Kollegen – darunter Anat Levin, eine Postdoc-Stipendiatin, und Bill Freeman, ein MIT-Professor für Elektrotechnik und Informatik – haben eine Kamera entwickelt, die dieses Prinzip nutzen kann, um Unschärfe aus einem Bild eines einreisenden Objekts zu entfernen eine gerade Linie, z. B. ein Auto, das die Straße hinunterfährt. Der Schlüssel ist, etwas Kontraintuitiv zu tun, sagt Durand: Wir schaffen mehr Unschärfe durch Bewegen der Kamera während der Belichtung.

Die Testkamera der Forscher verfügt über ein optisches System, das sich entlang einer geraden Linie hin und her bewegt und das gesamte Bild verwischt. Aufgrund der Art und Weise, wie sich der Sensor hin und her bewegt, gibt es während der Aufnahme mindestens einen Moment, in dem die Kamera das fotografierte Objekt perfekt verfolgt, sodass die Kamera unabhängig von seiner Geschwindigkeit genaue Informationen über die visuelle Struktur des Objekts erfassen kann. Diese Informationen ermöglichen es den Forschern, eine Gleichung zu schreiben, die die bewegungsbasierte Unschärfe definiert – und dann die Geschwindigkeit aus dieser Gleichung zu eliminieren. Durch Umkehren der Gleichung können sie ein Bild ohne jegliche Unschärfe rekonstruieren (siehe Bewegungsunschärfe beseitigen, S. M14) .

Im Gegensatz zu einem typischen Modell besteht die Aufgabe der Optik bei dieser Kamera nicht darin, das endgültige Bild direkt zu erzeugen, sagt Durand. Stattdessen werden die Lichtstrahlen gewissermaßen gemischt, damit wir durch die Aufzeichnungen des Sensors auf mehr Informationen zugreifen können.

Feineinstellung des Fokus

Einer der Ärgernisse von Handy- und Kompaktkameras ist, dass ihnen die Fokussiersteuerung der Spiegelreflexkamera fehlt. Bei einer Spiegelreflexkamera kann das Objektiv bewegt werden, um den Fokus zu ändern. Durch Einstellen der Blende kann ein Fotograf eine Aufnahme machen, bei der ein Vordergrundmotiv klar fokussiert ist, während der Hintergrund absichtlich unscharf ist, um ablenkende Elemente zu entschärfen. Spiegelreflexkameras sind jedoch teuer und für Amateure schwer zu bedienen. Forscher der Computerfotografie versuchen, eine einfache Handykamera mit festem Objektiv zu entwickeln, die es jedem leicht macht, solche Effekte zu erzielen. Sie hoffen auch, Fotografen die Möglichkeit zu geben, auszuwählen, welche Objekte sie scharf stellen möchten, nachdem ein Bild aufgenommen wurde.

Kameras sind so konzipiert, dass sie auf Objekte innerhalb eines bestimmten Bereichs fokussieren. Wenn eine Kamera auf ein bestimmtes Objekt fokussiert wird, konzentriert das Objektiv das von diesem Objekt reflektierte Licht auf das Sensorarray. Das von nicht scharfgestellten Objekten reflektierte Licht erreicht zwar die Sensoren, ist jedoch unkonzentriert, was zu einem unscharfen Bild führt. Wenn eine Kamera nicht perfekt fokussiert ist, sagt Durand, projiziert das Objektiv Punkte aus der Szene auf den Sensor als Scheiben und nicht als Punkte.

Wenn die Abstände zwischen Kamera und Objekten in einem Bild bekannt sind, kann ein Algorithmus auf die Bilddaten angewendet werden, um die unscharfen Teile eines Bildes zu schärfen und die verschwommenen Lichtscheiben in fokussierte Punkte umzuwandeln. Herkömmliche Kameras können diese Tiefeninformationen jedoch nicht selbst ermitteln.

Um Tiefeninformationen aus einem Foto zu extrahieren, modifizierten Durand, Freeman und andere Kollegen ein vorhandenes Objektiv mit einer in die Blende eingesetzten Maske. Im Wesentlichen ist die Maske ein Stück Pappe, das einen Teil des Lichts blockiert, um das Aussehen der unscharfen Teile des Bildes subtil zu verändern. Durand erklärt, dass die undifferenzierte Unschärfe, die durch ein gewöhnliches unscharfes Objektiv verursacht wird, nicht genügend Anhaltspunkte liefert, um ein klares Bild zu rekonstruieren. Aber ihre Maske verwandelt diese einheitliche Unschärfe in ein, wie er es nennt, seltsames, aber strukturiertes Durcheinander. Streifen und andere ungewöhnliche Merkmale des verschwommenen Bildes helfen den Forschern, Tiefeninformationen wiederzugewinnen: Dank der Art und Weise, wie die Maske das Licht in der Kameraöffnung blockiert, wird ein Objekt in 3 m Entfernung von der Kamera anders als ein Objekt in fünf Zoll Entfernung unscharf. Da sie die Form der Maske kennen, konnten die Forscher die mit jeder Tiefe verbundene Unschärfe mathematisch definieren und so einen Algorithmus entwickeln, der sie rückgängig machen kann (siehe Fotos von konventionellen und codierten Blenden und Tiefeninformationen extrahieren, S. M15) .

Eine andere Strategie zur Verbesserung des Fokus, insbesondere bei einer einfachen Handykamera, ähnelt Durands Technik zur Bekämpfung von Bewegungsunschärfe. Die große Blendenöffnung einer Spiegelreflexkamera verleiht ihr eine geringe Schärfentiefe (der Bereich der Entfernungen von der Kamera, in dem Objekte scharf im Fokus erscheinen), was es ermöglicht, auf ein bestimmtes Motiv zu fokussieren und den Hintergrund, den Vordergrund oder sogar beides zu ermöglichen zurücktreten, erklärt Raskar. Aber Bilder, die mit gewöhnlichen Handykameras aufgenommen wurden, die sehr kleine Blendenöffnungen haben, wirken flach, weil alles so aussieht, als ob es gleich weit von der Kamera entfernt wäre. Auf der ersten IEEE International Conference on Computational Photography, die im April in San Francisco stattfand, präsentierte Postdoc Ankit Mohan ein Papier, das er zusammen mit Raskar und anderen verfasst hatte, und beschrieb eine Technik zur Simulation eines Objektivs mit einer größeren Blendengröße. Sie demonstrierten, wie eine Kamera mit festem Objektiv so konstruiert werden kann, dass sich sowohl ihr Objektiv als auch ihr Sensor während der Belichtung leicht bewegen. Durch Variieren der Geschwindigkeit und des Bereichs der Bewegung sind sie in der Lage, die Brennweite und Blendengröße zu ändern, um zu steuern, welcher Teil des Fotos scharfgestellt wird; der Rest ist absichtlich verschwommen (siehe Fokussteuerung für Kameras mit festem Objektiv, S. M15) . Eine solche Technologie könnte einer billigen Handykamera die Fokussierungskontrolle einer Spiegelreflexkamera verleihen.

Anpassen der Beleuchtung, Perspektive

Eine verbesserte Fokussierung ist nur der Anfang; Computergestützte Fotografie könnte es den Leuten auch ermöglichen, die Beleuchtung einer Szene anzupassen oder sogar die Perspektive der Kamera zu ändern, nachdem eine Aufnahme gemacht wurde. Dies ist die Art von Trick, die Computer Vision ermöglicht. Es ist schwierig, dies zu tun, wenn Ihr Computer das Bild nur auf Pixelebene versteht, sagt Freeman. Wenn Sie dem Computer jedoch ein Verständnis für dieses Bild in Bezug auf übergeordnete Konzepte wie Beleuchtung oder Form geben können, können Sie den Benutzer die Regler für diese Größen einstellen lassen.

Dieses Verständnis auf höherer Ebene kommt von Bildanalysealgorithmen, die es einem Computer ermöglichen, die Komponenten eines Bildes zu sehen. Ein Algorithmus kann beispielsweise erkennen, welche Komponenten des Bildes auf die Färbung der Oberfläche eines Objekts zurückzuführen sind und welche auf die Modulation des von seiner Form reflektierten Lichts. Sobald dies bekannt ist, kann ein Benutzer die Oberflächenfarbe und die Lichteffekte unabhängig voneinander anpassen. Das Ziel besteht darin, ein System zu bauen, das beispielsweise erkennen kann, wo die Kante eines dunklen Stücks einer Hochrippe endet und der Schatten, den es auf eine Platte wirft, beginnt.

Solche Techniken, sagt Raskar, könnten Details – wie zum Beispiel subtile Gesichtsausdrücke – enthüllen, die zuvor von Schatten verdeckt worden wären. Kurz gesagt, Kameras werden in der Lage sein, die Essenz einer Szene genauer einzufangen. Wenn Sie mit einem Freund die Straße entlang gehen, können Sie in jeder Art von Beleuchtung sein und sehen, wie schön diese Person ist, sagt er. Im Moment kann ein Foto das nicht. Aber Computertechniken verkleinern die Lücke, die das Auge und das Gehirn noch von der Kamera trennt. In zehn Jahren, sagt er, kann ein Foto genau das leisten.

verbergen