Aufgrund physikalischer Einschränkungen können Kameras nur so klein werden, bevor sie einfach nicht mehr schrumpfen können. Aber ein neues objektivloses Kameradesign könnte das ändern.

Die Forscher haben sich auch stetig in Richtung eines rechnerischen Ansatzes bewegt, anstatt sich darauf zu verlassen, dass die Optik einen festgelegten Abstand vom Bildsensor hat, um das Licht darauf zu fokussieren.

Am Tokyo Institute of Technology in Japan haben Wissenschaftler hart daran gearbeitet, maschinelles Lernen auf die Idee anzuwenden, dass eine Kamera möglicherweise überhaupt kein Objektiv benötigt. Ähnlich wie die kambrische Kamera oder das Sonnenteleskop braucht es nur eine neue Art, das Licht zu sehen. Und während diese Art von Forschung seit Jahren im Gange ist, wendet ein neuer Ansatz maschinelles Lernen an, um die Bilder fokussierter und lebensechter zu machen.

Linsenlose Kameras Verwenden Sie einen rechnergestützten Ansatz zur Bildverarbeitung.

Während die meisten Designs für eine linsenlose Kamera auf einem Bildsensor beruhen, der mit Licht durch eine Maske interagiert, und dann auf einem Algorithmus, um dieses Licht zu messen, um das Bild zu rekonstruieren, geht der neue Ansatz noch einen Schritt weiter, indem er maschinelles Lernen anwendet, um jedes Pixel zu analysieren und wie sie sich gegenseitig beeinflussen. Mit diesen Daten werden dann Convolutional Neural Networks (CNN) angewendet, um das Bild zu rekonstruieren.

Das Problem ist, dass ein Bild zwar entsteht, aber nicht scharf genug ist, um Details oder Definitionen bereitzustellen, ohne viel Kraft und Energie zur Lösung des Rechenproblems aufzuwenden. Ohne eine Linse zum Fokussieren des Lichts empfängt der Bildsensor nur einen Klecks codierter Muster der Lichtdaten, die auf der Maske selbst interagieren. Daher muss der Sensor viel Rechenleistung aufwenden, um das Bild aus diesen Daten wieder aufzubauen.

„CNN verarbeitet das Bild basierend auf den Beziehungen benachbarter „lokaler“ Pixel, während linsenlose Optiken lokale Informationen in der Szene durch eine Eigenschaft namens „Multiplexing“ in überlappende „globale“ Informationen auf allen Pixeln des Bildsensors umwandeln“, so die Forscher erklären.

Ein neuer Ansatz für linsenlose Kameras könnte Größenbeschränkungen im Design lösen.

Hier kommt der neue Ansatz ins Spiel. Mithilfe einer Reihe von „Vision Transformers“ kann Global Reasoning auf den gesamten Bildsensor angewendet werden, um das Licht zu identifizieren und zu analysieren, wenn es auf den Sensor trifft.

“Die Neuheit des Algorithmus liegt in der Struktur der mehrstufigen Transformatorblöcke mit überlappenden ‘Patchify’-Modulen”, erklären die Forscher in dem veröffentlichten Artikel Phys und gesichtet von DPReview.

„Auf diese Weise kann es Bildmerkmale in einer hierarchischen Darstellung effizient lernen. Folglich kann die vorgeschlagene Methode die Multiplexing-Eigenschaft gut ansprechen und die Einschränkungen des herkömmlichen CNN-basierten Deep Learning vermeiden, was eine bessere Bildrekonstruktion ermöglicht.“

Dieser neue Ansatz geht weit über den CNN-Prozess hinaus und stützt sich auf neuronale Netze und diese verbundenen Transformatoren, aber die Ergebnisse führen zu weniger Fehlern und erfordern weniger Zeit und Ressourcen für die Analyse und Rekonstruktion. Daher können linsenlose Fotos in Echtzeit aufgenommen werden, ähnlich wie mit einer herkömmlichen Kamera, und die Forschung legt nahe, dass mit zusätzlicher Entwicklung qualitativ hochwertigere Bilder mit größerer Schärfe und Detailgenauigkeit erzeugt werden können.

Darüber hinaus können linsenlose Kameras ultraklein werden, was das erklärte Ziel der Forschung zu linsenlosen Kameras war. Wenn eine Kamera nicht den Regeln der Physik in Bezug auf die Lichtbeugung und die Entfernung, die erforderlich ist, um ein scharfes Bild zu machen, gehorchen muss, dann könnte es keine Grenzen geben, wie klein eine Kamera werden kann. Insgesamt hat die Forschung zu linsenlosen Kameras im Jahr 2013 ein ein Pixel breites Kamerabild produziert, und wenn dieser neue Ansatz darüber hinaus auf die Mikrometerebene gehen kann, dann könnten Kameras so klein sein, dass sie unsichtbar sind. Was bleibt, ist die Verfeinerung des Ansatzes.

„Ohne die Einschränkungen eines Objektivs könnte die linsenlose Kamera ultraminiatur sein“, sagt Prof. Masahiro Yamaguchi von Tokyo Tech, „was neue Anwendungen ermöglichen könnte, die unsere Vorstellungskraft übersteigen.“


Bildnachweis: Fotos über „„Linsenlose“ Bildgebung durch fortschrittliches maschinelles Lernen für Bildsensorlösungen der nächsten Generation“, Tokyo Institute of Technology

Share.

Leave A Reply