ToF-Bildsensoren

Zeit für die Messung der Distanz
Einführung
Die Möglichkeit, ferne Objekte zu messen, um ihre Entfernung oder ihre Abmessungen zu bestimmen, wird in der Bildverarbeitung immer gefragter. Dabei gibt es verschiedene Methoden und Technologien, die alle ihre spezifischen Vor- und Nachteile haben. Hier das Richtige zu finden, kann sich als schwierig erweisen, es sei denn, man hat einen Partner an der Seite, der einen dabei unterstützt, die genauen Anforderungen herauszufinden und dementsprechend das optimale Produkt auszuwählen.  Eine verbreitete Technologie, die sich aufgrund ihrer Einfachheit und Benutzerfreundlichkeit immer mehr durchsetzt, ist Time of Flight (ToF). Diese Produkte basieren auf der Messung der Zeit, die Licht benötigt, um zu und von einer reflektierenden Oberfläche zu gelangen. Dazu sendet eine Kamera einen Lichtimpuls oder einen Lichtstrom aus und misst die Zeit, die das Licht benötigt, bis es von den Pixeln des Kamerasensors erfasst wird. Anhand dieser gemessenen Zeit kann dann die genaue Entfernung berechnet und eine Tiefenkarte erstellt werden.  
ToF-Sensorvarianten 
Es gibt bei ToF-Systemen zwei verschiedene Ansätze, die bei bestimmten Anwendungen jeweils ihre spezifischen Vorteile haben. Beim direkten ToF (dToF) wird ein kurzer Lichtimpuls mit einer Dauer von einigen Nanosekunden dazu verwendet, die Zeit zwischen der Aussendung und der Reflexion vom Zielobjekt zu messen und damit die Entfernung zu bestimmen.  Beim indirekten ToF (iToF) ist das Prinzip ähnlich wie bei bei dToF, jedoch wird hier kein Lichtimpuls ausgesendet, sondern ein modulierter Lichtstrom. Ein lichtempfindlicher Sensor empfängt ständig das reflektierte Licht und ermittelt die Phasendifferenz zwischen dem ausgesendeten und dem reflektierten Signal. Dieser Phasenwinkel kann dann dazu verwendet werden, die Entfernung des Zielobjekts durch eine einfache Berechnung zu bestimmen. 
Erstellung präziser Tiefenkarten 
Zusätzlich zur X- und Y-Richtung erfassen 3D-Bildsensoren auch Informationen in Z-Richtung (z.B. in der Tiefe), wodurch die 3D-Erfassung möglich wird. Bei ToF-Bildsensoren erfasst jeder Pixel Abstandsinformationen zur Erstellung einer hochpräzisen Tiefenkarte. 
Depth Maps Conventional

KONVENTIONELL

NEU

Mit 3D-Sensorik lassen sich Sachverhalte erkennen, die mit konventionellen 2D-Bildern nur schwer zu erfassen sind – z. B. bei der Prüfung von Volumen und Formen oder wenn sich Objekte überlagern. 
Mit 3D-Sensorik lassen sich Sachverhalte erkennen, die mit konventionellen 2D-Bildern nur schwer zu erfassen sind – z. B. bei der Prüfung von Volumen und Formen oder wenn sich Objekte überlagern. 
iToF-Produkte von Sony – ein Meilenstein in der 3D-Vision-Technologie 
Sony hat eine Reihe von iToFSensoren auf den Markt gebracht, beispielsweise den IMX556 und den neuen IMX570. Beide Sensortypen sind bei der schnellen hochauflösenden 3D-Erfassung von Objekten sowohl bei kurzen als auch bei großen Entfernungen besonders effektiv. 
Merkmale des neuen IMX570 Sensors von Sony Beim neuen IMX570 handelt es sich um einen VGA-Sensor (1/4,5 Typ) mit 5 µm Pixelgröße. Der Sensor erzielt Bildraten bis 56 fps.  Merkmale des IMX556 Sensors von Sony Der IMX556 ist ein VGA-Sensor (1/2 Typ) mit 10 µm Pixelgröße. Der Sensor erzielt Bildraten bis 60 fps. 
Entdecken Sie die Vorteile bei unterschiedlichen Anwendungen 

Logistik

Ideale Sensoren zur Materialfluss-Optimierung durch Messung der Position, Größe und Beladung von Paletten oder Frachten sowie für autonome mobile Systeme wie AGVs und Last-Mile-Roboter.

Fabrikautomatisierung

Erkennung von Zutritt in den Gefahrenbereich, Betriebsüberwachung und Erkennung von Objekten bei der Kommissionierung mit Robotern.

Kommerzielle und öffentliche Einrichtungen

Einfache und präzise Messung der Besucherzahlen in Geschäften, Flughäfen, Freizeitparks und anderen öffentlichen Orten sowie bei modernen Zugangskontrollen.

Land- und Agrarwirtschaft

Qualitätskontrolle und Produktivitätssteigerung, beispielsweise beim automatischen Melken, bei der BCS-Erfassung (Body Condition Score), der Überwachung der Futtermenge und bei anderen formbezogenen Anwendungen, beispielsweise in automatischen Erntemaschinen.

Tiefbau und Bauwesen

Objekt- und Umgebungserfassung sowie Unterstützung von Fahrassistenten, der Fahrzeugautomatisierung, Visualisierung und Dokumentation der Baustelle.

IMX570 von Sony mit modernster ToF-Technologie 
Sony hat einen rückseitig beleuchteten Time-of-Flight 3D-Bildsensor für Industriemaschinen auf den Markt gebracht. Beim neuen IMX570 handelt es sich um einen VGA-Sensor (1/4,5 Typ) mit 5 µm Pixelgröße.  Der kompakte und hochauflösende Sensor erstellt mithilfe der Abtast- und Entfernungsmessung von Sony exakte Tiefenkarten sowohl bei kurzen als auch weiten Distanzen. 
Merkmale des neuen IMX570 Sensors von Sony 

FSM-IMX570 Developer Kit

FRAMOS bietet ein umfassendes 3D-Vision-Entwickler-Kit, das Ingenieure dabei unterstützt, schnell und einfach Prototypen von 3D-Vision-Systemen mit dem Indirect Time-of-Flight (iToF) 3D-Vision-Sensor IMX570 von Sony zu erstellen.

Das Paket enthält alles, was für den Betrieb des Sensors benötigt wird, um die 3D-Tiefendaten in der eigenen Anwendung zu nutzen.

Darüber hinaus können Kameraentwickler Rohbilddaten erhalten und die Tiefenverarbeitung selbst implementieren, während sie diese jeder Zeit mit der kalibrierten Referenzimplementierung auf derselben Hardware vergleichen können. Das Paket bietet dabei Open-Source-Treiber als Bauplan, um Funktionalität, Flexibilität und Transparenz innerhalb der NVIDIA Jetson Familie bereitzustellen, einer der leistungsstärksten processing Plattformen für eingebettete Systeme. 

Image: FRAMOS ToF Developer Kit (NVIDIA Jetson embedded computer not included)

Inhalt des Entwickler-Kits
Das FRAMOS FSM-IMX570 Developer Kit ist eine fixe und kalibrierte Zusammensetzung aus Komponenten, die vollständig dem Geist unseres FSM Ecosystems folgt:
FRAMOS Sensormodul
Das Sensormodul nutzt den Indirect Time-of-Flight (iToF) Sensor IMX570PLR-C von Sony, der Bilder mit 640×480 Pixeln bei 30 fps erzeugt. Es ist mit einem M12-Objektiv ausgestattet, das für den Sensor und die TOF Anwendung optimiert und werkseitig fokussiert und verklebt wird.
Aktive Beleuchtung
Das Beleuchtungsboard verfügt über 4 VCSEL Laserdioden, einschließlich spezieller Sony Treiber für die iTOF Anwendung. Es verfügt über eine separate Stromversorgung und einen FFC-Steckverbinder zur Synchronisation mit den FRAMOS Sensormodulen.
On-Board Depth Processing
Das Kit folgt dem Ansatz des FSM Ecosystems, indem es die notwendige Sensorperipherie auf das FRAMOS Sensor Adapter (FSA) Board auslagert, welches in diesem speziellen Fall zudem über einen Sony Edge Processor zur Berechnung und Korrektur von Tiefendaten verfügt; ausgangsseitig bietet es dadurch die Vielseitigkeit der FRAMOS PixelMate™ Schnittstelle mit dem MIPI CSI-2 Prozessorboard-Adapter.

Durch seine PixelMate™-Schnittstelle bietet das Front-End vollständige Kompatibilität mit den Processor Adaptern des FSM Ecosystems.
Prozessorboard-Adapter
Jedes Developer Kit enthält einen FRAMOS Processor Board Adapter, der die physische Konnektivität zu einer Vielzahl von Embedded-Processing-Plattformen (SOCs / SOMs) herstellt, darunter die NVIDIA Jetson Familie mit AGX Orin und AGX Xavier, Orin NX und Xavier NX sowie TX2 NX und Nano.
Schnell einsatzbereit
Das FSM-IMX570 Developer Kit ist das erste seiner Art zur einfachen Anwendung der Next-Generation DepthSense™ Sensoren von Sony innerhalb der NVIDIA Jetson Produktfamilie und der Möglichkeit zur Ansteuerung der individuellen Komponenten auf Systemlevel. Es enthält alles, um den Sony IMX570 iToF Sensor in weniger als einer Stunde betriebsbereit zu machen und Bilddaten zu erhalten.

Das neue Kit basiert auf der langjährigen Partnerschaft von FRAMOS mit Sony und NVIDIA. Es unterstützt Unternehmen dabei, eigene 3D-Vision-Lösungen für die Robotik, Logistik und andere Anwendungen zu entwickeln.
Verfügbare Produkte
Sony IMX570PLR-C
Sony CMOS TOF, 0.32 MP, 648 x 488, 1/4.5 inch, 5 x 5 µm, 56 fps, MIPI,
Sony IMX556PLR-C
Sony CMOS TOF, 0.31 MP, 642 x 484, 1/2 inch, 10 x 10 µm, 60 fps, MIPI, Back-illuminated Time of Flight (ToF),

GERNE BEANTWORTEN WIR IHRE FRAGEN ZU DEN BILDSENSORTECHNOLOGIEN. ODER FORDERN SIE NOCH HEUTE EIN MUSTER AN.