FSM-IMX570 Devkit Anpassungsmöglichkeiten

Ein Interview mit Chris Baldwin, Senior Application Engineer bei FRAMOS GMBH
Von Christopher Ivey

Als Autorin von Marketing-Inhalten für FRAMOS habe ich manchmal Schwierigkeiten, die eher technischen Aspekte unserer Produkte und Dienstleistungen zu verstehen. Um hier Abhilfe zu schaffen und mehr über unser neues Time-of-Flight-Kamera-Entwicklungskit zu erfahren, habe ich mich an Chris Baldwin gewandt – einen leitenden Anwendungsingenieur bei FRAMOS. Chris hat sich intensiv mit der Entwicklung neuer Time-of-Flight-Produkte für das Unternehmen beschäftigt und war die perfekte Person, um mir unser Entwicklungskit vorzustellen. Ich wollte auch einige der Anpassungsmöglichkeiten für das Kit besprechen.

Da wir zufällig auf entgegengesetzten Seiten des Atlantiks leben und arbeiten, habe ich mich mit Chris per Videokonferenz unterhalten. Er schaltete sich von seiner Werkstatt zu Hause aus ein – ein überraschend ordentlicher Raum voller Oszilloskope, einer verwirrenden Vielfalt von Computergeräten und einer großen Sammlung von Kameramodulen in verschiedenen Formen und Größen. Das Entwicklungskit, über das wir uns unterhalten wollten, hatte einen Ehrenplatz: ein hübscher kleiner Würfel mit einer Linse, die von Laserstrahlern umgeben ist und auf einem winzigen Stativ steht.

Nach einigen informellen Einführungen kam ich zur Sache und sprach über die Time-of-Flight-Technologie und insbesondere über das FSM-IMX570 Entwicklungskit.

Chris, können Sie uns ein wenig über sich und Ihre Arbeit bei FRAMOS erzählen?

Hallo Chris, toller Name übrigens. Ja, ich bin Mitglied des FRAMOS Technical Solutions and Support Teams als Imaging Expert. Ich bin seit über 20 Jahren in der Bildverarbeitungsbranche tätig, die letzten 11 Jahre davon bei FRAMOS. Meine tägliche Arbeit besteht darin, Kunden dabei zu helfen, die am besten geeignete Bildverarbeitungstechnologie für ihr Produkt zu finden und diese Systeme vom Prototyp bis hin zur Produktionsimplementierung zum Laufen zu bringen.

Wir werden darüber sprechen, was FRAMOS tun kann, um sein neues ToF-Entwicklungskit für Entwickler von Bildverarbeitungssystemen anzupassen, aber vielleicht können wir zunächst kurz darüber sprechen, was Time-of-Flight ist. Es gibt sie schon seit ein paar Jahren, aber sie ist immer noch eine recht neue Technologie. Wodurch unterscheidet sich ToF von anderen Tiefenerkennungs-Technologien und wie und wo wird sie eingesetzt?

Time of Flight [ToF] ist eigentlich eine vielfältige Suite von Technologien. Die Ultraschall-Rückfahrsensoren Ihres Autos zum Beispiel sind ToF-Geräte, die die Ausbreitungsverzögerung der reflektierten Schallwellen nutzen, um die Nähe eines Objekts zu bestimmen. Die Verzögerung ist die „Zeit“, und „Flug“ ist die Entfernung, die vom Sender zum Objekt und wieder zurück zurückgelegt wird.

Optische Methoden werden verwendet, wenn eine hohe Genauigkeit in Bezug auf Entfernung und Auflösung (mit mehreren Messpunkten) erforderlich ist. Ein guter Anfang ist die Beschreibung der beiden Arten von Detektoren, die in ToF-3D-Scansystemen verwendet werden, dToF – oder Direct ToF und iToF – oder Indirect ToF.

Der Hauptvorteil von iToF, wie es von unserem IMX570 DevKit verwendet wird, ist, dass wir eine präzise Messung für jedes einzelne Pixel erhalten. Hinzu kommt die Designfreiheit, bei der Sie, ähnlich wie bei einer gewöhnlichen Kamera, das Objektiv und die Beleuchtung so wählen können, dass sie zu Ihrem spezifischen Sichtfeld und Arbeitsabstand passen.

Da es sich um eine so flexible Technologie handelt, kann iToF in vielen Szenarien eingesetzt werden, in denen Auflösungseffizienz sowohl unter dem Gesichtspunkt der Beleuchtungsstärke als auch unter dem Gesichtspunkt der Kosten erforderlich ist.

Das bedeutet, dass iToF für eine Vielzahl von Entfernungen verwendet werden kann und relativ kostengünstig ist?

Ganz genau.

Können Sie einen kurzen Überblick darüber geben, wie die Technologie funktioniert?

Nun, „kurz“ ist vielleicht nicht möglich, aber es geht los… Das Ziel sowohl von dToF als auch von iTof ist es, eine Tiefenkarte einer Szene zu erstellen. Dabei handelt es sich nicht um ein 3D-Modell, sondern um eine Tabelle mit den X-Y-Positionen und dem Abstand zwischen dem Scansystem und den verschiedenen Objekten in der Szene (Z-Tiefe).

Wie eine LiDAR-Punktwolke?

Ja, eine Punktwolke, die dem ähnelt, was ein LiDAR-Sensor erzeugt.

dToF funktioniert ähnlich wie die zuvor erwähnten Parksensoren: Ein Lichtimpuls wird von einem Laser zu einem bekannten Zeitpunkt ausgesendet. Durch Aufzeichnung des Intervalls zwischen diesem Impuls und seiner Rückreflexion vom Ziel kann die Rundreiseentfernung auf der Grundlage der Lichtgeschwindigkeit berechnet werden. Es handelt sich um ein Punkt-Erkennungssystem, und als solches muss der Laser über die Szene gescannt werden. Diese Systeme verwenden in der Regel einen speziellen Pixeltyp, die Single Photon Avalanche Diodes (SPADs). Diese werden in Gruppen eingesetzt, um den Laserimpuls auch bei niedrigen Intensitäten zu erkennen.

iToF verwendet einen speziellen Pixeltyp und einen Laser, aber anstatt den Pixel zur direkten Messung der Zeit zu verwenden, ermöglicht er die Messung des Signals bei einem bestimmten Phasenwinkel.

Die Technologie, die dahinter steckt, ist ein Pixel, das Current-Assisted Photonic Demodulator (CAPD) genannt wird. Diese Pixel haben die Fähigkeit, das gesammelte Signal während einer Belichtung in einem von zwei Speicherplätzen oder „Taps“ zu speichern – ein Pixel also – zwei Taps. Die gewählte Abzweigung wird mit der gleichen Frequenz wie das Laserlicht moduliert, mit einer zusätzlichen Steuerung, um den Wechsel um einen bestimmten Phasenwinkel zu verzögern.

Die beiden Anzapfungen für jedes Pixel können separat ausgelesen werden. Wir tun dies mehrere Male – typischerweise 4 – jeweils mit einer anderen Phasenwinkelverzögerung. Die Phasendifferenz zwischen dem ausgehenden Laser und dem zurückkehrenden Licht kann dann berechnet werden. Es ist dann trivial, diese gemessene Phase in eine zurückgelegte Entfernung umzuwandeln.

Richtig… „trivial“.

(Gelächter)

Sie haben das gerade von FRAMOS veröffentlichte IMX570 DevKit erwähnt. Wie hilft es der iToF-Produktentwicklung? Was ist in dem Kit enthalten und für wen ist es gedacht?

Ja, in der Tat. FRAMOS hat seine Entwicklungsmodul-Familie um den IMX570-Sensor von Sony erweitert. Ein iToF-System erfordert die Synchronisierung von Beleuchtung und Sensor – sowie eine Processing Pipe. Alle diese Komponenten arbeiten zusammen, um gute Tiefendaten pro Pixel zu erhalten. Unser Ziel war es daher, sicherzustellen, dass alles verfügbar ist und nichts „im Weg“ steht.

Aus der Sicht der Hardware bedeutet dies, dass wir das Sensormodul mit einer ausgerichteten und geklebten Linse und einer separaten Beleuchtungsplatine mit eigener Stromversorgung und Verbindung zur Sensorplatine haben.

Auf der Rückseite der Sensorplatine ist eine Stromversorgungs- und Rechenplatine angeschraubt. Auf dieser Platine befindet sich ein SEP [Sensor Edge Processor], auch bekannt als CXD5639. Dieses Gerät ist in der Lage, die eingegebenen Rohdaten in kalibrierte Tiefen- und Vertrauensdaten umzuwandeln. Wir haben auch ein kleines FPGA [Field-Programmable Gate Array] eingebaut, um die einfache Synchronisierung dieses Geräts mit zusätzlichen Modulen, einschließlich RGB-Modulen, zu ermöglichen.

Die Software und die Treiber wurden entwickelt, um einen schnellen und einfachen Zugriff auf die SEP-Ausgabe und die RAW-Ausgabe des Sensors zu ermöglichen.

Da die Zielentwicklungsplattform die Jetson-Familie von NVIDIA ist (einschließlich Orin und Xavier), kann das Devkit von jedem verwendet werden, der die iToF-Technologie bewerten und ein Produkt auf dieser Grundlage entwickeln möchte. Es ist auch dann hilfreich, wenn der endgültige Anwendungsfall eine andere Compute-Plattform verwendet.

Der RAW-Datenzugriff und die Feinsteuerung des Modulbetriebs liefern hervorragende Daten für die Definition eines Endprodukts und das Testen seiner Fähigkeiten. Dazu gehört auch die Verwendung der Schlüsselkomponenten in anderen Systemarchitekturen, die nicht zu den NVIDIA-Plattformen gehören – ebenso wie das Prototyping einer kundenspezifischen Lösung.

Wir sprechen über die Möglichkeiten zur Anpassung dieses Kits. Welche Art von Anpassung meinen Sie, und warum sollte ein Benutzer ein Entwicklungskit anpassen müssen?

Das Devkit ist ein Schritt auf dem Weg zur Entwicklung eines Produkts. Es ist ein One-Size-Fits-All-Kit, das sich auf Flexibilität konzentriert. Wir können viele Hardware- und Processing-Pipe-Konfigurationen simulieren, so dass unsere Kunden Anwendungsschichten aufbauen können und wissen, dass sie diesen Aufwand auf ihre Endprodukte übertragen können.

Beim Übergang zu einem Produktionsmodell werden die Anwendungsparameter des Kunden das endgültige Design bestimmen – vieles davon kann mit dem Devkit simuliert werden. Von der Wahl des Objektivs und der Beleuchtung bis hin zur Größe und Form der Leiterplatte (PCB [Printed Circuit Board]).

Jede Anwendung ist anders, einschließlich der Umgebung, der Genauigkeit des Energiebudgets, des Zielverhaltens… die Liste lässt sich beliebig fortsetzen. Wir sind in der Lage, jede einzelne Komponente individuell anzupassen und eine optimale Konfiguration zum besten Preis und mit der gewünschten Leistung anzubieten.

Was bedeutet also Anpassung in der Praxis? Welche Teile dieses Systems können geändert werden und wie?

Das Devkit ist ein Ansatz, der auf Flexibilität setzt. Bei der Lösung einer realen Hardwareanforderung würden wir zunächst versuchen, die Materialliste zu reduzieren, um die minimalen Betriebsspezifikationen zu erfüllen. Das Hauptziel ist dabei die Anzahl der Laseremitter.

Als Nächstes würden wir uns die Konsolidierung der Komponenten auf eine Leiterplatte mit minimaler Größe ansehen, die mit der Zielhardware des Kunden kompatibel ist, z. B. hinsichtlich der Fähigkeit zur Kühlung und der Form des Gehäuses.

Wir würden dann die Komponenten auf der Grundlage der optischen Anforderungen des Systems auswählen. Wenn wir zum Beispiel das Sichtfeld ändern, ändert sich das Objektiv und damit auch die Objektivfassung. Wir müssen auch die Auswahl der Laseroptik ändern, um das gleiche Sichtfeld wie das Objektiv zu erhalten.

Mit dieser neuen Hardware kann eine neue Kalibrierung erforderlich werden, und das ist genau das, was FRAMOS macht. Wir können also nicht nur das Gerät bauen, sondern auch ein allgemeines Kalibrierungsmodell erstellen und die einzelnen Geräte im Rahmen des Produktionsprozesses kalibrieren.

Das IMX570 Sensormodul und der Sensor Edge Processor geben beide Daten über die standardmäßige MIPI CSI-2 Schnittstelle aus. Für die Verwendung der NVIDIA-Plattform gibt es keine besonderen Anforderungen. Der direkte Zugriff auf Hardware, die sonst vom Treiber gesteuert wird, wie z.B. die Lasertreiber, ist eine einfache Aufgabe, die es dem Kunden ermöglicht, die Erfassung der iToF-Daten vollständig selbst zu gestalten und zu steuern, wenn er seine IP [Intellectual Property] auf einer beliebigen Plattform einsetzt oder entwickelt.

Es ist wahrscheinlich, dass jede kundenspezifische Lösung mit anderer Hardware interagieren muss, die nicht nur CSI-2 verwendet. Die Entfernung oder Verbesserung des Onboard-Timing-FPGAs oder die Bereitstellung von CSI-2-Daten über GMSL kommen mir in den Sinn… Aber zur Anpassung gehören auch andere hauswirtschaftliche Fähigkeiten, wie die Verwendung der vom Kunden bevorzugten Bulk-Power-Lösung. Die Verwendung von Daten-/Stromanschlüssen, die vorgewählt werden können, ermöglicht auch eine höhere Produkteffizienz.

Sie haben erwähnt, dass Sie mit einem Kunden zusammenarbeiten, um Leiterplatten und andere Komponenten eines Kamerasystems zu entwerfen oder zu entwickeln, aber wie sieht es mit deren Herstellung aus? Kann FRAMOS auch ein Fertigungspartner sein, und wenn ja, welche Mengen können sie produzieren?

Das Design muss immer auch die praktischen Aspekte der Herstellung berücksichtigen. Im Fall von iToF-Produkten ist dies besonders wichtig, da ein elektrisch und mechanisch stabiles Gerät benötigt wird, das seine Kalibrierung während der Installation und des Betriebs beibehält. FRAMOS verfügt über die Produktionskapazitäten für die aktive Ausrichtung und Kalibrierung von Objektiven. Diese Fähigkeiten dienen nicht nur der Verbesserung der Gerätequalität, sondern ermöglichen auch die Massenproduktion, um Einsparungen in großem Umfang zu erzielen.

Ich danke Ihnen, dass Sie sich die Zeit genommen haben, mit mir darüber zu sprechen. Haben Sie noch einen abschließenden Gedanken?

Auch ich danke Ihnen und möchte erwähnen, dass 3D-Daten jetzt nicht mehr nur eine Spielerei oder für die Welt der Messtechnik sind. Die Aufnahme von 3D-Daten in das Arsenal der Werkzeuge, die uns zur Lösung von Problemen zur Verfügung stehen, ist eine fantastische Möglichkeit, alte und neue Probleme gleichermaßen zu lösen. iToF und seine Interaktion mit der Welt ist kein Allheilmittel. Wir müssen viele Aspekte der Anwendung und der Technologie berücksichtigen, um gemeinsam mit unseren Kunden gute Produkte zu entwickeln. Ich für meinen Teil bin sehr gespannt darauf, zu erfahren, was getan werden muss, und dabei zu helfen, Lösungen zu entwickeln, die dies ermöglichen.

Wo kann man mehr über dieses Entwicklungskit erfahren?

Guter Punkt, das Kit finden Sie auf der FRAMOS Website unter staging.framos.com, indem Sie einfach nach „Time-of-Flight“ suchen.