{"id":9150,"date":"2023-03-16T13:25:58","date_gmt":"2023-03-16T13:25:58","guid":{"rendered":"https:\/\/framos.com\/articles\/fsm-imx570-devkit-anpassungsmoeglichkeiten\/"},"modified":"2025-06-02T18:28:04","modified_gmt":"2025-06-02T18:28:04","slug":"fsm-imx570-devkit-customization-possibilities","status":"publish","type":"articles","link":"https:\/\/framos.com\/de\/fachartikel\/fsm-imx570-devkit-customization-possibilities\/","title":{"rendered":"FSM-IMX570 Devkit Anpassungsm\u00f6glichkeiten"},"content":{"rendered":"\n

Ein Interview mit Chris Baldwin, Senior Application Engineer bei FRAMOS GMBH<\/strong>Von Christopher Ivey <\/p>\n\n

\"Chris
Ich hatte die Gelegenheit, mit Chris Baldwin zu sprechen, der hier in seiner britischen Werkstatt zu sehen ist. <\/figcaption><\/figure>\n\n

Als Autorin von Marketing-Inhalten f\u00fcr FRAMOS habe ich manchmal Schwierigkeiten, die eher technischen Aspekte unserer Produkte und Dienstleistungen zu verstehen. Um hier Abhilfe zu schaffen und mehr \u00fcber unser neues Time-of-Flight-Kamera-Entwicklungskit zu erfahren, habe ich mich an Chris Baldwin gewandt – einen leitenden Anwendungsingenieur bei FRAMOS. Chris hat sich intensiv mit der Entwicklung neuer Time-of-Flight-Produkte f\u00fcr das Unternehmen besch\u00e4ftigt und war die perfekte Person, um mir unser Entwicklungskit vorzustellen. Ich wollte auch einige der Anpassungsm\u00f6glichkeiten f\u00fcr das Kit besprechen. <\/p>\n\n

Da wir zuf\u00e4llig auf entgegengesetzten Seiten des Atlantiks leben und arbeiten, habe ich mich mit Chris per Videokonferenz unterhalten. Er schaltete sich von seiner Werkstatt zu Hause aus ein – ein \u00fcberraschend ordentlicher Raum voller Oszilloskope, einer verwirrenden Vielfalt von Computerger\u00e4ten und einer gro\u00dfen Sammlung von Kameramodulen in verschiedenen Formen und Gr\u00f6\u00dfen. Das Entwicklungskit, \u00fcber das wir uns unterhalten wollten, hatte einen Ehrenplatz: ein h\u00fcbscher kleiner W\u00fcrfel mit einer Linse, die von Laserstrahlern umgeben ist und auf einem winzigen Stativ steht. <\/p>\n\n

Nach einigen informellen Einf\u00fchrungen kam ich zur Sache und sprach \u00fcber die Time-of-Flight-Technologie und insbesondere \u00fcber das FSM-IMX570 Entwicklungskit<\/a>.<\/p>\n\n

Chris, k\u00f6nnen Sie uns ein wenig \u00fcber sich und Ihre Arbeit bei FRAMOS erz\u00e4hlen?<\/strong><\/p>\n\n

Hallo Chris, toller Name \u00fcbrigens. Ja, ich bin Mitglied des FRAMOS Technical Solutions and Support Teams als Imaging Expert. Ich bin seit \u00fcber 20 Jahren in der Bildverarbeitungsbranche t\u00e4tig, die letzten 11 Jahre davon bei FRAMOS. Meine t\u00e4gliche Arbeit besteht darin, Kunden dabei zu helfen, die am besten geeignete Bildverarbeitungstechnologie f\u00fcr ihr Produkt zu finden und diese Systeme vom Prototyp bis hin zur Produktionsimplementierung zum Laufen zu bringen. <\/p>\n\n

Wir werden dar\u00fcber sprechen, was FRAMOS tun kann, um sein neues ToF-Entwicklungskit f\u00fcr Entwickler von Bildverarbeitungssystemen anzupassen, aber vielleicht k\u00f6nnen wir zun\u00e4chst kurz dar\u00fcber sprechen, was Time-of-Flight ist. Es gibt sie schon seit ein paar Jahren, aber sie ist immer noch eine recht neue Technologie. Wodurch unterscheidet sich ToF von anderen Tiefenerkennungs-Technologien und wie und wo wird sie eingesetzt? <\/strong><\/h3>\n\n

Time of Flight [ToF]<\/a> ist eigentlich eine vielf\u00e4ltige Suite von Technologien. Die Ultraschall-R\u00fcckfahrsensoren Ihres Autos zum Beispiel sind ToF-Ger\u00e4te, die die Ausbreitungsverz\u00f6gerung der reflektierten Schallwellen nutzen, um die N\u00e4he eines Objekts zu bestimmen. Die Verz\u00f6gerung ist die \u201eZeit\u201c, und \u201eFlug\u201c ist die Entfernung, die vom Sender zum Objekt und wieder zur\u00fcck zur\u00fcckgelegt wird. <\/p>\n\n

Optische Methoden werden verwendet, wenn eine hohe Genauigkeit in Bezug auf Entfernung und Aufl\u00f6sung (mit mehreren Messpunkten) erforderlich ist. Ein guter Anfang ist die Beschreibung der beiden Arten von Detektoren, die in ToF-3D-Scansystemen verwendet werden, dToF – oder Direct ToF und iToF – oder Indirect ToF. <\/p>\n\n

Der Hauptvorteil von iToF<\/a>, wie es von unserem IMX570 DevKit<\/a> verwendet wird, ist, dass wir eine pr\u00e4zise Messung f\u00fcr jedes einzelne Pixel erhalten. Hinzu kommt die Designfreiheit, bei der Sie, \u00e4hnlich wie bei einer gew\u00f6hnlichen Kamera, das Objektiv und die Beleuchtung so w\u00e4hlen k\u00f6nnen, dass sie zu Ihrem spezifischen Sichtfeld und Arbeitsabstand passen. <\/p>\n\n

Da es sich um eine so flexible Technologie handelt, kann iToF in vielen Szenarien eingesetzt werden, in denen Aufl\u00f6sungseffizienz sowohl unter dem Gesichtspunkt der Beleuchtungsst\u00e4rke als auch unter dem Gesichtspunkt der Kosten erforderlich ist.<\/p>\n\n

Das bedeutet, dass iToF f\u00fcr eine Vielzahl von Entfernungen verwendet werden kann und relativ kosteng\u00fcnstig ist?<\/h3>\n\n

Ganz genau.<\/p>\n\n

K\u00f6nnen Sie einen kurzen \u00dcberblick dar\u00fcber geben, wie die Technologie funktioniert?<\/strong><\/p>\n\n

Nun, \u201ekurz\u201c ist vielleicht nicht m\u00f6glich, aber es geht los\u00e2\u20ac\u00a6 Das Ziel sowohl von dToF als auch von iTof ist es, eine Tiefenkarte einer Szene zu erstellen. Dabei handelt es sich nicht um ein 3D-Modell, sondern um eine Tabelle mit den X-Y-Positionen und dem Abstand zwischen dem Scansystem und den verschiedenen Objekten in der Szene (Z-Tiefe). <\/p>\n\n

Wie eine LiDAR-Punktwolke?<\/h3>\n\n

Ja, eine Punktwolke, die dem \u00e4hnelt, was ein LiDAR-Sensor erzeugt.<\/p>\n\n

\"\"\/
Abbildung: Ein Beispiel f\u00fcr eine von einer iToF-Kamera erstellte Tiefenkarte <\/figcaption><\/figure>\n\n

dToF funktioniert \u00e4hnlich wie die zuvor erw\u00e4hnten Parksensoren: Ein Lichtimpuls wird von einem Laser zu einem bekannten Zeitpunkt ausgesendet. Durch Aufzeichnung des Intervalls zwischen diesem Impuls und seiner R\u00fcckreflexion vom Ziel kann die Rundreiseentfernung auf der Grundlage der Lichtgeschwindigkeit berechnet werden. Es handelt sich um ein Punkt-Erkennungssystem, und als solches muss der Laser \u00fcber die Szene gescannt werden. Diese Systeme verwenden in der Regel einen speziellen Pixeltyp, die Single Photon Avalanche Diodes (SPADs). Diese werden in Gruppen eingesetzt, um den Laserimpuls auch bei niedrigen Intensit\u00e4ten zu erkennen. <\/p>\n\n

iToF verwendet einen speziellen Pixeltyp und einen Laser, aber anstatt den Pixel zur direkten Messung der Zeit zu verwenden, erm\u00f6glicht er die Messung des Signals bei einem bestimmten Phasenwinkel.<\/p>\n\n

Die Technologie, die dahinter steckt, ist ein Pixel, das Current-Assisted Photonic Demodulator (CAPD) genannt wird. Diese Pixel haben die F\u00e4higkeit, das gesammelte Signal w\u00e4hrend einer Belichtung in einem von zwei Speicherpl\u00e4tzen oder \u201eTaps\u201c zu speichern – ein Pixel also – zwei Taps. Die gew\u00e4hlte Abzweigung wird mit der gleichen Frequenz wie das Laserlicht moduliert, mit einer zus\u00e4tzlichen Steuerung, um den Wechsel um einen bestimmten Phasenwinkel zu verz\u00f6gern. <\/p>\n\n

Die beiden Anzapfungen f\u00fcr jedes Pixel k\u00f6nnen separat ausgelesen werden. Wir tun dies mehrere Male – typischerweise 4 – jeweils mit einer anderen Phasenwinkelverz\u00f6gerung. Die Phasendifferenz zwischen dem ausgehenden Laser und dem zur\u00fcckkehrenden Licht kann dann berechnet werden. Es ist dann trivial, diese gemessene Phase in eine zur\u00fcckgelegte Entfernung umzuwandeln. <\/p>\n\n

Richtig\u00e2\u20ac\u00a6 \u201etrivial\u201c.<\/strong><\/p>\n\n

(Gel\u00e4chter)<\/p>\n\n

Sie haben das gerade von FRAMOS ver\u00f6ffentlichte IMX570 DevKit erw\u00e4hnt. Wie hilft es der iToF-Produktentwicklung? Was ist in dem Kit enthalten und f\u00fcr wen ist es gedacht? <\/h3>\n\n

Ja, in der Tat. FRAMOS hat seine Entwicklungsmodul-Familie um den IMX570-Sensor von Sony erweitert. Ein iToF-System erfordert die Synchronisierung von Beleuchtung und Sensor – sowie eine Processing Pipe. Alle diese Komponenten arbeiten zusammen, um gute Tiefendaten pro Pixel zu erhalten. Unser Ziel war es daher, sicherzustellen, dass alles verf\u00fcgbar ist und nichts \u201eim Weg\u201c steht. <\/p>\n\n

\"\"\/
Bild: Das Kameramodul des Entwicklungskits FSM-IMX570 <\/figcaption><\/figure>\n\n

Aus der Sicht der Hardware bedeutet dies, dass wir das Sensormodul mit einer ausgerichteten und geklebten Linse und einer separaten Beleuchtungsplatine mit eigener Stromversorgung und Verbindung zur Sensorplatine haben.<\/p>\n\n

Auf der R\u00fcckseite der Sensorplatine ist eine Stromversorgungs- und Rechenplatine angeschraubt. Auf dieser Platine befindet sich ein SEP [Sensor Edge Processor], auch bekannt als CXD5639. Dieses Ger\u00e4t ist in der Lage, die eingegebenen Rohdaten in kalibrierte Tiefen- und Vertrauensdaten umzuwandeln. Wir haben auch ein kleines FPGA [Field-Programmable Gate Array] eingebaut, um die einfache Synchronisierung dieses Ger\u00e4ts mit zus\u00e4tzlichen Modulen, einschlie\u00dflich RGB-Modulen, zu erm\u00f6glichen. <\/p>\n\n

Die Software und die Treiber wurden entwickelt, um einen schnellen und einfachen Zugriff auf die SEP-Ausgabe und die RAW-Ausgabe des Sensors zu erm\u00f6glichen.<\/p>\n\n

Da die Zielentwicklungsplattform die Jetson-Familie von NVIDIA ist (einschlie\u00dflich Orin und Xavier), kann das Devkit von jedem verwendet werden, der die iToF-Technologie bewerten und ein Produkt auf dieser Grundlage entwickeln m\u00f6chte. Es ist auch dann hilfreich, wenn der endg\u00fcltige Anwendungsfall eine andere Compute-Plattform verwendet. <\/p>\n\n

Der RAW-Datenzugriff und die Feinsteuerung des Modulbetriebs liefern hervorragende Daten f\u00fcr die Definition eines Endprodukts und das Testen seiner F\u00e4higkeiten. Dazu geh\u00f6rt auch die Verwendung der Schl\u00fcsselkomponenten in anderen Systemarchitekturen, die nicht zu den NVIDIA-Plattformen geh\u00f6ren – ebenso wie das Prototyping einer kundenspezifischen L\u00f6sung. <\/p>\n\n

Wir sprechen \u00fcber die M\u00f6glichkeiten zur Anpassung dieses Kits. Welche Art von Anpassung meinen Sie, und warum sollte ein Benutzer ein Entwicklungskit anpassen m\u00fcssen? <\/strong><\/p>\n\n

Das Devkit ist ein Schritt auf dem Weg zur Entwicklung eines Produkts. Es ist ein One-Size-Fits-All-Kit, das sich auf Flexibilit\u00e4t konzentriert. Wir k\u00f6nnen viele Hardware- und Processing-Pipe-Konfigurationen simulieren, so dass unsere Kunden Anwendungsschichten aufbauen k\u00f6nnen und wissen, dass sie diesen Aufwand auf ihre Endprodukte \u00fcbertragen k\u00f6nnen. <\/p>\n\n

Beim \u00dcbergang zu einem Produktionsmodell werden die Anwendungsparameter des Kunden das endg\u00fcltige Design bestimmen – vieles davon kann mit dem Devkit simuliert werden. Von der Wahl des Objektivs und der Beleuchtung bis hin zur Gr\u00f6\u00dfe und Form der Leiterplatte (PCB [Printed Circuit Board]). <\/p>\n\n

Jede Anwendung ist anders, einschlie\u00dflich der Umgebung, der Genauigkeit des Energiebudgets, des Zielverhaltens… die Liste l\u00e4sst sich beliebig fortsetzen. Wir sind in der Lage, jede einzelne Komponente individuell anzupassen und eine optimale Konfiguration zum besten Preis und mit der gew\u00fcnschten Leistung anzubieten. <\/p>\n\n

Was bedeutet also Anpassung in der Praxis? Welche Teile dieses Systems k\u00f6nnen ge\u00e4ndert werden und wie? <\/strong><\/p>\n\n

Das Devkit ist ein Ansatz, der auf Flexibilit\u00e4t setzt. Bei der L\u00f6sung einer realen Hardwareanforderung w\u00fcrden wir zun\u00e4chst versuchen, die Materialliste zu reduzieren, um die minimalen Betriebsspezifikationen zu erf\u00fcllen. Das Hauptziel ist dabei die Anzahl der Laseremitter. <\/p>\n\n

Als N\u00e4chstes w\u00fcrden wir uns die Konsolidierung der Komponenten auf eine Leiterplatte mit minimaler Gr\u00f6\u00dfe ansehen, die mit der Zielhardware des Kunden kompatibel ist, z. B. hinsichtlich der F\u00e4higkeit zur K\u00fchlung und der Form des Geh\u00e4uses.<\/p>\n\n

Wir w\u00fcrden dann die Komponenten auf der Grundlage der optischen Anforderungen des Systems ausw\u00e4hlen. Wenn wir zum Beispiel das Sichtfeld \u00e4ndern, \u00e4ndert sich das Objektiv und damit auch die Objektivfassung. Wir m\u00fcssen auch die Auswahl der Laseroptik \u00e4ndern, um das gleiche Sichtfeld wie das Objektiv zu erhalten. <\/p>\n\n

Mit dieser neuen Hardware kann eine neue Kalibrierung erforderlich werden, und das ist genau das, was FRAMOS macht. Wir k\u00f6nnen also nicht nur das Ger\u00e4t bauen, sondern auch ein allgemeines Kalibrierungsmodell erstellen und die einzelnen Ger\u00e4te im Rahmen des Produktionsprozesses kalibrieren. <\/p>\n\n

Das IMX570 Sensormodul und der Sensor Edge Processor geben beide Daten \u00fcber die standardm\u00e4\u00dfige MIPI CSI-2 Schnittstelle aus. F\u00fcr die Verwendung der NVIDIA-Plattform gibt es keine besonderen Anforderungen. Der direkte Zugriff auf Hardware, die sonst vom Treiber gesteuert wird, wie z.B. die Lasertreiber, ist eine einfache Aufgabe, die es dem Kunden erm\u00f6glicht, die Erfassung der iToF-Daten vollst\u00e4ndig selbst zu gestalten und zu steuern, wenn er seine IP [Intellectual Property] auf einer beliebigen Plattform einsetzt oder entwickelt. <\/p>\n\n

Es ist wahrscheinlich, dass jede kundenspezifische L\u00f6sung mit anderer Hardware interagieren muss, die nicht nur CSI-2 verwendet. Die Entfernung oder Verbesserung des Onboard-Timing-FPGAs oder die Bereitstellung von CSI-2-Daten \u00fcber GMSL kommen mir in den Sinn\u00e2\u20ac\u00a6 Aber zur Anpassung geh\u00f6ren auch andere hauswirtschaftliche F\u00e4higkeiten, wie die Verwendung der vom Kunden bevorzugten Bulk-Power-L\u00f6sung. Die Verwendung von Daten-\/Stromanschl\u00fcssen, die vorgew\u00e4hlt werden k\u00f6nnen, erm\u00f6glicht auch eine h\u00f6here Produkteffizienz. <\/p>\n\n

Sie haben erw\u00e4hnt, dass Sie mit einem Kunden zusammenarbeiten, um Leiterplatten und andere Komponenten eines Kamerasystems zu entwerfen oder zu entwickeln, aber wie sieht es mit deren Herstellung aus? Kann FRAMOS auch ein Fertigungspartner sein, und wenn ja, welche Mengen k\u00f6nnen sie produzieren? <\/strong><\/p>\n\n

Das Design muss immer auch die praktischen Aspekte der Herstellung ber\u00fccksichtigen. Im Fall von iToF-Produkten ist dies besonders wichtig, da ein elektrisch und mechanisch stabiles Ger\u00e4t ben\u00f6tigt wird, das seine Kalibrierung w\u00e4hrend der Installation und des Betriebs beibeh\u00e4lt. FRAMOS verf\u00fcgt \u00fcber die Produktionskapazit\u00e4ten f\u00fcr die aktive Ausrichtung und Kalibrierung von Objektiven. Diese F\u00e4higkeiten dienen nicht nur der Verbesserung der Ger\u00e4tequalit\u00e4t, sondern erm\u00f6glichen auch die Massenproduktion, um Einsparungen in gro\u00dfem Umfang zu erzielen. <\/p>\n\n

Ich danke Ihnen, dass Sie sich die Zeit genommen haben, mit mir dar\u00fcber zu sprechen. Haben Sie noch einen abschlie\u00dfenden Gedanken? <\/strong><\/p>\n\n

Auch ich danke Ihnen und m\u00f6chte erw\u00e4hnen, dass 3D-Daten jetzt nicht mehr nur eine Spielerei oder f\u00fcr die Welt der Messtechnik sind. Die Aufnahme von 3D-Daten in das Arsenal der Werkzeuge, die uns zur L\u00f6sung von Problemen zur Verf\u00fcgung stehen, ist eine fantastische M\u00f6glichkeit, alte und neue Probleme gleicherma\u00dfen zu l\u00f6sen. iToF und seine Interaktion mit der Welt ist kein Allheilmittel. Wir m\u00fcssen viele Aspekte der Anwendung und der Technologie ber\u00fccksichtigen, um gemeinsam mit unseren Kunden gute Produkte zu entwickeln. Ich f\u00fcr meinen Teil bin sehr gespannt darauf, zu erfahren, was getan werden muss, und dabei zu helfen, L\u00f6sungen zu entwickeln, die dies erm\u00f6glichen. <\/p>\n\n

Wo kann man mehr \u00fcber dieses Entwicklungskit erfahren?<\/strong><\/p>\n\n

Guter Punkt, das Kit finden Sie auf der FRAMOS Website unter staging.framos.com, indem Sie einfach nach \u201eTime-of-Flight<\/a>\u201c suchen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Time of Flight [ToF] ist eigentlich eine vielf\u00e4ltige Suite von Technologien. Die Ultraschall-R\u00fcckfahrsensoren Ihres Autos zum Beispiel sind ToF-Ger\u00e4te, die die Ausbreitungsverz\u00f6gerung der reflektierten Schallwellen nutzen, um die N\u00e4he eines Objekts zu bestimmen. Die Verz\u00f6gerung ist die \u00e2\u20ac\u017eZeit\u00e2\u20ac\u0153 und der \u00e2\u20ac\u017eFlug\u00e2\u20ac\u0153 ist die Strecke, die vom Sender zum Objekt und wieder zur\u00c3?ck zur\u00c3?ckgelegt wird. <\/p>\n","protected":false},"author":2,"featured_media":1191,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false},"article-category":[],"article-tag":[],"class_list":["post-9150","articles","type-articles","status-publish","format-standard","has-post-thumbnail","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles\/9150","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles"}],"about":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/types\/articles"}],"author":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/comments?post=9150"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media\/1191"}],"wp:attachment":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media?parent=9150"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-category?post=9150"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-tag?post=9150"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}