{"id":1537,"date":"2023-10-31T15:23:51","date_gmt":"2023-10-31T15:23:51","guid":{"rendered":"https:\/\/framos.com\/articles\/prototypen-framos-fsm-imx636-devkit-auf-der-nvidia-jetson-plattform-fur-edge-ai-und-robotik\/"},"modified":"2025-09-01T07:13:53","modified_gmt":"2025-09-01T07:13:53","slug":"prototype-event-based-vision-systems-with-the-framos-fsm-imx636-devkit-on-the-nvidia-jetson-platform-for-edge-ai-and-robotics","status":"publish","type":"articles","link":"https:\/\/framos.com\/de\/fachartikel\/prototype-event-based-vision-systems-with-the-framos-fsm-imx636-devkit-on-the-nvidia-jetson-platform-for-edge-ai-and-robotics\/","title":{"rendered":"Prototyping von ereignisbasierten Bildverarbeitungssystemen mit dem FRAMOS FSM-IMX636 Devkit auf der NVIDIA Jetson Plattform f\u00fcr Edge AI und Robotik"},"content":{"rendered":"\n

Im Gegensatz zu herk\u00f6mmlichen Bildgebungstechnologien, die ganze Bilder \u00fcbertragen, ist der IMX636-Sensor, der in Zusammenarbeit zwischen Sony und PROPHESEE realisiert wurde, eine Ereigniskamera und ein dynamischer Vision-Sensor, der asynchrone Ver\u00e4nderungen auf Pixelebene erfasst, inspiriert durch das menschliche Auge und die menschliche Netzhaut. Dieser ereignisbasierte Bildsensor<\/a>, der durch Fortschritte in der neuromorphen Technik und als Teil der Prophesee Metavision Technologie-Suite entwickelt wurde, erkennt nur Ver\u00e4nderungen der Leuchtdichte und erm\u00f6glicht so die Erkennung selbst kleinster Ersch\u00fctterungen, subtiler Bewegungen und sich schnell bewegender Objekte mit beispielloser Genauigkeit sowie die Verfolgung von Personen, ohne dass dies zu Problemen mit der Privatsph\u00e4re f\u00fchrt. <\/p>\n\n

Mit ihrem gro\u00dfen Dynamikbereich und ihrem hohen Dynamikumfang arbeitet die IMX636 auch bei schwierigen Lichtverh\u00e4ltnissen, einschlie\u00dflich schwachem Licht, effektiv und vermeidet von Haus aus Bewegungsunsch\u00e4rfen, w\u00e4hrend sie gleichzeitig eine Datenausgabe mit geringer Latenzzeit bietet. Diese Eigenschaften machen sie ideal f\u00fcr Szenarien, in denen herk\u00f6mmliche Kameras Schwierigkeiten haben<\/a>, und gew\u00e4hrleisten eine zuverl\u00e4ssige Leistung in Umgebungen mit wenig Licht und hohem Kontrast. <\/p>\n\n

Ereigniskameras wie die IMX636 stellen einen Paradigmenwechsel in den Bereichen Computer Vision und Machine Vision dar, denn sie unterscheiden sich grundlegend von herk\u00f6mmlichen bildbasierten Systemen, da sie kontinuierliche, asynchrone Datenstr\u00f6me liefern. Dieser Wandel erm\u00f6glicht neue Ans\u00e4tze f\u00fcr visuelle Wahrnehmungsaufgaben und verbessert die Robustheit und Geschwindigkeit von Bildverarbeitungsalgorithmen. <\/p>\n\n

Mit ihrer Leistung und den reduzierten Anforderungen an Rechenleistung und Bandbreite erweitert die Event Based Sensing (EVS)-Technologie die Grenzen eingebetteter Bildverarbeitungssysteme mit noch nie dagewesener Leistungsf\u00e4higkeit und Pr\u00e4zision und \u00fcberwindet damit die Grenzen herk\u00f6mmlicher L\u00f6sungen.<\/p>\n\n

Mit dem FRAMOS IMX636 Development Kit<\/a> k\u00f6nnen Sie die EVS-Technologie von Sony ganz einfach auf den System-on-Modulen NVIDIA Jetson AGX Orin und Jetson AGX Xavier testen, um neue M\u00f6glichkeiten zu entdecken oder die aktuelle Leistung von Embedded Vision Systemen zu verbessern.<\/p>\n\n

Vorteile der ereignisbasierten Sensortechnologie<\/strong><\/h2>\n\n
\"\"<\/figure>\n\n

Ereignisbasierte Sensoren erreichen eine hohe zeitliche Aufl\u00f6sung (bis zu Mikrosekunden) und einen hohen Dynamikbereich (bis zu 140 dB), w\u00e4hrend gleichzeitig die Datenredundanz und der Stromverbrauch reduziert werden.<\/p>\n\n

Die von diesen Sensoren erzeugten Ereignisdaten erm\u00f6glichen eine fortschrittliche Objekterkennung, Mustererkennung und Bildverarbeitung, wobei zeitliche Informationen f\u00fcr die Echtzeitanalyse genutzt werden. Der Einsatz von neuronalen Netzen, k\u00fcnstlicher Intelligenz und selbst\u00fcberwachtem Lernen verbessert die Verarbeitung von Ereignisdaten weiter und erh\u00f6ht die Leistung und Verallgemeinerbarkeit. Software-Tools wie die Metavision Intelligence Suite und andere Intelligence-Suite-L\u00f6sungen sind f\u00fcr die effiziente Analyse von Ereignisdaten konzipiert. Ereignisbasierte Bildverarbeitungssysteme werden in verschiedenen Anwendungen eingesetzt, und ihre effiziente Datenausgabe kommt nachgelagerten Systemen zugute, indem sie genaue und zeitnahe Analysen in verschiedenen Branchen erm\u00f6glicht. <\/p>\n\n

Ihre hohe Pr\u00e4zision, die F\u00e4higkeit, selbst kleinste Ver\u00e4nderungen zu erfassen, die Unsichtbarkeit f\u00fcr andere Sensoren, der geringere Datentransfer und die Energieeffizienz, da sie nur mit sich \u00e4ndernden Daten arbeiten, er\u00f6ffnen neue Horizonte in Bereichen wie der Robotik, dem autonomen Fahren, der industriellen Automatisierung und der biomedizinischen Bildgebung<\/a>.<\/p>\n\n

Mit dem FRAMOS<\/a> FSM IMX636 Development Kit k\u00f6nnen Sie die F\u00e4higkeiten des Sony IMX636 Bildsensors testen und diese dann schnell auf die Produktion \u00fcbertragen, was den Produktentwicklungsprozess vereinfacht.<\/p>\n\n

Anwendungsf\u00e4lle der ereignisbasierten Sensortechnologie<\/strong><\/h2>\n\n

Hier sind einige Anwendungsf\u00e4lle, in denen die EVS-Technologie die herk\u00f6mmliche Sensortechnologie \u00fcbertrifft und es Entwicklern erm\u00f6glicht, Daten mit noch nie dagewesener Geschwindigkeit und Pr\u00e4zision zu erfassen.<\/p>\n\n

Der von Ereigniskameras erzeugte Ereignisstrom besteht aus asynchronen Ereignissen, die eine fortschrittliche Verarbeitung wie optischen Fluss, optische Flusssch\u00e4tzung, ereignisbasierten optischen Fluss und Bewegungssch\u00e4tzung f\u00fcr Hochgeschwindigkeitsanwendungen mit geringer Latenz erm\u00f6glichen. Techniken wie die Linien- und Bewegungssch\u00e4tzung, die h\u00e4ufig einen linearen n-Punkt-L\u00f6ser verwenden, erm\u00f6glichen eine effiziente und stabile Analyse dynamischer Szenen. Im Gegensatz zu bildbasierten Systemen, die in festen Intervallen vollst\u00e4ndige Bilder erfassen und unn\u00f6tige Daten generieren, konzentrieren sich ereignisbasierte Ans\u00e4tze nur auf relevante Ver\u00e4nderungen und reduzieren so Redundanz und Bewegungsunsch\u00e4rfe. Dar\u00fcber hinaus wird die ereignisbasierte Formrekonstruktion, einschlie\u00dflich Methoden wie die ereignisbasierte Form aus der Polarisation, durch die einzigartigen Eigenschaften von Ereigniskameradaten erm\u00f6glicht. <\/p>\n\n

Vorbeugende Wartung durch Vibrations\u00fcberwachung<\/strong><\/h3>\n\n
\"\"<\/figure>\n\n

Wenn eine Maschine anf\u00e4ngt, Fehler zu entwickeln, wie z.B. Lagerdefekte oder falsch ausgerichtete Riemen, erzeugt sie abnormale Vibrationen. EVS kann selbst die geringsten Abweichungen von den Standardvibrationsmustern erkennen und erm\u00f6glicht so eine fr\u00fchzeitige Fehlererkennung und Reparatur, bevor schwere und teure Sch\u00e4den entstehen. <\/p>\n\n

Robotik Navigation<\/strong><\/h3>\n\n

Die schnelle und zuverl\u00e4ssige Datenverarbeitung der EVS-Technologie in Echtzeit steigert die Leistung der Roboternavigation und erm\u00f6glicht es den Robotern, Hindernissen auszuweichen, agiler und reaktionsschneller zu navigieren und schnelle und fundierte Entscheidungen in dynamischen Umgebungen zu treffen. Ereignisbasierte Bildverarbeitungssysteme verbessern auch die Wahrnehmungs- und Navigationsf\u00e4higkeiten von intelligenten Robotern, so dass diese in komplexen Umgebungen effektiver arbeiten k\u00f6nnen.<\/p>\n\n

\"\"<\/figure>\n\n

Der EVS kann vorschriftsm\u00e4\u00dfigere Sicherheitsl\u00f6sungen bieten, da er die Erfassung von Gesichtsdetails vermeiden kann und sich stattdessen auf die Verfolgung von Bewegungen konzentriert – d.h. er kann Personen z\u00e4hlen, ohne die Privatsph\u00e4re zu gef\u00e4hrden. Das ist in Regionen mit strengen Datenschutzbestimmungen, wie z.B. in der EU, sehr wichtig. <\/p>\n\n

Der EVS erm\u00f6glicht es Einzelh\u00e4ndlern, wertvolle Marketing- und Verkaufsdaten zu sammeln, ohne die Pers\u00f6nlichkeitsrechte des Einzelnen zu verletzen.<\/p>\n\n

Hochgeschwindigkeits-Objektz\u00e4hlung und -Verfolgung<\/strong><\/h3>\n\n
\"\"<\/figure>\n\n

Die ereignisbasierten Algorithmen, das Herzst\u00fcck der EVS-Technologie, sind sehr zuverl\u00e4ssig bei der Z\u00e4hlung von Objekten mit einer Geschwindigkeit von \u00fcber tausend Z\u00e4hlungen pro Sekunde. Diese Sensoren gew\u00e4hrleisten eine genaue Erkennung auch bei hohen Geschwindigkeiten, bei denen herk\u00f6mmliche Sensoren oft Probleme haben. Die hohe Aufl\u00f6sung der modernen ereignisbasierten Sensoren verbessert ihre F\u00e4higkeit, sich schnell bewegende Objekte pr\u00e4zise zu verfolgen. Dadurch sind EVS-Sensoren ideal f\u00fcr Anwendungen wie das Z\u00e4hlen von Funken beim Schwei\u00dfen oder das Verfolgen sich schnell bewegender Objekte wie Golfb\u00e4lle. Im Gegensatz dazu leiden RGB-Kameras in Hochgeschwindigkeitsszenarien oft unter Bewegungsunsch\u00e4rfe und erh\u00f6hter Latenz, so dass ereignisbasierte Sensoren eine hervorragende Wahl f\u00fcr die zuverl\u00e4ssige Z\u00e4hlung und Verfolgung von Objekten sind. <\/p>\n\n

Vorteile beim Testen der EVS-Technologie mit dem FSM IMX636 Development Kit auf NVIDIA Jetson AGX Orin und Jetson AGX Xavier<\/strong><\/h3>\n\n
\"\"<\/figure>\n\n

Das FSM-IMX636 Devkit ist ein Komplettpaket, mit dem Sie ereignisbasierte Vision-Sensoren auf NVIDIA Jetson AGX Orin und Jetson Xavier Modulen testen k\u00f6nnen. Es ist Teil einer breiteren Palette von Evaluierungskits, die f\u00fcr die Entwicklung ereignisbasierter Bildverarbeitung entwickelt wurden. Die NVIDIA Jetson-Plattform bietet eine Vielzahl von Tools und Bibliotheken, die Entwicklern helfen, ereignisbasierte Sensoren mit KI-Modellen zu integrieren und deren Leistung und Effizienz zu optimieren. So k\u00f6nnen sie alle Funktionen des FSM IMX Development Kits problemlos testen. <\/p>\n\n

Innovationen und Forschungen, die mit dem Entwicklungskit durchgef\u00fchrt werden, werden h\u00e4ufig in Workshops zur Mustererkennung und in Automatisierungsbriefen ausgetauscht und dokumentiert, wodurch wertvolle Ressourcen und Foren f\u00fcr die Gemeinschaft entstehen.<\/p>\n\n

Dar\u00fcber hinaus bietet die NVIDIA Jetson Plattform auch fortschrittliche KI- und maschinelle Lernfunktionen, hervorragende Konnektivit\u00e4t und E\/A-Optionen.<\/p>\n\n

Wie bereits erw\u00e4hnt, ist ein nahtloser \u00dcbergang zum praktischen Einsatz einer der wichtigsten Vorteile des Testens der EVS-Technologie mit FSM IMX636 auf NVIDIA Jetson AGX Orin und Jetson AGX Xavier. Wenn EVS f\u00fcr Ihre eingebetteten Bildverarbeitungssysteme von Vorteil ist, bietet das Testkit eine Grundlage f\u00fcr die schnelle Entwicklung Ihres Produkts, was die Kosten und die Zeit bis zur Markteinf\u00fchrung erheblich reduziert. <\/p>\n\n

Erfahren Sie mehr \u00fcber FSM IMX636 auf dieser Seite<\/a>, und wenn Sie [mehr Details \u00fcber die EVS-Technologie<\/a>](https:\/\/framos.com\/news\/) erfahren m\u00f6chten, folgen Sie diesem Link.<\/p>\n","protected":false},"excerpt":{"rendered":"

Im Gegensatz zu herk\u00f6mmlichen Bildgebungstechnologien, die ganze Bilder \u00fcbertragen, ist der IMX636-Sensor, der in Zusammenarbeit zwischen Sony und PROPHESEE realisiert wurde, eine Ereigniskamera und ein dynamischer Vision-Sensor, der asynchrone Ver\u00e4nderungen […]<\/p>\n","protected":false},"author":2,"featured_media":1543,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false},"article-category":[],"article-tag":[],"class_list":["post-1537","articles","type-articles","status-publish","format-standard","has-post-thumbnail","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles\/1537","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles"}],"about":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/types\/articles"}],"author":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/comments?post=1537"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media\/1543"}],"wp:attachment":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media?parent=1537"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-category?post=1537"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-tag?post=1537"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}