Prototyping von ereignisbasierten Bildverarbeitungssystemen mit dem FRAMOS FSM-IMX636 Devkit auf der NVIDIA Jetson Plattform für Edge AI und Robotik

Im Gegensatz zu herkömmlichen Bildgebungstechnologien, die ganze Bilder übertragen, ist der IMX636-Sensor, der in Zusammenarbeit zwischen Sony und PROPHESEE realisiert wurde, eine Ereigniskamera und ein dynamischer Vision-Sensor, der asynchrone Veränderungen auf Pixelebene erfasst, inspiriert durch das menschliche Auge und die menschliche Netzhaut. Dieser ereignisbasierte Bildsensor, der durch Fortschritte in der neuromorphen Technik und als Teil der Prophesee Metavision Technologie-Suite entwickelt wurde, erkennt nur Veränderungen der Leuchtdichte und ermöglicht so die Erkennung selbst kleinster Erschütterungen, subtiler Bewegungen und sich schnell bewegender Objekte mit beispielloser Genauigkeit sowie die Verfolgung von Personen, ohne dass dies zu Problemen mit der Privatsphäre führt.

Mit ihrem großen Dynamikbereich und ihrem hohen Dynamikumfang arbeitet die IMX636 auch bei schwierigen Lichtverhältnissen, einschließlich schwachem Licht, effektiv und vermeidet von Haus aus Bewegungsunschärfen, während sie gleichzeitig eine Datenausgabe mit geringer Latenzzeit bietet. Diese Eigenschaften machen sie ideal für Szenarien, in denen herkömmliche Kameras Schwierigkeiten haben, und gewährleisten eine zuverlässige Leistung in Umgebungen mit wenig Licht und hohem Kontrast.

Ereigniskameras wie die IMX636 stellen einen Paradigmenwechsel in den Bereichen Computer Vision und Machine Vision dar, denn sie unterscheiden sich grundlegend von herkömmlichen bildbasierten Systemen, da sie kontinuierliche, asynchrone Datenströme liefern. Dieser Wandel ermöglicht neue Ansätze für visuelle Wahrnehmungsaufgaben und verbessert die Robustheit und Geschwindigkeit von Bildverarbeitungsalgorithmen.

Mit ihrer Leistung und den reduzierten Anforderungen an Rechenleistung und Bandbreite erweitert die Event Based Sensing (EVS)-Technologie die Grenzen eingebetteter Bildverarbeitungssysteme mit noch nie dagewesener Leistungsfähigkeit und Präzision und überwindet damit die Grenzen herkömmlicher Lösungen.

Mit dem FRAMOS IMX636 Development Kit können Sie die EVS-Technologie von Sony ganz einfach auf den System-on-Modulen NVIDIA Jetson AGX Orin und Jetson AGX Xavier testen, um neue Möglichkeiten zu entdecken oder die aktuelle Leistung von Embedded Vision Systemen zu verbessern.

Vorteile der ereignisbasierten Sensortechnologie

Ereignisbasierte Sensoren erreichen eine hohe zeitliche Auflösung (bis zu Mikrosekunden) und einen hohen Dynamikbereich (bis zu 140 dB), während gleichzeitig die Datenredundanz und der Stromverbrauch reduziert werden.

Die von diesen Sensoren erzeugten Ereignisdaten ermöglichen eine fortschrittliche Objekterkennung, Mustererkennung und Bildverarbeitung, wobei zeitliche Informationen für die Echtzeitanalyse genutzt werden. Der Einsatz von neuronalen Netzen, künstlicher Intelligenz und selbstüberwachtem Lernen verbessert die Verarbeitung von Ereignisdaten weiter und erhöht die Leistung und Verallgemeinerbarkeit. Software-Tools wie die Metavision Intelligence Suite und andere Intelligence-Suite-Lösungen sind für die effiziente Analyse von Ereignisdaten konzipiert. Ereignisbasierte Bildverarbeitungssysteme werden in verschiedenen Anwendungen eingesetzt, und ihre effiziente Datenausgabe kommt nachgelagerten Systemen zugute, indem sie genaue und zeitnahe Analysen in verschiedenen Branchen ermöglicht.

Ihre hohe Präzision, die Fähigkeit, selbst kleinste Veränderungen zu erfassen, die Unsichtbarkeit für andere Sensoren, der geringere Datentransfer und die Energieeffizienz, da sie nur mit sich ändernden Daten arbeiten, eröffnen neue Horizonte in Bereichen wie der Robotik, dem autonomen Fahren, der industriellen Automatisierung und der biomedizinischen Bildgebung.

Mit dem FRAMOS FSM IMX636 Development Kit können Sie die Fähigkeiten des Sony IMX636 Bildsensors testen und diese dann schnell auf die Produktion übertragen, was den Produktentwicklungsprozess vereinfacht.

Anwendungsfälle der ereignisbasierten Sensortechnologie

Hier sind einige Anwendungsfälle, in denen die EVS-Technologie die herkömmliche Sensortechnologie übertrifft und es Entwicklern ermöglicht, Daten mit noch nie dagewesener Geschwindigkeit und Präzision zu erfassen.

Der von Ereigniskameras erzeugte Ereignisstrom besteht aus asynchronen Ereignissen, die eine fortschrittliche Verarbeitung wie optischen Fluss, optische Flussschätzung, ereignisbasierten optischen Fluss und Bewegungsschätzung für Hochgeschwindigkeitsanwendungen mit geringer Latenz ermöglichen. Techniken wie die Linien- und Bewegungsschätzung, die häufig einen linearen n-Punkt-Löser verwenden, ermöglichen eine effiziente und stabile Analyse dynamischer Szenen. Im Gegensatz zu bildbasierten Systemen, die in festen Intervallen vollständige Bilder erfassen und unnötige Daten generieren, konzentrieren sich ereignisbasierte Ansätze nur auf relevante Veränderungen und reduzieren so Redundanz und Bewegungsunschärfe. Darüber hinaus wird die ereignisbasierte Formrekonstruktion, einschließlich Methoden wie die ereignisbasierte Form aus der Polarisation, durch die einzigartigen Eigenschaften von Ereigniskameradaten ermöglicht.

Vorbeugende Wartung durch Vibrationsüberwachung

Wenn eine Maschine anfängt, Fehler zu entwickeln, wie z.B. Lagerdefekte oder falsch ausgerichtete Riemen, erzeugt sie abnormale Vibrationen. EVS kann selbst die geringsten Abweichungen von den Standardvibrationsmustern erkennen und ermöglicht so eine frühzeitige Fehlererkennung und Reparatur, bevor schwere und teure Schäden entstehen.

Robotik Navigation

Die schnelle und zuverlässige Datenverarbeitung der EVS-Technologie in Echtzeit steigert die Leistung der Roboternavigation und ermöglicht es den Robotern, Hindernissen auszuweichen, agiler und reaktionsschneller zu navigieren und schnelle und fundierte Entscheidungen in dynamischen Umgebungen zu treffen. Ereignisbasierte Bildverarbeitungssysteme verbessern auch die Wahrnehmungs- und Navigationsfähigkeiten von intelligenten Robotern, so dass diese in komplexen Umgebungen effektiver arbeiten können.

Der EVS kann vorschriftsmäßigere Sicherheitslösungen bieten, da er die Erfassung von Gesichtsdetails vermeiden kann und sich stattdessen auf die Verfolgung von Bewegungen konzentriert – d.h. er kann Personen zählen, ohne die Privatsphäre zu gefährden. Das ist in Regionen mit strengen Datenschutzbestimmungen, wie z.B. in der EU, sehr wichtig.

Der EVS ermöglicht es Einzelhändlern, wertvolle Marketing- und Verkaufsdaten zu sammeln, ohne die Persönlichkeitsrechte des Einzelnen zu verletzen.

Hochgeschwindigkeits-Objektzählung und -Verfolgung

Die ereignisbasierten Algorithmen, das Herzstück der EVS-Technologie, sind sehr zuverlässig bei der Zählung von Objekten mit einer Geschwindigkeit von über tausend Zählungen pro Sekunde. Diese Sensoren gewährleisten eine genaue Erkennung auch bei hohen Geschwindigkeiten, bei denen herkömmliche Sensoren oft Probleme haben. Die hohe Auflösung der modernen ereignisbasierten Sensoren verbessert ihre Fähigkeit, sich schnell bewegende Objekte präzise zu verfolgen. Dadurch sind EVS-Sensoren ideal für Anwendungen wie das Zählen von Funken beim Schweißen oder das Verfolgen sich schnell bewegender Objekte wie Golfbälle. Im Gegensatz dazu leiden RGB-Kameras in Hochgeschwindigkeitsszenarien oft unter Bewegungsunschärfe und erhöhter Latenz, so dass ereignisbasierte Sensoren eine hervorragende Wahl für die zuverlässige Zählung und Verfolgung von Objekten sind.

Vorteile beim Testen der EVS-Technologie mit dem FSM IMX636 Development Kit auf NVIDIA Jetson AGX Orin und Jetson AGX Xavier

Das FSM-IMX636 Devkit ist ein Komplettpaket, mit dem Sie ereignisbasierte Vision-Sensoren auf NVIDIA Jetson AGX Orin und Jetson Xavier Modulen testen können. Es ist Teil einer breiteren Palette von Evaluierungskits, die für die Entwicklung ereignisbasierter Bildverarbeitung entwickelt wurden. Die NVIDIA Jetson-Plattform bietet eine Vielzahl von Tools und Bibliotheken, die Entwicklern helfen, ereignisbasierte Sensoren mit KI-Modellen zu integrieren und deren Leistung und Effizienz zu optimieren. So können sie alle Funktionen des FSM IMX Development Kits problemlos testen.

Innovationen und Forschungen, die mit dem Entwicklungskit durchgeführt werden, werden häufig in Workshops zur Mustererkennung und in Automatisierungsbriefen ausgetauscht und dokumentiert, wodurch wertvolle Ressourcen und Foren für die Gemeinschaft entstehen.

Darüber hinaus bietet die NVIDIA Jetson Plattform auch fortschrittliche KI- und maschinelle Lernfunktionen, hervorragende Konnektivität und E/A-Optionen.

Wie bereits erwähnt, ist ein nahtloser Übergang zum praktischen Einsatz einer der wichtigsten Vorteile des Testens der EVS-Technologie mit FSM IMX636 auf NVIDIA Jetson AGX Orin und Jetson AGX Xavier. Wenn EVS für Ihre eingebetteten Bildverarbeitungssysteme von Vorteil ist, bietet das Testkit eine Grundlage für die schnelle Entwicklung Ihres Produkts, was die Kosten und die Zeit bis zur Markteinführung erheblich reduziert.

Erfahren Sie mehr über FSM IMX636 auf dieser Seite, und wenn Sie [mehr Details über die EVS-Technologie](https://framos.com/news/) erfahren möchten, folgen Sie diesem Link.