Demonstrator: Dual-4K Stitching mit IMX678

Mit FSM:GO und dem Sony IMX678 Sensor der Sony Starvis 2 Serie verlieren Sie keine Zeit mit der Entwicklung Ihrer Embedded Vision Anwendung. Mit dem FSM:GO und unserem Adapter-Ökosystem können Sie Ihre Anwendung ohne große Vorkenntnisse effizient, schnell und zuverlässig zur Produktionsreife bringen.

Unser Demonstrator zeigt, wie einfach es ist:

Sie entwickeln Ihre Anwendung wie gewohnt mit einem Entwicklerboard Ihrer Wahl und der entsprechenden Toolkette (für unseren Demonstrator verwenden wir den NVIDIA® Jetson AGX Orin™).

Der Jetson AGX Orin™ ist mit den optischen Sensormodulen über unseren Standard-FPA mit einem hochflexiblen Mikrokoaxialkabel verbunden, das sich ideal für die Verlegung innerhalb eines engen Produktgehäuses eignet. Die 4-Lane MIPI CSI-2 Schnittstelle mit 2,5 Gbps/Lane ermöglicht es beiden Sensoren, mit voller Bandbreite zu arbeiten und 4K/60 FPS zu liefern. Das Sensorpaar wird im Werk auf einer Halterung installiert und für die Stitching-Anwendung kalibriert, um die beste optische Leistung zu erzielen und die Montage in der Produktionslinie des Kunden zu erleichtern.

Die Anwendungsschicht erzeugt mit Hilfe dieser beiden 4K-Bildsensoren ein Panorama-Livebild und wird mit zwei Standardpaketen unseres Partners RidgeRun realisiert: Deren hochperformanter und CUDA-optimierter „CUDA Stitcher“ führt die beiden Bilder zusammen, nachdem die Linsenverzerrungskorrektur an den beiden 90° FOV-Bildern mit dem Modul „CUDA Undistort“ durchgeführt wurde.

Da wir den Bildsignalprozessor (ISP) von NVIDIAs High-End System on Module (SoM) bereits auf die besten Bildergebnisse mit der gegebenen Sensor-Objektiv-Kombination abgestimmt haben, können Sie sofort mit Ihrer Kernkompetenz loslegen – der Benutzeranwendung!

Wie wir Ihre Lösung unterstützen:

• Zwei FRAMOS Sensormodule mit Sony IMX678, werkseitig an der Halterung für zwei Sensoren montiert

• Werkseitig fokussierte Objektive mit 90° horizontalem Sichtfeld (HFOV)

• PixelMate™ auf Micro-Coax Adapter mit 300 mm Kabel

• Leistungsstarkes Entwicklungskit NVIDIA® Jetson AGX Orin™

• Treiber- und ISP-Tuning für NVIDIA® Jetson AGX Orin™

• RidgeRun „Cuda Stitcher“ und „Cuda Undistort“ Module

Deshalb FSM:GO mit IMX678:

Dieses FRAMOS Sensor Modul (FSM) bietet den Sony IMX678 Sensor auf einem sehr kompakten 26,5 mm x 26,5 mm Modul. Der Rolling-Shutter-Sensor hat eine native Auflösung von 8,3 MP und ein optisches Format von 1/1,8 bei einer Pixelgröße von 2 x 2 µm. Das Modul verfügt über eine MIPI CSI-2 Schnittstelle mit bis zu 4 Datenspuren. Als Teil des FRAMOS Sensormodul-Ökosystems ist es Teil eines ausgeklügelten Konnektivitäts-Frameworks und bietet eine flexible Kompatibilität zu verschiedenen Verarbeitungsplattformen, die auf eine umfassende Palette von Adaptern zugreifen. Optionale FRAMOS Sensoradapter (FSA) bilden daher die Standardschnittstelle zu einer Reihe von FRAMOS Prozessoradaptern (FPA), die den Anschluss an eine Vielzahl von proprietären Verarbeitungsplattformen ermöglichen. Die kundenspezifische Implementierung wird außerdem durch standardisierte Software und Treiber unterstützt, die Referenztreiber für ausgewählte Plattformen enthalten, angefangen bei der NVIDIA® Jetson™ Familie oder NXP® i.MX 8M Plus™ Entwicklungsboards.

Anwendung

Mit Hilfe dieser Einrichtung lässt sich ein weites Feld beobachten, das von Anwendungen wie der Erstellung von Panoramabildern bis zur intelligenten KI-basierten Beobachtung von Menschenmengen reicht. Im industriellen Kontext ist es möglich, Informationen auf Fabrikgeländen oder in Produktionsbereichen zu sammeln und so die Grundlage für die Optimierung von Arbeitsabläufen zu schaffen.

Anwendungsgebiete:

• Streaming-Lösungen & Sportanalyse

• 360° und Virtual Reality

• Sicherheit & Bewachung: Beobachtung von Menschenmengen

• Digitaler Zwilling & Grundstückskartierung

Bauen Sie Ihr Embedded Vision System mit dem FSM:GO IMX678 Development Kit: FSM-IMX678 Entwicklungskit | FRAMOS