Aufbauend auf den letzten drei Generationen hat Sony vor einigen Jahren die Pregius-Familie um ein neues Familienmitglied erweitert: die vierte Generation der Global Shutter Sensoren mit Pregius S Technologie. Bei der neuen Sensorserie handelt es sich um die ersten Global Shutter Typen mit rückseitig belichteter Pixelstruktur und „Stacked“-Logik. Die Reihe umfasst folgende Sensormodelle:
Was vielleicht weniger bekannt ist, ist, dass sich durch den Einsatz dieser Sensoren eine hervorragende Bildqualität bei gleichzeitig geringeren Gesamtsystemkosten erzielen lässt. Dieser Artikel erläutert die vielfältigen Funktionen der Sensoren und zeigt auf, welche Vorzüge und Kostenersparnisse sie bei Verwendung in modernen Bildverarbeitungssystemen bieten.
Die Funktionen der Pregius S Sensoren im Überblick
Bevor wir uns den Vorzügen dieser Sensoren widmen, wollen wir zunächst einen Blick auf die neuen Features werfen, die sie mitbringen. Mit der neuen Generation der Pregius S Sensoren reduziert sich die Pixelgröße auf 2,74 µm, was deutlich höhere Bildauflösungen und die Verwendung einer kompakten, kostengünstigen C-Mount-Optik möglich macht. In der Vergangenheit hätten Systementwickler auf einen großformatigen Sensor setzen müssen, um die gleiche Auflösung zu erreichen, die diese kompakten Sensoren jetzt bieten.
Solche hochauflösenden Sensoren größeren Formats waren zum einen teurer und erforderten zum anderen größere Optiken wie beispielsweise Bajonett-Typen. Dank Sonys Bildsensoren der vierten Generation können Entwickler nun preisgünstige Standard-C-Mount-Objektive verwenden, die in Industrieanwendungen üblich und deutlich kleiner als ihre Verwandten im Bajonett-Stil sind, so dass die Systeme insgesamt kompakt ausfallen können und auch auf engem Raum Platz finden. Diese Sensoren passen problemlos in das gängige 29 x 29 mm Kameraformat, das in vielen industriellen Anwendungen zu finden ist. Die höhere Auflösung bedeutet auch, dass die Sensoren ein größeres Sichtfeld abdecken bzw. detailliertere Bilder liefern können. Folglich werden weniger Kameras/Bilder benötigt, um größere Bereiche oder Zielobjekte in höherem Detailgrad zu erfassen.
Vorteilhaft ist das beispielsweise im Bereich Verkehrsüberwachung, wenn etwa mehrere Fahrbahnen bei hohen Geschwindigkeiten mit nur einer Kamera überwacht werden sollen, oder im Bereich der Sport- und Videoanalyse, um Sportler auf großen Spielfeldern zu erfassen.
Highspeed-Datenschnittstellen
Durch die hochauflösenden Bilder ergibt sich eine zusätzliche Herausforderung: Wie bekommt man all diese Daten schnell und mit hohen Bildraten aus dem Sensor? Sony setzt für die Übertragung der Bilddaten in Hochgeschwindigkeit auf den eigens entwickelten Highspeed-Schnittstellen-Standard SLVS-EC.
Die Sensoren nutzen eine Schnittstelle, die bis zu 5 Gbit/s auf allen acht Lanes unterstützt, um große, mit hoher Bildrate erfasste Bilder an Backend-Prozessoren wie FPGAs und ISPs zu übertragen. Damit sind sie doppelt so schnell wie die Vorgängerversion der Global Shutter Sensoren von Sony und 2,4 Mal schneller als marktübliche Bildsensoren. Da die SLVS-EC-Schnittstelle über eine integrierte Taktung (Embedded Clock) verfügt (die Taktsignale werden den Bilddaten überlagert), sind zudem weniger Leiterbahnen auf den Sensor-Boards erforderlich. Die Datenempfänger gewinnen den Takt aus den Datenströmen zurück, um damit die Pixelwerte zu extrahieren.
Diese Methode, bei der die Taktung den Daten überlagert wird, ermöglicht einen schnelleren Informationsdurchsatz als konventionelle Implementierungen, die einen Datenbus mit separater Taktleitung nutzen. Die in den FPGAs und ISPs integrierten Highspeed-Transceiver werden mit den SLVS-EC Leitungen des Sensors verbunden. Es wird keine zusätzliche Hardware benötigt, um die hohen Datenraten zu bewältigen. Gleichzeitig werden die Platinen-Layouts kompakter und einfacher, da weniger Bahnen benötigt werden, um den Sensor anzubinden. Ein weiterer Vorteil besteht darin, dass die Leiterbahnen weniger streng in der Länge kompensiert werden müssen und somit weniger Mäander erforderlich sind, um gleiche Bahnlängen für alle SLVS-EC Lanes auf der Leiterplatte zu gewährleisten.
Ferner bietet das SLVS-EC-Protokoll eine integrierte Fehlererkennung und -korrektur (ECC- und CRC-Funktionen), wodurch bei auftretenden Problemen eine Selbstkorrektur möglich ist. Zusätzliche Kontrollbits in jedem Byte Pixeldaten gewährleisten, dass letztere vom Empfänger richtig gelesen bzw. korrigiert werden, um fehlerfreie Bilder zu gewährleisten.
Bessere Bilder mit nützlicheren Informationen
Da es sich um Sensoren mit mehrschichtigem Aufbau handelt, wurde ein größerer Teil der vorderseitigen Pixelfläche für die Fotodiode reserviert. Das sorgt für eine höhere Empfindlichkeit und präzisere Farbwiedergabe der Bildaufnahmen sowie ein deutlich reduziertes Rauschen. Der gesamte Steuerschaltkreis der Pixel liegt unterhalb der Fotodioden. Bei diesem Design konnte Sony zusätzliche Schaltungen einbinden, um noch mehr integrierte Funktionalität zu bieten, ohne dass eine zusätzliche externe Verarbeitung erforderlich ist.
Des Weiteren können Anwender den Sensor im Dual-Gain-HDR-Modus nutzen. Ist dieser aktiviert, können alle fotogenerierten Elektronen von zwei Analog-Digital-Wandlern (ADCs) abgetastet werden, die für unterschiedliche Analog Gains ausgelegt sind. Das ermöglicht Bilder mit größerem Dynamikumfang, indem der Sensor auf die gleiche Aufnahme hohe und niedrige Gain-Werte anwendet. Diese Bilder können im Sensor kombiniert oder zur HDR-Kombination an die Back-End-Verarbeitungseinheit (FPGA, ISP-Chip, usw.) übermittelt werden.
Vielseitige Schnittstellen-Optionen
MIPI wird häufig als Datenschnittstelle für Sensoren in Bildverarbeitungssystemen verwendet. Sie bietet eine Standard-Schnittstelle zur Verbindung von Bildsensoren mit diversen ISPs, FGPAs und Prozessoren. Auch wenn ihre Geschwindigkeit oder Größe nicht immer ausreicht, um die volle Bandbreite der Pregius S Sensoren bei voller Auflösung und Geschwindigkeit zu verarbeiten, gibt es Fälle, in denen eine MIPI-Schnittstelle durchaus Sinn macht. So profitieren Anwendungen, die nur zeitweise Bilder benötigen, von der einfachen Gestaltung und Implementierung von MIPI-Schnittstellen.
Die Embedded-System-Version der Global Shutter Sensoren der vierten Generation bietet MIPI und SLVS-EC Schnittstellen. Über die MIPI-Schnittstelle ist eine direkte Verbindung mit vielen am Markt erhältlichen ISPs möglich. KI-basierte Anwendungen, die ein hochauflösendes Global Shutter Bild erfordern, können die Vorteile dieser Sensoren nutzen und ihre trainierten KI-Modelle auf solchen ISPs implementieren, um den gewünschten Output zu erzielen, was sie ideal für System-on-Module (SoM) oder System-on-Chip (SoC) basierte Designs macht. Kleinere Handheld-Geräte wie beispielsweise Durchflusszytometrie-Geräte oder augenoptische Vorrichtungen können dem Anwender so Anhaltspunkte zu vorliegenden Problemen liefern oder zur Diagnose von Krankheiten dienen.
Die neuen Pregius S Funktionen
Die aktuellen Pregius S Sensoren bieten viele der Funktionen, die auch die Vorgänger-Generationen schon aufwiesen. Hinzugekommen sind vier relevante Features, die nachfolgend näher beleuchtet werden.
Kurzzeitverschluss
Neu hinzugekommen ist die Möglichkeit, zwei aufeinanderfolgende Bilder in einem sehr kurzen Intervall aufzunehmen. Die „Short Interval Shutter“-Funktion ermöglicht die Aufnahme von zwei Bildern in einem sehr kurzen Abstand, synchronisiert mit einer Trigger-Quelle und einem Blitz. Die zwei Bilder können im Abstand von nur 2 µs aufgenommen werden, so dass die Kamera auch kleinste Bewegungsänderungen erfassen kann. Diese Funktion war bei vielen CCD-basierten Sensoren gängig, ist aber bei CMOS-basierten Sensoren bisher einzigartig.
Vorteile bietet diese Funktion unter anderem für Durchflussmessgeräte und Durchflusszytometrie-Geräte, Golfball-Tracking-Lösungen im Sportanalyse-Bereich, Meteoriten-Tracking im Astronomie-Bereich sowie die Rotlicht- und Geschwindigkeitsüberwachung in der Verkehrsüberwachung.
Zeitsynchronisierte Belichtung
Eine weitere neue Funktion ist ein spezieller Ausgangspin am Sensor, der den genauen Zeitpunkt signalisiert, zu dem die Pixel belichtet werden. Dieses Signal geht auf „high“, wenn der Sensor mit der Integration eines Bildes begonnen hat, und auf „low“, wenn die Belichtungszeit erreicht ist. Dies ist vorteilhaft in Anwendungen mit schnellen Bewegungen, entweder auf Seiten der Kamera oder des Zielobjekts, oder wenn die Belichtung etwa mit externen Ereignissen oder Stroboskoplicht synchronisiert werden soll.
Unter diesen Bedingungen kann das Bildverarbeitungssystem sicherstellen, dass die Kamera an einem Roboterarm bzw. das Zielobjekt sich nicht bewegt, und so verwacklungsfreie und gut ausgeleuchtete Aufnahmen gewährleisten. Sobald die Belichtung abgeschlossen ist, kann der Roboter die belichtungsfreie Zeit schnell zur Neupositionierung nutzen. Damit wird ein hoher Gesamtdurchsatz gewährleistet.
Tracking ROI (Region of Interest)
Bei Paketen, die auf einem Förderband transportiert werden, kann sich die Erfassung von Barcodes und Paketinformationen schwierig gestalten. Ziel ist es, das Förderband schnellstmöglich laufen zu lassen, um einen hohen Durchsatz an Paketen zu gewährleisten, und dabei gleichzeitig die Informationen auf den Etiketten, kodiert als Barcode oder gedruckt als Text, präzise zu erfassen. Um sicherzustellen, dass alle wichtigen Informationen erkannt werden, benötigt eine Kamera oftmals ein größeres Sichtfeld, das den gesamten Bereich abdeckt, in dem sich das Paket theoretisch befindet. Ein Systemintegrator wird versuchen, die Kamera auf die kleinstmögliche Region of Interest (ROI) einzustellen, in der alle Paket-Ansichten sichtbar sind. Zusätzlich wird die Kamera auf die schnellste Bildrate eingestellt und gleichzeitig die Entstehung unerwünschter Daten begrenzt, um unnötige Verarbeitungsvorgänge zu vermeiden. Da sich die Pakete auf dem Förderband aber nicht immer nach Plan verhalten, wird eine größere Bildgröße an der Kamera eingestellt, was den erreichbaren Gesamtdurchsatz schmälert. Die neue Funktion der Pregius S Serie schafft hier Abhilfe.
Dank der Tracking ROI-Funktion kann der Systemintegrator eine kleinere Region of Interest an der Kamera einstellen, um die Pakete zu erfassen. Der Sensor überwacht diesen Bereich dann auf Veränderungen in den Daten. Treten keine Veränderungen auf, wird nur der ROI-Ausschnitt ausgegeben. Wird jedoch eine Bewegung innerhalb des ROI-Bildfelds erfasst, wie beispielsweise ein Paket, passt die Sensorintelligenz den ROI-Ausschnitt so an, dass er dem Zielpaket folgt.
Auf diese Weise entstehen Bilder mit einer vollständigen Ansicht des Pakets, ohne dass manuelle Eingriffe erforderlich sind. Dadurch wird sichergestellt, dass immer nur die erforderlichen Bilddaten erfasst werden, was die Bildrate der Kamera beschleunigt und die für die Analyse der einzelnen Bilder erforderliche Verarbeitungszeit verringert. Bewegungserkennung
Bewegungserkennung
Eine weitere hilfreiche Funktion, die in einigen Global Shutter Sensoren der vierten Generation umgesetzt wurde, ist die Bewegungserkennung. Sie nutzt einen ähnlichen Algorithmus wie die zuvor beschriebene Tracking-ROI. Der Unterschied besteht darin, dass der Sensor nur dann Bilder ausgibt, wenn er eine Bewegung im Bild erfasst. In diesem Fall nimmt der Sensor ein Referenzbild auf und hinterlegt es im Speicher.
Anschließend wird jedes Pixel analysiert, um Änderungen in der Intensität zu ermitteln, die auf eine Bewegung in der Szene schließen lassen. Wenn im Vergleich zur vorherigen Aufnahme keine Bewegung festgestellt wird, gibt der Sensor kein Bild aus. Sobald die Sensorintelligenz eine Veränderung feststellt, beginnt sie mit der Ausgabe von Bildern, welche auf die Veränderungen in der Szene hindeuten. Hiermit fährt er so lange fort, bis keine Veränderung zwischen zwei Bildern mehr auftritt.
Diese einzigartige Funktion kann in Applikationen genutzt werden, wo Veränderungen im nachfolgenden Bild erkannt werden müssen, wie beispielsweise in der Fabrikautomation, um das Vorhandensein bzw. Fehlen von Fremdobjekten zu erfassen, in der Sicherheitstechnik, um die Präsenz eines Wertobjekts wie z. B. eines Gemäldes zu überwachen, oder bei der Kontrolle von Flachbildschirmen, um Fehler an Monitoren oder Fernseh-Displays zu erkennen.
Fazit
Es zeigt sich, dass zahlreiche Anwendungen von einem Einsatz der Pregius S Sensoren profitieren können. Dank ihres kompakten Formats in Verbindung mit einer hohen Auflösung können sie auch in anspruchsvollen Umgebungen eingesetzt werden und hier die Vorzüge ihres kleineren Formfaktors voll ausspielen. Aufgrund ihrer geringen Größe und ihrer Kompatibilität mit C-Mount-Objektiven stellen sie eine wirtschaftliche Lösung für Highspeed-Anwendungen mit hoher Bildrate und Auflösung dar.
Gerne ermitteln wir bei FRAMOS mit Ihnen gemeinsam Ihren individuellen Bedarf und bieten Ihnen Lösungen, die zusätzlichen Mehrwert für Sie schaffen und Ihnen helfen, die Herstellungskosten Ihres Bildverarbeitungssystems oder Kameramoduls weiter zu optimieren. Setzen Sie sich mit uns in Verbindung, um mehr darüber zu erfahren, wie Sie mit Unterstützung der neuen Sony-Bildsensoren und der FRAMOS Vision-Experten und -Produkte weitere Kosteneinsparungen in Ihrer nächsten Global Shutter-basierten Anwendung erzielen können.
