Industrielle Anwendung Imaging: Die Pregius S Sensoren von Sony erklärt

Sony hat vor einigen Jahren seine Global Shutter Sensoren der 4. Generation mit Pregius S Technologie eingeführt. Bei dieser Gruppe von Sensoren handelt es sich um den ersten Global Shutter-Typ mit rückseitig beleuchteten Pixeln und Stacked Logic. Dazu gehören die folgenden Sensormodelle:

• Hochgeschwindigkeit: IMX537, IMX536, IMX535, IMX532, IMX531, IMX530

• Normale Geschwindigkeit: IMX548, IMX547, IMX546, IMX545, IMX542, IMX541, IMX540

• Eingebettetes Sehen: IMX568, IMX567, IMX566, IMX565

Was Sie vielleicht noch nicht über diese Sensoren wissen, ist, wie sie die Gesamtsystemkosten senken können und gleichzeitig Bilder von hervorragender Qualität liefern. Dieser Artikel befasst sich mit den vielen Funktionen dieser Sensoren und damit, wie sie den neuesten Bildverarbeitungssystemen einen Mehrwert verleihen und gleichzeitig die Stücklistenkosten senken.

Übersicht der Pregius S Funktionen

Bevor wir uns mit ihren Vorteilen befassen, sollten wir uns ansehen, welche neuen Funktionen in diesen Sensoren eingeführt wurden. Ihre sehr kleine Pixelarchitektur von 2,74 µm ermöglicht die Aufnahme von Bildern mit viel höherer Auflösung und ist gleichzeitig klein genug, um kostengünstige C-Mount-Objektive zu verwenden. In der Vergangenheit hätte ein Systementwickler einen Großformatsensor in Betracht ziehen müssen, um die gleiche Auflösung zu erhalten, die diese kompakten Bildwandler jetzt bieten.

Diese Sensoren mit höherer Auflösung waren aufgrund ihrer größeren Abmessungen teurer und erforderten auch größere Optiken wie Objektive mit Bajonettanschluss. Mit den Gen 4 Bildsensoren von Sony können Ingenieure jetzt standardmäßige, kostengünstige C-Mount-Objektive verwenden, die in industriellen Anwendungen üblich sind und viel kleiner sind als ihre bajonettförmigen Vettern. Dadurch sind die Systeme insgesamt kompakter und passen auch in engere Räume. Diese Imager passen problemlos in das typische 29mm x 29mm Kameraformat, das in vielen industriellen Anwendungen üblich ist. Größere Auflösungen bedeuten auch, dass sie ein größeres Sichtfeld abdecken und/oder mehr Details in ihren Schnappschüssen liefern können, so dass weniger Kameras/Bilder erforderlich sind, um größere Bereiche oder größere Ziele in größerer Detailgenauigkeit zu sehen.

Dies ist besonders wichtig für Verkehrsanwendungen , bei denen mehrere Fahrspuren mit hohen Geschwindigkeiten mit nur einer Kamera überwacht werden müssen, oder um Spieler auf einem großen Spielfeld für Sportanalysen und Videowiederholungen zu erfassen.

Hochgeschwindigkeits-Datenschnittstellen

Bei diesen höher aufgelösten Bildern besteht die nächste große Herausforderung darin, wie all diese Daten schnell und mit hohen Bildraten aus dem Sensor übertragen werden können. Sony hat sich entschieden, sein SLVS-EC-Protokoll zu verwenden, um die Hochgeschwindigkeits-Datenschnittstellen für die Übertragung der Bilddaten zu implementieren.

Diese Imager verwenden eine 5Gbps/Lane-Schnittstelle über bis zu 8 Lanes, um große Bilder, die mit hoher Bildrate aufgenommen wurden, an Backend-Prozessoren wie FPGAs und ISPs zu übertragen. Sie arbeiten doppelt so schnell wie die vorherige Generation der Global Shutter Sensoren von Sony. 2,4 Mal schneller als herkömmliche Bildsensoren auf dem Markt. Da die SLVS-EC-Schnittstelle über einen eingebetteten Taktgeber verfügt (die Taktsignale werden den Bilddaten überlagert), werden außerdem weniger Leiterbahnen auf den Sensorplatinen benötigt. Die Datenempfänger gewinnen den Takt aus den Datenströmen zurück und generieren das Takt-Timing, das zur Extraktion der Pixelwerte aus dem Datenbus des Geräts verwendet wird.

Diese Methode, bei der die Taktung über die Daten gelegt wird, bietet einen schnelleren Informationsdurchsatz als herkömmliche Implementierungen, die einen separaten Datenbus und Taktsignalspuren verwenden. Die in den FPGAs und ISPs eingebauten Hochgeschwindigkeits-Transceiver sind mit den SLVS-EC-Ausgangsspuren des Imagers verbunden und die Logik in diesen Geräten dekodiert und erzeugt die Taktsignale, die für die Dekodierung der Daten aus den Streams benötigt werden. Es wird keine zusätzliche Hardware benötigt, um die hohen Datenraten zu verwalten. Gleichzeitig sind die Leiterplattenlayouts kompakter und einfacher zu entwerfen, da weniger Leiterbahnen benötigt werden, um den Sensor mit diesen Geräten zu verbinden, und weniger Mäander erforderlich sind, um gleiche Leiterbahnlängen für alle SLVS-EC-Lanes auf der Leiterplatte sicherzustellen.

Schließlich enthält das SLVS-EC-Protokoll eine integrierte Fehlerkorrektur (ECC- und CRC-Funktionen) im Datenstrom, die es ihm ermöglicht, sich selbst zu korrigieren, wenn Probleme auftreten. Zusätzliche Kontrollbits sind in jedem Byte der Pixeldaten enthalten, um sicherzustellen, dass sie vom Empfänger korrekt gelesen oder entsprechend korrigiert werden, um sicherzustellen, dass die Bilder fehlerfrei sind.

Bessere Bilder mit mehr nützlichen Informationen

Da es sich um gestapelte Sensoren handelt, wurde ein größerer Teil der vorderseitigen Pixelfläche für die Fotodiode reserviert. Dies sorgt für eine bessere Empfindlichkeit und Farbwiedergabe in den aufgenommenen Bildern, mit viel weniger Rauschen als zuvor. Der gesamte Schaltkreis zur Pixelsteuerung befindet sich unterhalb der Fotodioden. Bei diesem Design war Sony in der Lage, zusätzliche Schaltkreise einzubauen, um noch mehr Funktionen zu bieten, die direkt eingebaut sind, ohne dass eine zusätzliche externe Verarbeitung erforderlich ist.

Außerdem können Sie den Sensor so einstellen, dass er im Dual-Gain HDR-Modus arbeitet. Wenn dieser Modus aktiviert ist, können alle vom Foto erzeugten Elektronen von zwei verschiedenen ADCs (Analog-Digital-Wandlern) abgetastet werden, die für zwei verschiedene analoge Verstärkungen eingerichtet sind. Dadurch kann der Sensor Bilder mit einem größeren Dynamikbereich erzeugen, indem er bei derselben Aufnahme hohe und niedrige Verstärkungen anwendet. Diese Bilder können innerhalb des Sensors kombiniert werden oder zur HDR-Kombination an die Back-End-Verarbeitungseinheit (FPGA, ISP-Chip usw.) gesendet werden.

Vielseitige Schnittstellenoptionen

MIPI-Schnittstellen sind eine recht verbreitete Datenschnittstelle für Sensoren in Bildverarbeitungssystemen. Sie bieten eine Standardschnittstelle für den Anschluss von Bildsensoren an viele ISPs, FGPAs und Prozessoren. Obwohl sie nicht immer schnell oder groß genug ist, um die volle Bandbreite dieser Pregius S Sensoren bei voller Auflösung und Geschwindigkeit zu verarbeiten, gibt es Fälle, in denen eine MIPI-Schnittstelle sinnvoll ist. Anwendungen, die nur in regelmäßigen Abständen Bilder benötigen, können von der Einfachheit des Designs und der Implementierung profitieren, die MIPI-Schnittstellen bieten.

Die Embedded System Version der^4th Gen Global Shutter Sensoren bietet MIPI- und SLVS-EC-Schnittstellen. Dadurch können sie über ihre MIPI-Schnittstelle direkt an viele auf dem Markt erhältliche ISPs angeschlossen werden. KI-basierte Anwendungen, die ein hochauflösendes Global-Shutter-Bild benötigen, können die Vorteile dieser Sensoren nutzen und ihre trainierten KI-Modelle auf diesen ISPs implementieren, um die benötigten Ergebnisse auszugeben. Damit sind sie ideal für System on Module (SoM) oder System on Chip (SoC) basierte Designs. Kleinere, tragbare Geräte, wie z.B. Geräte für die Augenheilkunde oder die Durchflusszytometrie, können dem Anwender Hinweise auf potenzielle Krankheiten oder Probleme liefern, die es zu behandeln gilt.

Neue Pregius S Funktionen

Diese Pregius S Sensoren verfügen über viele der Funktionen, die auch in früheren Generationen vorhanden waren. Darüber hinaus verfügt diese Generation von Sensoren über vier neue Funktionen, die es wert sind, erwähnt und erklärt zu werden.

Short Interval Shutter

Eine dieser neuen Funktionen ist die Möglichkeit, zwei ausgelöste Bilder sehr schnell aufzunehmen. Mit der Funktion Short Interval Shutter kann ein Kameradesigner zwei Schnappschüsse aufnehmen, die mit einer Auslöserquelle und einem Blitz in einem sehr kleinen Intervall dazwischen synchronisiert sind. Die beiden Bilder können im Abstand von nur 2µs aufgenommen werden, so dass die Kamera auch sehr kleine Bewegungsänderungen erfassen kann. Diese Funktion war bei vielen CCD-basierten Sensoren üblich, ist aber bei CMOS-basierten Sensoren einzigartig.

Zu den Anwendungen, die von dieser Funktion profitieren können, gehören Geräte zur Durchflussmessung und Durchflusszytometrie, Sportanalysen wie die Verfolgung von Golfbällen, Astronomie und Meteoritenverfolgung, Verkehrsüberwachung sowie Rotlicht- und Geschwindigkeitsüberwachung.

Zeitsynchrone Belichtung

Eine weitere neue Funktion ist ein spezieller Ausgangspin am Sensor, der ein Signal liefert, das den genauen Zeitpunkt angibt, zu dem die Pixel dem Licht ausgesetzt werden. Dieses Signal geht auf High, wenn der Sensor mit der Integration für jedes Bild begonnen hat, und geht dann auf Low, wenn die Belichtungszeit erreicht ist. Dies ist vorteilhaft bei Anwendungen, bei denen es zu großen Bewegungen kommt, entweder durch die Kamera selbst oder die Ziele, oder wenn Sie versuchen, die Belichtung mit externen Ereignissen oder Stroboskoplicht zu synchronisieren.

Unter diesen Bedingungen kann das Bildverarbeitungssystem sicherstellen, dass die Kamera am Roboterarm stillsteht und sich das Zielobjekt nicht bewegt, so dass verwacklungsfreie und gut ausgeleuchtete Bilder aufgenommen werden können. Sobald die Belichtung abgeschlossen ist, kann sich der Roboter in der belichtungsfreien Zeit schnell bewegen, um die nächste Aufnahme vorzubereiten, indem er diese tote Zeit nutzt, um sich neu zu positionieren und den Gesamtdurchsatz sehr hoch zu halten.

Verfolgung des ROI (Region of Interest)

Bei Paketen, die auf einem Förderband transportiert werden, kann es schwierig sein, ihre Informationen und Barcodes zu erfassen. Das Ziel dieses Systems ist es, das Förderband so schnell wie möglich laufen zu lassen, um einen hohen Durchsatz an Paketen aufrechtzuerhalten und gleichzeitig die Informationen auf den Etiketten, die entweder auf einem Barcode kodiert oder als Text gedruckt sind, genau zu erfassen. Oft benötigt eine Kamera ein größeres Sichtfeld, um den gesamten Bereich abzudecken, in dem sich der Karton befinden könnte, um sicherzustellen, dass die wichtigen Informationen erfasst werden. Um dies zu erreichen, versucht der Systemintegrator, die Kamera mit dem kleinstmöglichen ROI einzurichten, um sicherzustellen, dass alle möglichen Darstellungen der Verpackung gesehen werden können. Darüber hinaus wird die Kamera so eingestellt, dass sie mit der schnellsten Bildrate läuft und gleichzeitig alle unerwünschten Daten reduziert, um eine unnötige Verarbeitung zu vermeiden. Leider kooperieren die Pakete nicht immer, so dass die Kamera mit einer größeren Bildgröße eingestellt wird, was den erreichbaren Gesamtdurchsatz verlangsamt. Diese neueste Funktion der Pregius S hilft, dieses Problem zu lösen.

Die Funktion Tracking ROI ermöglicht es dem Systemintegrator, einen kleineren ROI in der Kamera festzulegen, um die Pakete zu erfassen. Der Sensor überwacht dann diesen Bereich auf Veränderungen in den Daten. Wenn es keine Veränderungen in den Daten gibt, gibt er einfach das ROI-Bild aus, das er sieht. Wenn er jedoch eine Bewegung feststellt, z. B. ein Paket, das in das Sichtfeld des ROI kommt, bewegt die Intelligenz des Sensors diesen ROI-Bereich auf dem Sensor, um dem Zielpaket auf dem Sensor-Array zu folgen.

So entstehen Bilder mit einer vollständigen Ansicht des Pakets, ohne dass manuelle Eingriffe erforderlich sind. Dadurch wird sichergestellt, dass immer nur die erforderlichen Bilddaten erfasst werden. Dies beschleunigt die Bildrate der Kamera und reduziert gleichzeitig die für die Analyse der einzelnen Bilder erforderliche Verarbeitungszeit.

Bewegungserkennung

Eine weitere nützliche Funktion, die bei einigen Global Shutter-Sensoren^{der 4.} Generation von Sony hinzugefügt wurde, ist die Bewegungserkennung. Sie verwendet einen ähnlichen Algorithmus wie der oben beschriebene Tracking ROI. Der Unterschied besteht darin, dass der Sensor nur dann Bilder ausgibt, wenn er eine Bewegung im Bild feststellt. In diesem Fall nimmt der Sensor ein Referenzbild auf und speichert es im Speicher des Sensors.

Von dort aus wird Pixel für Pixel analysiert, um festzustellen, ob sich die Intensität ändert, was auf eine Bewegung in der Szene hindeutet. Wenn es keine Bewegung gegenüber der vorherigen Aufnahme gibt, wird vom Sensor kein Bild ausgegeben. Sobald die Sensorintelligenz diese Veränderungen erkennt, beginnt sie, Bilder auszugeben, die die Veränderungen in der Szene anzeigen. Dies wird so lange fortgesetzt, bis zwischen zwei Bildern keine Veränderung mehr stattfindet.

Diese einzigartige Funktion kann in Anwendungen eingesetzt werden, die die Erkennung von Veränderungen im nachfolgenden Rahmen erfordern, wie z.B. in der Fabrikautomation, um das Vorhandensein/Fehlen von Fremdkörpern zu erkennen, in der Sicherheitsbranche, um das Vorhandensein eines wertvollen Objekts wie z.B. eines Gemäldes zu überwachen, oder bei der Inspektion von Flachbildschirmen, um einen Fehler im Display des Monitors oder Fernsehers zu erkennen.

Fazit

Wie Sie sehen, sind die Anwendungen, die von Pregius S basierten Sensoren profitieren können, zahlreich. Dank ihrer kompakten Form mit hohen Auflösungen können sie in anspruchsvolleren Umgebungen eingesetzt werden, ohne dass sie ihren kleineren Formfaktor verlieren. Aufgrund ihrer geringen Größe und ihrer Kompatibilität mit C-Mount-Objektiven sind sie eine wirtschaftlichere Lösung für Anwendungen mit hoher Geschwindigkeit, hoher Bildrate und hoher Auflösung.

FRAMOS kann mit Ihnen zusammenarbeiten, um Ihren Bedarf zu ermitteln und Ihnen zusätzliche Unterstützung und Lösungen zu bieten, die Ihre COGS für Ihr Bildverarbeitungssystem oder Kameramodul weiter verbessern können. Setzen Sie sich mit uns in Verbindung, um mehr darüber zu erfahren, wie Sie mit diesen neuen Bildverarbeitungssystemen von Sony und den Bildverarbeitungsexperten und -produkten von FRAMOS bei Ihrer nächsten Global Shutter-basierten Anwendung deutlich mehr sparen können.