Einführung in die SWIR-Sensoren und Anwendungen von Sony

Sichtbare, NIR- und SWIR-Wellenlängen

Einer der neuen und aufregenden Bereiche, der sich für industrielle Anwendungen als vielversprechend erweist, ist die Verwendung von Nah- und Kurzwellen-Infrarotlicht (NIR und SWIR) zur Erfassung von Informationen, die für das menschliche Auge nicht sichtbar sind. In vielen Fällen ergänzen die in diesen Wellenlängen erfassten Informationen die Daten, die im sichtbaren Spektrum (350-750 nm) zu sehen sind. Sichtbares Licht ist der Teil des elektromagnetischen Spektrums, der vom menschlichen Auge wahrgenommen werden kann und typischerweise von 400 nm bis 780 nm reicht. SWIR-Sensoren gehen über diesen Bereich hinaus und erfassen Daten, die mit der Standard-Bildgebung nicht zugänglich sind. NIR-Wellenlängen liegen im Bereich von 780-1400 nm, während SWIR im Bereich von 900-2500 nm liegt.

Obwohl NIR-Licht in vielen Anwendungen des maschinellen Sehens ausgiebig genutzt wird, haben viele der eingesetzten Sensoren keine sehr hohe Quanteneffizienz in diesem Bereich und sind eher ein Nebenprodukt von Standard-Vision-Sensoren und -Kameras. CMOS-basierte Sensoren sind zwar empfindlich für diese Wellenlängen, können aber nur etwa 10-30% dieses Lichts sehen (im Vergleich zu seiner Spitzenempfindlichkeit) und haben einen auf etwa 400-1000 nm begrenzten Spektralbereich, der nicht alle NIR-Wellenlängen abdeckt. Fortschritte im Sensordesign ermöglichen es nun, dass mehr Licht, einschließlich des sichtbaren und des SWIR-Lichts, die empfindlichen Schichten erreicht, wodurch die Abbildungsleistung über ein breiteres Spektrum verbessert wird.

Um tiefer in den NIR- und SWIR-Wellenlängen zu sehen, wird ein InGaAs-Sensor verwendet, der aus einer Legierung aus Indiumarsenid (InAs) und Galliumarsenid (GaAs) besteht. Dieser Sensor hat einen spektralen Ansprechbereich, der zwischen 900-1700 nm und 1100-2600 nm variieren kann. Die gewünschte Wellenlängenreaktion für diese Sensoren wird während des Herstellungsprozesses festgelegt, indem das prozentuale Verhältnis zwischen InAs- und GaAs-Elementen im Sensor angepasst wird. Die Fähigkeit, längere Wellenlängen im SWIR-Band zu detektieren, ist besonders vorteilhaft für Anwendungen wie Feuchtigkeitsdetektion, Materialsortierung und Tiefendurchdringung, da diese Wellenlängen Objekte besser übertragen oder durchdringen als sichtbares Licht und so eine bessere Inspektion und Analyse ermöglichen. Diese Sensoren sind für den Betrieb im SWIR-Band ausgelegt, was für bestimmte industrielle Anwendungen entscheidend ist.

Für Anwendungen, die Daten im sichtbaren, NIR- und SWIR-Bereich benötigen, müssen mehrere Kameras mit unterschiedlichen optischen Pfaden und Optiken eingesetzt werden. Das macht die Überlappung der Daten von beiden Geräten schwieriger und die endgültige Lösung teurer. Hinzu kommt, dass die Pixelgrößen einer CMOS-basierten Kamera kleiner sind (typischerweise 1-5 μm) als bei Kameras mit InGaAs-Sensoren (typischerweise 10-20 μm), was die Zusammenführung der Daten zwischen den beiden aufgenommenen Bildern auf Pixelebene weiter erschwert. Die Integration von hochauflösenden Bildsensoren in solche Systeme ist für die Überwindung dieser Herausforderungen unerlässlich.

Hohe Kosten für Multispektralsysteme

Für Anwendungen, die auf ein breiteres Wellenlängenspektrum abzielen, sind oft mehrere Kameras erforderlich, um alle Bilddaten im gesamten Zielbereich zu erfassen. Für jedes Spektralband werden in vielen Fällen spezielle Kameras mit unterschiedlichen Sichtfeldern, Optiken und Pixelgrößen verwendet. Die von diesen Kameras erzeugten Schnappschüsse müssen dann kalibriert und aufeinander abgestimmt werden, bevor die Datenanalyse wirklich beginnen kann. Ein Nachteil dieser Systeme ist, dass sie sehr anfällig für Vibrationen und Ausrichtungsfehler sind. Um die werkseitigen Kalibrierungen aufrechtzuerhalten, müssen die Kameramontagesysteme sehr robust sein, damit sie den Belastungen während des Transports, der Installation und der Verwendung standhalten, die sie aus der Ausrichtung bringen und eine zusätzliche Kalibrierung erforderlich machen könnten. Wenn eine Neukalibrierung erforderlich ist, wird das Bildverarbeitungssystem für diese Aufgabe vom Netz genommen, während die Inspektionsstation außer Betrieb ist, was die Effizienz und den Output der Fabrik oder der Verarbeitungsanlage verringert.

Kamerahersteller, die SWIR-Sensoren integrieren, müssen sich auch mit Herausforderungen bei der Implementierung auseinandersetzen, wie z.B. der Bewertung von Dunkelstrompegeln, starken Abschattungen, festem Musterrauschen und großen defekten Pixeln. All diese Faktoren verringern die von der Kamera ausgegebene Signalqualität und müssen in der Hardware und Software der Kamera berücksichtigt werden. Hinzu kommt, dass viele dieser Kameras analoge Sensoren benötigen, die für sich genommen teuer sind und zusätzliche Hardwarekomponenten zur Steuerung und zum Auslesen der Daten erfordern.

All diese Faktoren erhöhen die Gesamtkosten dieser Kameras, so dass sie in einigen Fällen für den Einsatz in Zielanwendungen unpraktisch sind.

Die SWIR-Sensortechnologie von Sony

Sony ist ein relativ neuer Akteur auf dem Markt für industrielle SWIR-Sensoren. Ihre neueste SWIR-basierte Technologie nutzt viele ihrer früheren Technologien, die für CCDs und CMOS-Sensoren entwickelt wurden. Es ist der weltweit erste nicht-militärische CMOS-ähnliche Sensor, der sowohl den sichtbaren als auch den SWIR-Wellenlängenbereich erfasst und in der Lage ist, hochpräzise Bilder über einen großen Wellenlängenbereich hinweg aufzunehmen. Ihr derzeitiges Angebot ist ein auf InGaAs basierender Sensor für den lichtsammelnden Teil, der auf ein Silizium (Si) Backend für die Auslese- und Steuerelektronik und den Speicher gestapelt ist. Die Verbindung zwischen der InGaAs-Schicht und der Si-Schicht erfolgt über eine Kupfer-Kupfer-Bindung (Cu-Cu). Der resultierende Bildsensor ist eine Brücke zwischen dem sichtbaren, dem NIR- und dem SWIR-Wellenlängenbereich, mit einer spektralen Empfindlichkeit zwischen 0,4μm und 1,7μm.

Die Innovation von Sony hat einen neuen Standard in der Welt der SWIR-Bildgebungstechnologie gesetzt.

Für Anwendungen, die Daten in diesem Bereich benötigen, bedeutet dies, dass nur ein Sensor oder eine Kamera benötigt wird. Dadurch wird sichergestellt, dass die sichtbaren Bilddaten perfekt mit den NIR- und SWIR-Daten auf Pixelebene übereinstimmen, ohne dass eine Kalibrierung erforderlich ist. Dieser Punkt vereinfacht das Design des Bildverarbeitungssystems und die Bildanalyse erheblich, da die Bilder nicht verglichen und ausgerichtet werden müssen.

Die Sensoren IMX990 und IMX991 von Sony

Für den Anfang hat Sony zwei SWIR-basierte Sensoren entwickelt, den IMX990 und den IMX991. Sony hat es sich zum Ziel gesetzt, Sensoren zu entwickeln, die fortschrittliche SWIR-Bildgebung mit CMOS-ähnlicher Bedienbarkeit kombinieren, um den Anforderungen moderner industrieller Anwendungen gerecht zu werden. Beide haben ähnliche Eigenschaften und Merkmale, die auf der digitalen Pregius™-Sensorbasisaufbauen und ihnen eine CMOS-ähnliche Bedienbarkeit, Funktionalität und Einheitlichkeit verleihen. Alle Modelle sind in einem keramischen PGA-Gehäuse untergebracht und verwenden die gleiche Pin-Konfiguration, wodurch sich die Notwendigkeit mehrerer Platinen-Designs zur Unterstützung beider Sensoren verringert. Jedes Modell kann mit einer optionalen einstufigen thermoelektrischen Kühlung (TEC) ausgestattet werden, um die Ansammlung von Dunkelstrom (Wärme) bei der Aufnahme von Bildern mit längerer Belichtungszeit zu reduzieren. Die TEC hat eine Temperaturdifferenz von ~30â°C (bei Ta = 45â°C).

Diese Sensoren nutzen die neue SenSWIR™-Technologie von Sony, die durch eine dünnere InP-Schicht (Indiumphosphid) an der Oberfläche eine bessere Durchdringung und Erkennung im sichtbaren Wellenlängenbereich gewährleistet. Wenn diese Technologie mit der Cu-Cu-Verbindung kombiniert wird, können die Pixelgrößen stark reduziert werden, so dass sie mit einer Größe von nur 5μm die kleinsten InGaAs-basierten Pixel der Branche sind. Die Quanteneffizienz (QE) ist gleichmäßig im sichtbaren Bereich und sehr hoch im NIR-Bereich, mit einem Spitzenwert von >75% bei 1.300nm. Der IMX990 bietet eine SXGA (1280×1024), 1/2 Typ, Auflösung bei 130 fps, während der IMX991 ein VGA (640×512), 1/4 Typ, Sensor bei 250 fps ist. Beide Sensoren haben einen Global Shutter und geben die Bilddaten über einen 2- oder 4-Kanal-SLVS-Transceiver aus. Durch ihre kleineren Gehäuse und die digitale Übertragung lassen sie sich einfacher und schneller in jedes neue Kameradesign integrieren.

Anwendungen der hyperspektralen Bildgebung

Die hyperspektrale Bildgebung hat die Qualitätskontrolle und Inspektionsprozesse in einer Reihe von Branchen revolutioniert, wobei die Lebensmittelindustrie als Hauptnutznießer hervorsticht. Durch die Aufnahme von Bildern mit mehreren Wellenlängen – einschließlich des sichtbaren und des kurzwelligen Infrarotspektrums (SWIR) – können hyperspektrale Bildgebungssysteme subtile Unterschiede in Materialien und Objekten aufdecken, die für das bloße Auge unsichtbar sind. In der Lebensmittelproduktion ermöglicht diese Technologie eine präzise Qualitätskontrolle, indem sie Schwankungen des Feuchtigkeitsgehalts, des Reifegrads und das Vorhandensein von organischen Stoffen in Obst und Gemüse erkennt. Mit SWIR-Imaging lässt sich zum Beispiel der Wassergehalt von Obst und Gemüse bestimmen, so dass nur die frischesten Lebensmittel den Verbraucher erreichen. Darüber hinaus eignet sich die hyperspektrale Bildgebung hervorragend zur Identifizierung von Verunreinigungen wie Fremdkörpern oder unerwünschten organischen Stoffen, wodurch die Lebensmittelsicherheit erheblich verbessert wird. Durch die Nutzung der Fähigkeit, mehrere Wellenlängen zu erkennen und zu analysieren, können Hersteller Lebensmittelprodukte mit noch nie dagewesener Genauigkeit sortieren, einstufen und überwachen, was zu einer höheren Produktqualität und verbesserter Verbrauchersicherheit führt.

Integration von Produktionslinien

Die Integration von SWIR-Imaging-Technologie direkt in Produktionslinien verändert die Qualitätskontrolle in der Lebensmittelindustrie und darüber hinaus. Durch die Montage von SWIR-Kameras entlang von Förderbändern oder an Schlüsselstellen im Herstellungsprozess können Unternehmen Bilder von Lebensmitteln in Echtzeit aufnehmen und so eine sofortige Qualitätskontrolle und Erkennung von Verunreinigungen ermöglichen. Dieser Ansatz ermöglicht die kontinuierliche Überwachung von Obst, Gemüse, Fleisch und verpackten Waren auf ihrem Weg durch die Produktionslinien und stellt sicher, dass nur Produkte, die strengen Qualitätsstandards entsprechen, verpackt und vertrieben werden. Der Einsatz von SWIR-Imaging verbessert nicht nur die Produktqualität und Lebensmittelsicherheit, sondern trägt auch dazu bei, die Verschwendung zu reduzieren, indem fehlerhafte Produkte schnell identifiziert und entfernt werden. Darüber hinaus lassen sich SWIR-Kameras nahtlos in bestehende Produktionsprozesse integrieren, so dass die Hersteller ihre Qualitätskontrollsysteme ohne größere Unterbrechungen aufrüsten können. Diese Echtzeit-Bildgebungstechnologie ermöglicht es den Herstellern, hohe Standards einzuhalten und schnell auf Probleme zu reagieren, die während der Produktion entdeckt werden.

Optionen für Kameramodelle

Es gibt eine Vielzahl von Kameramodellen für SWIR-Imaging-Anwendungen, die jeweils unterschiedliche Funktionen für verschiedene industrielle Anforderungen bieten. Die Goldeye G/CL-030 und G/CL-130 Kameras von Allied Vision beispielsweise verwenden die SenSWIR-Sensoren von Sony, die eine hohe Quanteneffizienz und einen breiten Spektralbereich bieten, der sich ideal für Aufgaben wie die Lebensmittelkontrolle, die Obstsortierung und die Erkennung von Verunreinigungen eignet. Diese Kameramodelle liefern hochauflösende SWIR-Bilder mit hervorragender Empfindlichkeit und eignen sich daher für anspruchsvolle Qualitätskontrollen. Andere führende Hersteller, darunter FLIR und Teledyne, bieten ebenfalls SWIR-Kameras an, die mit fortschrittlichen Funktionen wie der Global-Shutter-Technologie und der Unterstützung von Bandpassfiltern ausgestattet sind, die die Bildqualität verbessern und das Rauschen minimieren. Bei der Auswahl eines Kameramodells für die SWIR-Bildgebung ist es wichtig, Faktoren wie Auflösung, Spektralbereich und Gesamtleistung zu berücksichtigen, um sicherzustellen, dass die gewählte Lösung die spezifischen Anforderungen der Anwendung erfüllt. Durch die Wahl der richtigen Kamera und die Nutzung der neuesten Sensortechnologie können Hersteller hervorragende Bildergebnisse erzielen und die höchsten Standards für die Produktqualität einhalten.

Ziel-Anwendungen

In der industriellen Bildverarbeitung (Machine Vision, MV) werden seit langem verschiedene Sensoren eingesetzt, um Bilder mit unterschiedlichen Wellenlängen zu erfassen. Theoretisch gibt es in diesem Markt viele Anwendungen für die multispektrale Bildgebung. Praktisch aber sind die Kosten für mehrere Kameras und/oder die höheren Preise für Kameras mit nicht sichtbaren Wellenlängen zu hoch, um sie regelmäßig einzusetzen. Aus diesem Grund werden diese neuen Sensoren von der MV-Industrie begrüßt. Darüber hinaus gibt es eine steigende Nachfrage nach fortschrittlichen Inspektionstechnologien als Reaktion auf strengere Qualitäts- und Sicherheitsanforderungen, insbesondere in Bereichen wie Lebensmittelsicherheit und Qualitätskontrolle. Im Folgenden finden Sie einige Branchen, die direkt von einer Kamera profitieren, die das sichtbare und das SWIR-Spektrum abdeckt.

Lebensmittelverarbeitung und Inspektion

Bohnensortierung

Abbildung 4: Bohnensortierung – Sichtbar
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Abbildung 5: Bohnensortierung – SWIR
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

In dieser Vertikalen ist der Kontrast der Schlüssel zu den aufgenommenen Bildern. Dies hilft, die Defekte und Verunreinigungen zu erkennen, da sie anders reflektieren als das gewünschte Produkt. In der Regel wird dies durch die Verwendung von verschiedenfarbigem Licht und/oder Farbfiltern erreicht, um die unerwünschten Teile hervorzuheben. Die Herausforderung besteht darin, dass das Fremdmaterial ein ähnliches Reflexionsspektrum aufweist wie das Lebensmittel, wie es für die Bohnensortierung typisch ist. In diesem Fall sind Metall, Steine und Plastik im sichtbaren Spektrum nicht leicht zu erkennen, aber sobald Sie sie im SWIR-Bereich betrachten, stechen sie hervor und lassen sich leicht aus der Mischung herausfiltern.

Inspektion des weißen Pulvers

Abbildung 6: Inspektion von weißem Pulver – Sichtbar
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Abbildung 7: Untersuchung von weißem Pulver – SWIR
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Eine weitere schwierige Anwendung ist die Unterscheidung zwischen Salz, Zucker und Mehl. Alle drei sehen im RGB-Spektrum sehr ähnlich aus, haben jedoch ein unterschiedliches Reflexionsvermögen für SWIR-Licht. Sobald diese Pulver mit dieser Strahlung bestrahlt und mit einer SWIR-Kamera abgebildet werden, lässt sich ihre Einzigartigkeit leicht erkennen und sortieren.

Obst-Inspektion

Abbildung 8: Obstinspektion – Sichtbar
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Abbildung 9: Obstinspektion – SWIR
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Eine weitere schwierige Anwendung ist die Unterscheidung zwischen Salz, Zucker und Mehl. Alle drei sehen im RGB-Spektrum sehr ähnlich aus, haben jedoch ein unterschiedliches Reflexionsvermögen für SWIR-Licht. Sobald diese Pulver mit dieser Strahlung bestrahlt und mit einer SWIR-Kamera abgebildet werden, lässt sich ihre Einzigartigkeit leicht erkennen und sortieren.

Beobachtung und Messung

Temperaturfühler

Abbildung 10: Temperatursonde – Sichtbar
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Abbildung 11: Temperatursonde – SWIR
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Kameras, die mit den SWIR-Sensoren von Sony gebaut wurden, haben den Vorteil, dass sie zur visuellen Erfassung von Temperaturunterschieden verwendet werden können. Da der SWIR-Bereich den thermischen Wellenlängenbereich berührt, kann die Kamera Temperaturunterschiede erkennen und sie als Intensitätswerte in den aufgenommenen Bildern darstellen. Dies ermöglicht beispielsweise den Einsatz von Kameras und Bildverarbeitungsanwendungen zur Überwachung der Temperatur von Lötkolben, um festzustellen, ob diese ihre ideale Temperatur für den Gebrauch erreicht haben.

Absorption von Feuchtigkeit

Abbildung 12: Feuchtigkeitsaufnahme – Sichtbar
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Abbildung 13: Feuchtigkeitsaufnahme – SWIR
(Bild von Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)

Wasser absorbiert SWIR-Wellen sehr gut. Dies ist eine wichtige Eigenschaft, wenn Sie prüfen möchten, ob Materialien eingedrungen sind oder Wasser enthalten. SWIR-Bilder sind dunkler, wenn Feuchtigkeit vorhanden ist, und die MV-Algorithmen können entsprechend reagieren.

Je mehr autonome Fahrzeuge entwickelt und eingesetzt werden, desto größer wird der Bedarf, die Herausforderungen der Umwelt zu meistern. Eine der größten Herausforderungen bei diesen Anwendungen sind Nebel, Dunst und Nebelschwaden, die die Sicht der Kamera behindern. SWIR-Wellenlängen können diese Hindernisse durchdringen und ermöglichen so eine bessere Sicht für die Navigationssysteme, um das Fahrzeug zu steuern und Kollisionen mit anderen Objekten zu vermeiden.

Fazit

Viele Anwendungen profitieren von der Nutzung eines breiten Spektrums von Wellenlängen, um zusätzliche Informationen zu sammeln und die Qualität und Leistung eines Produkts zu beurteilen. Die Kosten für SWIR-basierte Kameras haben die Effektivität ihres Einsatzes in diesen Branchen eingeschränkt. Mit der Einführung der SenSWIR™ Technologie und der Bildsensoren von Sony haben sich diese Märkte durch die Bereitstellung einer kostengünstigen Lösung, die ein breites Spektrum von Wellenlängen abdeckt, geöffnet. Dies minimiert die Komplexität des Designs von Bildverarbeitungssystemen und bietet gleichzeitig hyperspektrale und multispektrale Bildgebung für die breite Masse. SWIR-Sensoren werden beispielsweise in Branchen wie der Lebensmittelkontrolle, der Materialsortierung und der Qualitätskontrolle eingesetzt – diese Beispiele zeigen die Effektivität der SWIR-Bildgebungstechnologie in realen Szenarien. Weitere Anwendungsfälle und Anwendungen werden entstehen, wenn Ingenieure die mit diesen Sensoren gebauten Kameras für ihre Bedürfnisse und Herausforderungen bewerten.