Einführung in die SWIR-Sensoren von Sony und ihre Anwendungen

Einführung in die SWIR-Sensoren von Sony und ihre Anwendungen

Sichtbarer sowie NIR- und SWIR-Wellenlängenbereich 

Eines der neuen, spannenden und für industrielle Anwendungen vielversprechenden Verfahren ist die Verwendung von Infrarotlicht mit naher und kurzer Wellenlänge (NIR und SWIR), um Informationen zu gewinnen, die für das menschliche Auge nicht sichtbar sind.  In vielen Fällen ergänzen die Informationen, die bei diesen Wellenlängen erfasst werden, die Daten des sichtbaren Spektrums (350 bis 750 nm). In diesem Artikel wird definiert, dass NIR-Wellenlängen im Bereich von 750 bis 900 nm liegen und SWIR-Wellenlängen im Bereich von 900 bis 2500 nm. 
Bild 1. Wellenlängenspektren von UV bis IR (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Obwohl in vielen Machine Vision Anwendungen mit Licht im NIR-Spektrum gearbeitet wird, kommen typischerweise Sensoren zum Einsatz, die als Nebenprodukt zu klassischen Machine Vision Sensoren und -Kameras nicht auf das NIR-Spektrum optimiert sind und somit nur eine geringe Quanteneffizienz in diesem Bereich aufweisen. CMOS-basierte Sensoren sind für einen Teil des NIR-Spektrums (ca. 750 nm bis 1000 nm) zwar empfindlich, sie können aber (im Vergleich zur Spitzenempfindlichkeit) nur etwa 10 % bis 30 % des Lichts detektieren (bei längeren Wellenlängen ist dieses Detektionsvermögen stark abfallend). Zudem haben sie einen auf etwa 400 nm bis 1000 nm begrenzten Spektralbereich, der nicht alle NIR-Wellenlängen abdeckt.   Um den NIR- und SWIR-Wellenlängenbereich besser abzudecken, kann ein InGaAs-Sensor verwendet werden. Dieser besteht aus einer Indiumarsenid (InAs) und Galliumarsenid (GaAs) Legierung. Typischerweise haben diese Sensoren eine Spektralempfindlichkeit, die zwischen 900-1700 nm und 1100-2600 nm variieren kann. Der jeweilige Wellenlängenbereich des Sensors wird bereits in seinem Herstellungsprozess durch ein bestimmtes InAs-und GaAs-Verhältnis vorgegeben.  Für Anwendungen, wo Daten aus dem sichtbaren sowie dem NIR- und SWIR-Bereich benötigt werden, müssen mehrere Kameras mit unterschiedlichem Strahlengang und verschiedenen Optiken eingesetzt werden. Die Überlagerung der Datensätze ist kompliziert und die gesamte Lösung letztlich teuer. Hinzu kommt, dass die Pixelgrößen einer CMOS-basierten Kamera kleiner sind (typischerweise 1 μm bis 5 μm) als bei Kameras mit InGaAs-Sensoren (typischerweise 10 μm bis 20 μm). Das erschwert die Zusammenführung der Daten der erfassten Bilder auf Pixelebene zusätzlich. 

Hohe Kosten für Multispektralsysteme 

In Anwendungen, die ein größeres Wellenlängenspektrum erfordern, müssen oft mehrere Kameras eingesetzt werden, damit alle Bilddaten des jeweiligen Bereichs erfasst werden können. Meistens werden für jedes Spektralband spezielle Kameras mit unterschiedlichen Sichtfeldern, Optiken und Pixelgrößen verwendet. Die von diesen Kameras erzeugten Momentaufnahmen müssen kalibriert und aufeinander abgestimmt werden, bevor die Datenanalyse beginnen kann. Nachteilig ist hier, dass diese Systeme sehr anfällig für Vibrationen und Fehlausrichtungen sind. Um die werkseitige Kalibrierung unverändert nutzen zu können, muss die Befestigung der Kameras sehr robust sein, damit sie während des Transports, der Installation und der Anwendung nicht dejustiert und eine erneute Kalibrierung erforderlich wird. Bei einer Neukalibrierung ist das gesamte Bildverarbeitungssystem offline, d. h. die Prüfanlage ist nicht in Betrieb und die Effizienz bzw. die Leistung der Produktionsanlage verringert sich.  Kamerahersteller, die SWIR-Sensoren in ihre Geräte einbauen, müssen sich auch mit den Herausforderungen, die die Implementierung mit sich bringt, beschäftigen, z. B. mit der Bewertung von Dunkelstrompegeln, starken Abschattungen, Fixed-Pattern-Rauschen und großen Pixelfehlern. Das alles verringert die Qualität des Ausgangssignals und muss bei der Entwicklung der Hardware und Software der Kamera berücksichtigt werden. Außerdem arbeiten viele dieser Kameras mit analogen Sensoren, die für sich allein schon recht teuer sind und die noch zusätzliche Hardware-Komponenten zur Steuerung und zum Auslesen der Daten erfordern.  Alles in allem erhöht das die Gesamtkosten dieser Kameras, weshalb ihr Einsatz in einigen Fällen Anwendungsfällen unrentabel ist. 

Die SWIRSensortechnologie von Sony 

Bild 2. Typische InGaAs und Sony SenSWIR Pixelarchitektur (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Das bedeutet, dass sich alle Anwendungen, in denen Daten aus diesen Wellenlängenbereichen erforderlich sind, mit nur einem Sensor bzw. einer Kamera realisieren lassen und dass die Bilddaten des sichtbaren Lichts mit den NIR- und SWIR-Daten exakt übereinstimmen und zwar auf Pixelebene, ohne zusätzliche Kalibrierung. Dieser Vorteil vereinfacht das Design eines Vision-Systems und die Bildanalyse erheblich, da die Bilder nicht erst miteinander verglichen und dann entsprechend angepasst werden müssen. 

IMX990 und IMX991 Sensoren von Sony 

Bild 3: Der IMX991 von Sony ohne und mit thermoelektrischer Kühlung (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html)
Sony hat anfänglich mit dem IMX990 und dem IMX991 zwei SWIR-basierte Sensoren mit ähnlichen Eigenschaften und Merkmalen entwickelt. Beide basieren auf den Pregius digital Sensoren und bieten dementsprechend auch die CMOS-ähnliche Bedienbarkeit, Funktionalität und Einheitlichkeit: Alle Modelle befinden sich in einem keramischen PGA-Gehäuse und haben die gleiche Pin-Konfiguration. Somit sind für die Sensoren keine unterschiedlichen Board-Designs notwendig. Jedes Modell kann für die thermoelektrische Kühlung (TEC) optional mit einstufigen Peltier-Elementen ausgestattet werden, um die Rauschakkumulation durch Dunkelstrom (aufgrund der Wärmeentwicklung bei der Aufnahme von Bildern mit längerer Belichtung) zu reduzieren. Mittels TEC lässt sich eine Temperaturdifferenz von etwa 30⁰C erzielen (bei einer Temperatur Ta von 45⁰C).  Beide Sensoren nutzen die neue SenSWIR Technologie von Sony: Durch eine dünnere InP (Indiumphosphid) Oberflächenschicht ermöglicht diese eine bessere Erkennung der sichtbaren Wellenlänge in einem größeren Bereich. In Kombination mit der CuCu-Verbindung können mit dieser Technologie die Pixel stark verkleinert werden. Mit nur 5μm haben die Sensoren die kleinsten InGaAsbasierten Pixel in der Branche. Die Quanteneffizienz (QE) im sichtbaren Bereich ist gleichmäßig; im NIR-Bereich ist sie sehr hoch sie erreicht hier einen Spitzenwert von über 75% bei 1.300nm. Der Sensor IMX990 (1/2Typ) bietet bei 130fps eine SXGA-Auflösung (1280 x 1024), der IMX991 (1/4“-Typ) bei 250fps eine VGA-Auflösung (640 x 512). Beide Global Shutter Sensoren geben die Bilddaten über einen 2- bzw. 4-Kanal-SLVS-Transceiver aus. Durch ihre kleineren Gehäuse und die digitale Signalübertragung können sie einfacher und schneller in jedes beliebige neue Kameradesign implementiert werden. 

Vorgesehene Anwendungen 

In Machine Vision (MV) Anwendungen kommen seit langem die verschiedensten Sensoren zum Einsatz, um Bilder bei unterschiedlichen Wellenlängen aufzunehmen. Im Markt gibt es theoretisch viele multispektrale Anwendungen, in der Praxis jedoch hemmen die hohen Kosten den standardmäßigen Einsatz der Kameras zum Erfassen nicht sichtbarer Wellenlängen. Aus diesem Grund werden die neuen Sony Sensoren von der Machine Vision Industrie derzeit bereits freudig erwartet. Von einer Kamera, die das sichtbare Licht einschließlich des SWIR-Spektrums erfasst, können bestimmte Branchen unmittelbar profitieren: 

Lebensmittelverabeitung und -überwachung 

Bohnensortierung

Bild 4: Bohnensortierung mit sichtbarem Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Bild 5: Bohnensortierung mit SWIR-Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Bei den hier aufgenommenen Bildern kommt es vor allem auf den Kontrast an, denn durch einen hohen Kontrast kann man Mängel und Schmutz gut erkennen, da diese das Licht anders reflektieren als ein unbeanstandetes Produkt. Normalerweise wird ein hoher Kontrast zum Hervorheben der mangelhaften Stellen durch verschiedenfarbiges Licht und/oder Farbfilter erzielt. Wenn das Fremdmaterial aber ein ähnliches Reflexionsspektrum hat wie die Lebensmittel, beispielsweise bei der Sortierung von Bohnen, steht der Anwender vor besonderen Herausforderungen. In einem solchen Fall sind Metall, Steine und Plastik im sichtbaren Spektrum nur schwer zu erkennen. Sobald man er sie aber im SWIR-Bereich analysiert, stechen sie optisch hervor und sie lassen sich leicht aus dem Gemenge herausfiltern. 

Inspektion von weißen Pulver

Figure 6: Inspektion von weißen pulverförmigen Lebenslichten mit sichtbaren Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Figure 7: Inspektion von weißen pulverförmigen Lebenslichten mit SWIR-Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Eine weitere anspruchsvolle Anwendung ist die Unterscheidung von Salz, Zucker und Mehl. Alle diese Lebensmittel sehen im RGB-Spektrum sehr ähnlich aus, sie haben aber ein unterschiedliches Reflexionsvermögen bei SWIR-Licht. Werden die pulverförmigen Lebensmittel SWIR-Licht ausgesetzt und mit einer SWIR-Kamera abgebildet, lassen sie sich leicht eindeutig erkennen und sortieren. 

Qualitätskontrolle bei Obst

Figure 8: Qualitätskontrolle bei Obst mit sichtbarem Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Figure 9: Qualitätskontrolle bei Obst mit SWIR-Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Obst kann Mängel und Druckstellen haben, ohne dass diese gleich bemerkt werden oft erst dann, wenn es in den Supermarktregalen liegt. Doch dann kaufen es die Kunden nicht mehr; es verkommt und belegt wertvollen Platz, der für makelloses Obst genutzt werden könnte. Mit SWIR-basierten Inspektionssystemen kann man jedoch hinter die Obstschale blicken, um Mängel zu erkennen und das Obst für die Weiterverarbeitung auszusortieren. Somit kann dafür gesorgt werden, dass nur bestes Obst in die Regale kommt und aufgrund der besseren Qualität bei anspruchsvollen Kunden auch höhere Preise erzielt. 
Beobachten und Messen 

Temperaturfühler

Figure 10: Temperaturfühler mit sichtbarem Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Figure 11: Temperaturfühler mit SWIR-Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Kameras mit SWIR-Sensoren von Sony haben den Vorteil, dass sich mit ihnen Temperaturunterschiede aufzeichnen und visuell darstellen lassen. Da sich der SWIR-Bereich nahtlos an den Wellenlängenbereich thermischer Strahlung anschließt, kann die Kamera unterschiedliche Temperaturen erkennen und in Bildern die jeweiligen Intensitäten darstellen. Somit können solche Kameras bzw. Machine Vision Anwendungen eingesetzt werden, um beispielsweise die Temperatur am Lötkolben festzustellen und zu erkennen, ob die Lötkolbenspitze die ideale Temperatur zum Löten bereits erreicht hat. 

Erkennung von Feuchtigkeit

Figure 12: Erkennung der Feuchtigkeitsaufnahme mit sichtbarem Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Figure 13: Erkennung der Feuchtigkeitsaufnahme mit SWIR-Licht (Quelle: Sony, https://www.sony-semicon.co.jp/e/products/IS/industry/technology/swir.html) 
Da immer mehr autonome Fahrzeuge entwickelt und eingesetzt werden, steigt auch die Notwendigkeit, die Umgebung der Fahrzeuge besser und genauer wahrzunehmen. Die größten Herausforderungen hierbei sind Nebel, Dunst und Schleier, die die Sicht der Kamera verdecken. SWIR-Wellenlängen können diese umgebungsbedingten Hindernisse durchdringen und den Navigationssystemen eine bessere Sicht ermöglichen, um das Fahrzeug zu steuern und Kollisionen mit anderen Objekten zu vermeiden. 

Fazit

In vielen Anwendungen ist die Abdeckung eines großen Wellenlängenspektrums von großem Vorteil, da damit zusätzliche Informationen zur Beurteilung der Qualität und Performance eines Produkts gewonnen werden können. Bislang haben die hohen Kosten für SWIR-basierte Kameras ihren Einsatz in verschiedenen Branchen eingeschränkt. Mit der SenSWIR Technologie und den Bildsensoren von Sony hat sich das verändert, da damit eine kostengünstige Lösung für ein großes Wellenlängenspektrum verfügbar ist. Die Lösung minimiert die Komplexität des Designs eines Bildverarbeitungssystems und ermöglicht in vielen Märkten die hyper und multispektrale Bildverarbeitung. Wenn Entwickler von Kameras diese Sensoren nutzen und evaluieren, um ihre Anforderungen und die bestehenden Herausforderungen zu lösen, lassen sich noch viele weitere Anwendungsfälle realisieren. 

Über den Autor

Darren Bessette ist bei FRAMOS als Category- und Line-Manager tätig. Seine Aufgabe besteht darin die Hauptlieferanten und deren Portfolio bei den Kunden zu vertreten. Er konnte bereits in vielen produktbasierten Bildverarbeitungsunternehmen Erfahrungen sammeln. Besonders im Bereich Engineering, Produktmanagement, Sensor- und Bildverarbeitungstechnologien kann er ein fundiertes Wissen aufweisen. Sein Versändnis in diesen Bereichen teilt er mit den internen Teams und hilft Kunden dabei die Technologien in ihren Anwendungen effektiv einzusetzen. Seine mehr als fünfundzwanzigjährige Erfahrung in verschiedenen Funktionen, von der Softwareentwicklung, dem Systemdesign, FAE und Sales Engineering bis hin zum Produkt– und Line Management ermöglicht es ihm, die Anwendungs-, Produkt– und Geschäftsanforderungen der Kunden genau zu verstehen. Darren stellt somit sicher, dass jedem Kunden hinsichtlich seiner Anfrage die beste Beratung geboten wird 

Mehr FRAMOS News

Bleiben Sie auf dem Laufenden mit FRAMOS. Melden Sie sich für unseren monatlichen Newsletter an