{"id":316,"date":"2017-09-04T12:30:00","date_gmt":"2017-09-04T12:30:00","guid":{"rendered":"https:\/\/framos.com\/articles\/bildverarbeitung-mit-hyperspektral-sensoren-das-richtige-design-fuer-ihre-anwendung\/"},"modified":"2024-04-24T21:19:59","modified_gmt":"2024-04-24T21:19:59","slug":"bildverarbeitung-mit-hyperspektral-sensoren-das-richtige-design-fuer-ihre-anwendung","status":"publish","type":"articles","link":"https:\/\/framos.com\/de\/fachartikel\/bildverarbeitung-mit-hyperspektral-sensoren-das-richtige-design-fuer-ihre-anwendung\/","title":{"rendered":"Bildverarbeitung mit Hyperspektral-Sensoren: Das richtige Design f\u00fcr Ihre Anwendung"},"content":{"rendered":"
\n

Bei vielen Bildverarbeitungsanwendungen sind die wichtigen Informationen in der Farbe der Szenerie kodiert. Herk\u00f6mmliche Farbkameras gewinnen diese Informationen basierend auf den drei Standardfarbkan\u00e4len Rot, Gr\u00fcn und Blau (RGB). Mit dieser Technik werden die Farben jedoch nur n\u00e4herungsweise reproduziert und die Qualit\u00e4t ist oft nicht ausreichend um das Bildverarbeitungsproblem zuverl\u00e4ssig zu l\u00f6sen. Die hyperspektrale Bildgebung \u00fcberwindet diese Einschr\u00e4nkung, indem bei ann\u00e4hernd gleichbleibend hoher r\u00e4umlicher Aufl\u00f6sung eine viel gr\u00f6\u00dfere Anzahl an Spektralb\u00e4ndern genutzt wird. Durch die Weiterentwicklung der Sensortechnik k\u00f6nnen die notwendigen Schmalband-Spektralfilter auf Sensorebene aufgebracht werden. Mit diesen Sensoren kann die Komplexit\u00e4t von Hyperspektralkameras deutlich reduziert werden. Von diesen kompakten, zuverl\u00e4ssigen und benutzerfreundlichen Hyperspektralkameras profitiert wiederum praktisch jede Anwendung, bei der genaue Farbinformationen der Schl\u00fcssel zum Erfolg sind.<\/p>\n<\/div>\n

\n

Farbe ist einer der wichtigsten Parameter bei vielen Bildverarbeitungsanwendungen und oft wichtige Grundlage f\u00fcr die Klassifizierung, die Unterscheidung von Hintergrund und Vordergrund oder f\u00fcr die Objektidentifizierung. Zur Farberfassung sind Kameras \u00fcblicherweise mit den drei Breitband-Farbkan\u00e4len Rot, Gr\u00fcn und Blau (RGB) ausgestattet, die in Form eines regelm\u00e4\u00dfigen, mosaik\u00e4hnlichen Filtermusters, der sogenannten Bayer<\/em>-Matrix, auf dem Sensor implementiert werden. Diese drei Standardfilter ergeben jedoch nur ungenaue Farbinformationen, was f\u00fcr die zuverl\u00e4ssige Erkennung feiner Farbverl\u00e4ufe oft nicht ausreicht. Eine genaue Farbcharakterisierung ist jedoch oft der Schl\u00fcssel zum Erfolg, z.B. f\u00fcr die genaue Unterscheidung von Gewebe, Nerven und Blutgef\u00e4\u00dfen in der nichtinvasiven Chirurgie. Deshalb beeintr\u00e4chtigen herk\u00f6mmliche Farbsensoren in vielen Anwendungen die Leistung und den Erfolg.<\/p>\n

Im Gegensatz dazu handelt es sich bei der hyperspektralen Bildverarbeitung, auch Bildspektroskopie genannt, um eine Kombination aus zweidimensionaler Abbildung und Schmalbandspektroskopie. Mit dieser Technik kann die Lichtintensit\u00e4t f\u00fcr jeden Pixel mit einer gr\u00f6\u00dferen Anzahl an Spektralb\u00e4ndern (meist einige Dutzend oder Hundert) aufgenommen werden. Dadurch erh\u00e4lt jeder Pixel des Bildes ein vollst\u00e4ndiges Farbspektrum (und nicht nur die drei Werte f\u00fcr Rot, Gr\u00fcn und Blau). Auf diese Weise kann die Szenerie mit deutlich mehr Farbdetails und h\u00f6herer Genauigkeit erfasst werden. Dies erm\u00f6glicht f\u00fcr die Objektklassifizierung L\u00f6sungsans\u00e4tze auf Grundlage von spektralen Eigenschaften durch statistisches Matching oder neuronale Netze. Damit er\u00f6ffnen sich v\u00f6llig neue M\u00f6glichkeiten f\u00fcr den Einsatz von Bildverarbeitung in vielen zus\u00e4tzlichen Industrien.<\/p>\n

Durch die Fortschritte in der Sensorentwicklung und Verarbeitungs\u00adgeschwindigkeit profitieren zahlreiche Anwendungen von der hyperspektralen Bildverarbeitung, wie beispielsweise die Teilepr\u00fcfung in der Industrie, Probenklassifizierung in Medizin und Biophysik, Fernerkundung aus der Luft und zur milit\u00e4rischen Zielerfassung, bis hin zur Reife-Inspektion im Landwirtschafts- und Lebensmittelbereich. In diesem Artikel werden die beiden h\u00e4ufigsten Funktionsweisen von Hyperspektralkameras erkl\u00e4rt und deren Eignung f\u00fcr verschiedene Anwendungsbereiche erl\u00e4utert.<\/p>\n

Funktionsweisen von Hyperspektralkameras<\/h1>\n

Die Spektralzerlegung von Licht wird \u00fcblicherweise durch einen schmalen Spalt in Kombination mit dispersiven optischen Elementen erreicht. Dieser Ansatz erm\u00f6glicht zwar eine hohe spektrale Genauigkeit, der erforderliche optische Aufbau in der Kamera ist aber aufwendig und komplex. Dies kann zu gro\u00dfen Kameraabmessungen, unzuverl\u00e4ssiger Leistung und hohen Kosten f\u00fchren.<\/p>\n

In den letzten Jahren haben die Fortschritte bei der Sensorentwicklung die Implementierung von pr\u00e4zise abgestimmten Schmalband-Spektralfiltern auf Pixelebene erm\u00f6glicht. Im Gegensatz zu den drei Filtern, die in herk\u00f6mmlichen Farbsensoren mit Bayer-Matrix verwendet werden, verf\u00fcgen Hyperspektralsensoren \u00fcber Filtermuster aus zahlreichen, gleichm\u00e4\u00dfig verteilten Schmalbandfiltern, die den gesamten Spektralbereich erfassen. Je nach Anwendung kann dieser Bereich von Ultraviolett bis zu nahem Infrarot reichen und somit deutlich au\u00dferhalb der Wahrnehmung des menschlichen Auges liegen. Die Funktionsweisen von Hyperspektralkameras k\u00f6nnen je nach Eigenschaften der verwendeten Filtermuster in die beiden Hauptkategorien Snapshot-Mosaik<\/em> und Pushbroom-Scanning<\/em> unterteilt werden, die jeweils unterschiedliche Anforderungen an den Aufbau der Anwendung stellen.<\/p>\n

Pushbroom Scanning<\/h1>\n

Die Bewegung der Kamera relativ zum erfassten Objekt ist bei vielen Bildverarbeitungsanwendungen eine nat\u00fcrliche Gegebenheit. Typische Beispiele sind die Teileinspektion auf Flie\u00dfb\u00e4ndern, die Fernerkundung per Flugzeug oder Satellit und die autonome \u00c3\u0153berwachung der Landwirtschaft mit unbemannten Fahrzeugen. F\u00fcr diese Anwendungen eignen sich Hyperspektralkameras mit der Pushbroom-Scanning Technik am besten, bei denen zusammenh\u00e4ngende Pixelreihen des Bildsensors mit spektral-benachbarten Schmalbandfiltern beschichtet sind. Durch die Bewegung der Kamera relativ zur Umgebung bewegt sich das Objekt \u00fcber den Bildsensor. Indem die Zeilenerfassung des Sensors und die relative Bewegungsgeschwindigkeit synchronisiert werden, erfolgt die Erfassung des Bildes Zeile f\u00fcr Zeile bzw. aufgrund der zeilenweisen Filterbeschichtung des Sensors Spektralband f\u00fcr Spektralband. Das gesamte Spektrum liegt vor, nachdem sich das Objekt vollst\u00e4ndig \u00fcber den Sensor bewegt hat. Auf dem zweidimensionalen Fl\u00e4chensensor werden die Pixelreihen daher f\u00fcr die Verarbeitung einer r\u00e4umlichen Dimension verwendet, w\u00e4hrend die Spalten die spektrale Dimension erfassen. Die zweite r\u00e4umliche Dimension ergibt sich aus der Bewegung der Kamera relativ zur Umgebung, dem sogenannten Pushbroom-Scanning<\/em>. Diese Funktionsweise wird in Abbildung 1veranschaulicht.<\/p>\n

Die Anzahl der Spektralb\u00e4nder in Hyperspektralkameras mit Pushbroom-Scanning Modus liegt gew\u00f6hnlich bei \u00fcber Hundert. Dadurch ergeben sich sehr detaillierte spektrale Informationen, die wiederum zuverl\u00e4ssigere Ergebnisse bei der Identifizierung und Klassifizierung erm\u00f6glichen. Die erreichbare r\u00e4umliche Aufl\u00f6sung ist sehr hoch, da sie sich aus der Rohaufl\u00f6sung des Sensors in der einen Dimension (gew\u00f6hnlich 2048-4096 Pixel) und der Scangeschwindigkeit in der anderen Dimension ergibt. Grundvoraussetzung f\u00fcr die hohen spektralen und r\u00e4umlichen Aufl\u00f6sungen ist jedoch das Scanning, also die Relativgeschwindigkeit zwischen Kamera und Objekt, welches zu einem potentiell komplexeren Aufbau in der Applikation f\u00fchren kann. Es muss jedoch hervorgehoben werden, dass das Scanning oft der Anwendung inh\u00e4rent ist und deshalb keinen Nachteil darstellt.<\/p>\n

Snapshot-Mosaik<\/h1>\n

Hyperspektralkameras mit Snapshot-Mosaik Sensor sind herk\u00f6mmlichen Farbkameras sehr \u00e4hnlich. Die Filterbeschichtung ist als Mosaik aus sich wiederholenden Kacheln angeordnet. Anders als bei der Bayer-Matrix mit 2 \u00c3- 2 Pixeln bestehen diese Kacheln jedoch meist aus 4 \u00c3- 4 oder 5 \u00c3- 5 Pixeln. In jeder dieser Kacheln sind die einzelnen Pixel mit unterschiedlichen Schmalbandfiltern beschichtet (siehAbbildung 2), wodurch die Anzahl der Spektralb\u00e4nder im Vergleich zu den herk\u00f6mmlichen Farbkan\u00e4len Rot, Gr\u00fcn und Blau deutlich erh\u00f6ht wird. Die zus\u00e4tzlichen spektralen Informationen bedingen jedoch aufgrund der vergr\u00f6\u00dferten Kachelabmessungen im Filtermosaik eine Verringerung der r\u00e4umlichen Aufl\u00f6sung.<\/p>\n

\"Spektralb-nder\"<\/p>\n

Abbildung 1: Schema des CMOSIS CMV2000 Sensors mit einem auf die Sensorreihen ausgerichteten Schmalband-Filtermuster. Jedes Spektralband deckt eine Fl\u00e4che der vollen Breite (2048 Pixel) mal 8 Reihen ab. Der abgedeckte Spektralbereich von 600 nm bis 1000 nm wird mit 100 Spektralb\u00e4ndern erfasst. Der modifizierte Sensor wird von IMEC bereitgestellt und von mehreren Kameraherstellern implementiert. Foto: XIMEA https:\/\/www. <\/a>ximea.com\/support\/attachments\/4675\/XIMEA_imec_HSI_technology-Part-V1.1.pdf<\/a><\/p>\n

\"Mosaik\"<\/p>\n

Abbildung 2: Schema des CMOSIS CMV2000 Sensors mit sich wiederholenden Kacheln aus 4 \u00c3- 4 Pixeln. In jeder Kachel wird der gesamte Spektralbereich von 465 nm bis 630 nm mit 16 Spektralb\u00e4ndern erfasst. Der modifizierte Sensor wird von IMEC bereitgestellt und von mehreren Kameraherstellern implementiert. Foto: XIMEA https:\/\/www.ximea.com\/ <\/a>support\/attachments\/4675\/XIMEA_imec_HSI_technology-Part-V1.1.pdf<\/a><\/p>\n

Die resultierenden Rohaufl\u00f6sungen liegen meist im Gr\u00f6\u00dfenbereich von 500 \u00c3- 250 Pixel, k\u00f6nnen aber mit ausgefeilten Interpolationsalgorithmen erh\u00f6ht werden.<\/p>\n

Wie es der Name andeutet, k\u00f6nnen die vollst\u00e4ndigen r\u00e4umlichen und spektralen Informationen mit einem Snapshot<\/em> gewonnen werden. Hyperspektralkameras mit Snapshot-Mosaik k\u00f6nnen deshalb auch f\u00fcr konventionelle Videoerfassung oder andere Anwendungen verwendet werden, bei denen Scanning nicht umsetzbar ist. Hyperspektralkameras mit Snapshot-Mosaik sind somit sehr vielseitig und k\u00f6nnen leicht in nahezu jede Anwendung integriert werden, bei der sonst herk\u00f6mmliche Farbkameras verwendet werden. Dazu z\u00e4hlen die Qualit\u00e4tskontrolle, Lebensmittelsortierung, Gewebeanalyse, Endoskopie und Mikroskopie. Der einzige Nachteil ist die begrenzte Anzahl von ungef\u00e4hr 20 Spektralb\u00e4ndern im Vergleich zu \u00fcber 100 bei Kameras mit Pushbroom-Scanning. Allerdings reicht dies bereits f\u00fcr viele Bildverarbeitungsproblemstellungen aus, die mit herk\u00f6mmlichen Farbkameras nicht gel\u00f6st werden k\u00f6nnen.<\/p>\n

Objektive und weitere Bildverarbeitung
\n<\/h1>\n

F\u00fcr den Einsatz von Objektiven gelten bei beiden oben beschriebenen Sensordesigns keine besonderen Einschr\u00e4nkungen. Es muss lediglich auf eine hohe Transmission und eine geringe chromatische Aberration im betreffenden Spektralbereich geachtet werden. Daher k\u00f6nnen Kameras mit hyperspektralen Bildsensoren leicht mit bereits existierenden Objektiven f\u00fcr die industrielle Bildverarbeitung verwendet werden.<\/p>\n

Bei Hyperspektralkameras erfolgt die Datenausgabe in Form von 3D-Datenw\u00fcrfeln mit zwei r\u00e4umlichen und einer spektralen Dimension, d. h. eines vollst\u00e4ndigen Spektrums f\u00fcr jeden Pixel. Das Prinzip eines solchen Datenw\u00fcrfels wird in Abbildung 3 veranschaulicht. Dabei stehen x<\/em> und y<\/em> f\u00fcr die bekannten r\u00e4umlichen Dimensionen des Bildes und die vertikal angeordneten \u00ce\u00bb<\/em>1..n <\/em><\/sub>f\u00fcr n <\/em>Spektralb\u00e4nder. Es sollte beachtet werden, dass eine umfangreiche Bildnachverarbeitung erforderlich ist, um die Rohinformationen in Daten umzuwandeln, die dann f\u00fcr die Objektidentifizierung oder -klassifizierung genutzt werden k\u00f6nnen.<\/p>\n

Zusammenfassung<\/h1>\n

Durch die Entwicklung von D\u00fcnnschichtverfahren in der Halbleitertechnik ist es m\u00f6glich, Schmalband-Spektralfilter auf Pixelebene zu implementieren. Mit dieser Technologie k\u00f6nnen Hyperspektralkameras als zuverl\u00e4ssige, kompakte und benutzerfreundliche Systeme implementiert werden, die in viele verschiedene Anwendungen integriert werden k\u00f6nnen. Diese reichen von der Pr\u00e4zisionslandwirtschaft mit Dronen \u00fcber die genaue Unterscheidung zwischen Gewebe, Nerven und Blutgef\u00e4\u00dfen bei der nichtinvasiven Chirurgie bis hin zu deutlichen Verbesserungen bei der Lebensmittelsortierung oder Qualit\u00e4tskontrolle. Insbesondere in Kombination mit leistungsf\u00e4higen Algorithmen wie neuronalen Netzen, die die gew\u00fcnschten Informationen aus den gro\u00dfen Mengen von Rohdaten extrahieren und analysieren, verbessern Hyperspektralkameras praktisch alle Anwendungen, bei denen die Farbe des Objekts eine zentrale Rolle spielt.<\/p>\n

\"W-rfel\"<\/p>\n<\/div>\n

Abbildung 3:<\/strong> Ein 3D-Datenw\u00fcrfel, bei dem x und y f\u00fcr die r\u00e4umlichen Dimensionen stehen und \u00ce\u00bb1..n <\/sub>f\u00fcr n Spektralb\u00e4nder.
\nFoto: XIMEA https:\/\/www.ximea.com\/support\/ <\/a>attachments\/4675\/XIMEA_imec_HSI_ <\/a>technology-Part-V1.1.pdf<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Bei vielen Bildverarbeitungsanwendungen sind die wichtigen Informationen in der Farbe der Szenerie kodiert. Herk\u00f6mmliche Farbkameras gewinnen diese Informationen basierend auf den drei Standardfarbkan\u00e4len Rot, Gr\u00fcn und Blau (RGB). Mit dieser Technik werden die Farben jedoch nur n\u00e4herungsweise reproduziert und die Qualit\u00e4t ist oft nicht ausreichend um das Bildverarbeitungsproblem zuverl\u00e4ssig zu l\u00f6sen.<\/p>\n","protected":false},"author":6,"featured_media":320,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false},"article-category":[],"article-tag":[],"class_list":["post-316","articles","type-articles","status-publish","format-standard","has-post-thumbnail","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles\/316","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles"}],"about":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/types\/articles"}],"author":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/comments?post=316"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media\/320"}],"wp:attachment":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media?parent=316"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-category?post=316"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-tag?post=316"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}