Was ist Embedded Vision

Mit einem leisen Summen rollt das autonome Fahrzeug durch die schmalen Gassen des Parkhauses. Die Lidar-Sensoren tasten die Umgebung ab, erfassen Wände, Säulen und freie Parklücken. Plötzlich bleibt das Auto stehen. Eine Lücke – perfekt dimensioniert für den Wagen – wird erkannt. Vorsichtig setzt das Fahrzeug zum Einparken an, steuert präzise rückwärts in die Parkbucht, erkennt die Seitenwände und die rückwärtige Wand. Doch dann geschieht etwas Unerwartetes: Die Vision-Sensoren des Fahrzeugs erfassen ein kleines Schild am Rand der Parklücke. Die Bilddaten werden mit Hilfe eines OCR-Algorithmus’ analysiert. Es ist Schrift erkennbar! Sie wird analysiert, interpretiert und das Ergebnis ist eindeutig: „Privat – Abschleppen auf eigene Kosten“ steht auf dem Schild. Sofort stoppt das Auto den Einparkvorgang, zieht vorwärts aus der Lücke und setzt seine Suche fort. Wenige Meter weiter findet es einen regulären Parkplatz – das Abschleppen bleibt erspart.

Diese Szene verdeutlicht die entscheidende Bedeutung von Embedded Vision in modernen autonomen Systemen. Während Lidar-Sensoren exzellente Arbeit bei der räumlichen Erfassung leisten, ermöglicht erst die Kombination mit Vision-Sensoren eine tiefere Kontextanalyse durch Bilderkennung und Textinterpretation. Doch was genau ist Embedded Vision eigentlich?

Eine kleine Einführung in Embedded Vision

Embedded Vision ist im Grunde genommen nichts anderes als ein digitales System mit Kamera. Es besteht mindestens aus Daten verarbeitender Hardware und Software und einem Kameramodul, bestehend aus Sensor, Objektiv und für die Hard- und Software passender Schnittstelle. Der Zweck besteht immer darin, einem größeren System die Fähigkeit zu geben, zu sehen. Genau wie in einem Auto.

Im Bereich von Embedded Vision kursieren einige Begriffe, die teilweise synonym verwendet werden wie Machine Vision oder Computer Vision. Allerdings gibt es eine klassische Interpretation von Machine Vision und eine vergleichsweise enge Definition von Computer Vision. Machine Vision, obwohl heute teilweise synonym zu Embedded Vision verwendet, wurde früher als ein System interpretiert, das aus eigenständigen Standardkameras besteht, die über ein langes Kabel wie Ethernet, USB oder CoaXPress mit einem herkömmlichen Desktop- oder Rack-Computer mit x86-Architektur verbunden sind. Analoge Teile oder Konverter wie Framegrabber waren und sind bis zu einem gewissen Grad auch heute noch üblich.

In moderner Denkweise ist Machine Vision bzw. Embedded Vision aber eher ein hochintegriertes digitales Kamera-System, das leistungsfähig Daten „am Ort des Geschehens“ sammelt und verarbeitet. Im Gegensatz zu Machine Vision bedeutet Embedded Vision, dass die Bildverarbeitungsfähigkeit von Anfang an im Entwurfsprozess eines eingebetteten Systems eingeplant wird. Sie umfasst eine bildverarbeitungsfähige Architektur mit bestimmten Funktionen, ein auf die Anwendung ausgelegtes Design und die Möglichkeit, auf den Bildsignalprozessor bzw. Image Signal Processor (ISP) zuzugreifen und ihn zu „tunen“. Die Hardware wird auf die Funktionalität konsolidiert, die für die Anwendung wirklich erforderlich ist. Daher könnte man von Embedded Vision als einer technisch und wirtschaftlich konsolidierten und verbesserten Version der maschinellen Bildverarbeitung bzw. von Machine Vision sprechen, die die Funktionalität und das resultierende Bildmaterial verbessert und gleichzeitig die Stückliste (BOM) reduziert. Leistungsfähigere Hardware begünstigt in den letzten Jahren hin diese Entwicklung und ermöglicht außerdem vernetzte, hochintegrierte Vision-Systeme am (Netzwerk-)Rand. Hier spricht man dann von Edge-Geräten mit Sehfähigkeit.

Computer Vision hingegen ist klarer definiert als ein Teilbereich der künstlichen Intelligenz. Computer Vision wird verwendet als KI-gestütztes maschinelles Sehen bzw. Verarbeiten von Rohbilddaten zum Erlernen bestimmter Fähigkeiten wie dem Erkennen von Objekten. Dazu sind zwei Dinge notwendig: Sehen mit Kameras und Verstehen mit KI. Um in unserem Beispiel zu bleiben, ermöglichen diese Technologien Schilder in Parkhäusern zu erkennen. Allerdings werden dafür sehr leistungsfähige (Groß-)Computer eingesetzt, wie sie eher in Laboren zu finden sind.

Moderne, leistungsfähige Embedded Hardware

Rohdaten wie die Bilddaten vom Parkhausschild werden nun mit Hilfe von Machine Vision und dank leistungsfähiger Hardware vor Ort erfasst, analysiert und interpretiert. Die Interpretation ist die Handungsgrundlage für den Aktor im digitalen Regelkreis. Vereinfacht gesprochen und ohne weitere Rohdaten zu berücksichtigen ist der Sinn, das Signal an den Stellmechanismus der Räder und der Beschleunigungseinheit des Autos weiterzugeben, so dass diese der Situation entsprechend agieren. Ein Auto besteht heutzutage aus einer Vielzahl an elektronischen Steuergeräten (ECUs), die miteinander vernetzt sind und Daten interpretieren. Klassischerweise sind ECUs Mikrocontroller, die nur eine einzige Aufgabe erfüllen.

Sie werden aber aus Konsolidierungsgründen immer häufiger durch Multiprocessor System-on-Chips (SoC) ersetzt, auf denen mehrere Anwendungen gleichzeitig laufen. Diese leistungsfähige Hardware ist meistens eine Kombination aus Leistungs- und Effizienzkernen verschiedener CPUs bzw. Mikrocontroller, die häufig auf ARM-Architektur beruhen und auf einer Platine aufgebracht sind. Die Leistungskerne – bei ARM sind das die Cortex-A-Kerne – können rechenintensive Anwendungen ausführen. Das ist besonders interessant für die Verarbeitung von Bilddaten. Cortex-R und Cortex-M-Kerne hingegen werden für sicherheitskritische, echtzeitbenötigende Aufgaben genutzt.

Da SoCs wie die Anwendungsprozessoren i.MX 8M Plus und i.MX 95 von NXP Semiconductors häufig auch für die Bildverarbeitung ausgelegt sind und über die erforderlichen Schnittstellen wie MIPI CSI-2 für die Kamerasensor-Konnektivität sowie dedizierte Hardware-Engines für den ISP, Vision Processing Units (VPUs) und Neural Processing Units (NPUs) für die KI-Beschleunigung innerhalb des SoC verfügen, eröffnen sich hier viele neue Möglichkeiten für Embedded Vision. Diese SoCs eignen sich für den Einsatz in den Märkten für Automobil-, Luftfahrt-, Schienen-, Industrie- und Medizintechnik sowie in vielen intelligenten, kompakten Geräten in verschiedenen Branchen. Die möglichen Anwendungen sind sehr vielfältig.

Moderne Kameramodule für qualitativ hochwertige Rohbilddaten

Auf Sensorseite ist die Entwicklung hin zu immer potenteren Kameramodulen in den letzten Jahren bemerkenswert. Diese Kameramodule bestehen mindestens aus Objektiv, passendem Mount, Sensor und Platine mit ISP und Schnittstelle für die angrenzende Hardware. Sensoren, die mit einer Auflösung von 200 Megapixeln gestochen scharfe Bilder liefern, waren bis vor wenigen Jahren noch in weiter Ferne. Auch der serienmäßige und kostengünstige Einsatz von Global-Shutter-Sensoren, die verzerrungs- bzw. artefaktfreie Einzelbilder liefern, ist heute mit Sensoren wie Sonys IMX900 im industriellen Bereich möglich und wird immer weiter angefragt. Rückseitig beleuchtete Pixel verbessern mittlerweile bei vielen Sensoren die Sehfähigkeit im Dunkeln. Auch bei der Anbindung tut sich einiges: Mit GMSL-Standard können auf den Kameramodulen Strecken von bis zu 14 Metern überbrückt werden und bei der Kommunikation zwischen Hardware und Kameramodul, unterstützen Schnittstellen wie SLVS-EC oder MIPI CSI-2 hohe Datenraten, so dass die großen Datenmengen, die bei immer leistungsfähigeren Sensoren anfallen, auch weitergeleitet und prozessiert werden können.

Die Software, inklusive der Treiber, Referenzanwendungen und Layer, um beispielsweise bestimmte Kameramodule auf einem Roll-your-own-Linux wie Yocto einzusetzen, wird immer umfangreicher und leistungsfähiger. Kameramodule können somit immer flexibler, anwendungsspezifischer und einfacher eingesetzt werden.

Anwendungsgebiete für Embedded Vision

Es gibt heutzutage für quasi jeden Einsatzbereich passende und bequem integrierbare Kameramodule. Systemintegratoren und Kamerabauer veredeln diese Grundlagen zu industriespezifischen Embedded-Vision-Systemen. So kann ein Systemintegrator beispielsweise speziell auf industrielle Bedürfnisse zugeschnittene Kamerasysteme bauen, die nach der Safety-Norm IEC 61508 zertifiziert sind und somit in Bereichen eingesetzt werden können, indem Menschen mit Maschinen arbeiten und Sicherheit höchste Priorität hat. Das ist beispielsweise bei Robotergreifarmen der Fall, die neben Menschen an einer Produktionsstraße arbeiten. Im Automotive-Bereich sind die ISO-Normen ISO 26262 und ISO PASS 8800 richtungsweisend, wenn es um Safety geht (ISO 26262) und darüber hinaus künstliche Intelligenz eingesetzt werden soll (ISO PASS 8800). Denkbar ist also beispielsweise, dass Autos mithilfe ihrer Vernetzungsfähigkeit over-the-air (OTA) Ad-hoc-Netzwerke bilden um sich gegenseitig mit Safety-Daten zu versorgen und so dabei helfen Unfälle zu vermeiden. So können beispielsweise von vorausfahrenden Autos Schlaglöcher mit Hilfe von Visionfähigkeit erkannt und an nachfolgende Autos weitergeleitet werden. Auch Verkehrsschilder können frühzeitiger erkannt und verarbeitet werden. Wenn diese Autos nun darüber hinaus Safety-Bilddaten nicht nur mit umliegenden Autos teilen, sondern auch mit einem zentralen Computer, spricht man von einer Edge-to-Cloud-Anwendung. Dies ergibt Sinn insbesondere für Computer Vision Sinn, weil die wertvollen – und heutzutage wesentlich: echten – Rohbilddaten zur weiteren Verarbeitung an einen Zentralcomputer (in der Cloud) gesendet werden können, wo diese Zentralcomputer maschinelles Lernen von bestimmten Bilddaten verbessern und so auch rückkoppelnd an die teilnehmenden Edge-Geräte Safety-Daten liefern können zur besseren Erkennung.

Fazit

Embedded Vision ist die Fähigkeit eines digitalen Verarbeitungssystems, Bilddaten zu erfassen und zu verarbeiten. Die Entwicklung der letzten Jahre macht ihren Einsatz immer leistungsfähiger, einfacher und kostengünstiger. Die erfassten Bilddaten helfen dabei unsere Welt sicherer und effizienter zu machen. Der Einsatz von Computer Vision maximiert das Potenzial und bildet die Grundlage für bahnbrechende Anwendungen. FRAMOS bietet passende Kameramodule sowie ein ganzes Ökosytem um die bestmöglichen Bilddaten zu erzeugen um dieses Ziel zu verwirklichen.