Neue Herausforderungen für Kameraentwickler

Eingebettete Bildverarbeitung und KI gelten als Erfolgsduo für neue Anwendungen – aber Entwickler müssen zunächst eine Reihe von Hürden überwinden

Eingebettete Bildverarbeitungssysteme halten derzeit Einzug in die industrielle Bildverarbeitung, um die Miniaturisierung weiter voranzutreiben. Sie sorgen dafür, dass Bildverarbeitungssysteme immer kleiner und kostengünstiger werden, indem sie mit dem Hauptsystem „verschmelzen“. Typische Embedded Vision-Anwendungen entstehen derzeit in der Robotik, Intralogistik und Mixed Reality. Aufgrund der tiefen Integration und der zunehmenden Parametervielfalt nimmt auch die Komplexität zu – was die Kameraentwickler vor neue Herausforderungen stellt.

Eine tiefe Integration des Bildverarbeitungs-Subsystems in das Endprodukt kann sowohl die Leistung als auch die Kosten für eine bestimmte Anwendung optimieren. Die größte Herausforderung besteht dabei darin, den Spagat zwischen einer spezifischen, hoch optimierten Bildverarbeitungslösung auf der einen Seite und einfacher Zugänglichkeit, schnellen Entwicklungszyklen und umfassender Skalierbarkeit auf der anderen Seite zu schaffen. Aus diesem Grund führt oft kein Weg an maßgeschneiderten Entwicklungslösungen vorbei. Parameter wie Kosten, Größe, Leistung und Energiebedarf lassen sich jedoch nur dann wirksam „ausbalancieren“, wenn die Anforderungen gründlich analysiert und in die richtigen Spezifikationen übersetzt werden. Dabei müssen oft neue Wege beschritten werden, denn heute werden Technologien und Architekturen verwendet, die in der herkömmlichen industriellen Bildverarbeitung nicht bekannt sind.

Modularer Entwurf von eingebetteten Bildverarbeitungssystemen

Häufig erfolgt die Entwicklung des eingebetteten Vision-Lösungselements und des Hauptsystems parallel, um beide Einheiten optimal aufeinander abzustimmen und maximale Synergieeffekte zu erzielen. Embedded Vision vermeidet herkömmliche Architekturen, die auf Host-PCs, Ethernet/USB-Schnittstellen und eingebauten Kameras basieren. Stattdessen wird das System in Module aufgeteilt, die sich die verfügbaren Ressourcen wie die Stromversorgung, den Hauptprozessor oder das Gehäuse so weit wie möglich teilen. Dazu müssen die einzelnen Module, einschließlich der Software, bestmöglich aufeinander abgestimmt sein. Nur dann kann das System die aufgenommenen Bilder effizient übertragen und verarbeiten.

Wenn künstliche Intelligenz (KI) eingesetzt wird, kommen einige Besonderheiten ins Spiel. In diesem Fall werden die Kameradaten in Echtzeit ausgewertet und Entscheidungen auf der Grundlage dieser Daten getroffen. Aktuelle eingebettete Architekturen bieten dafür ausreichend Rechenleistung. Es ist jedoch wichtig, im Voraus zu klären, welche Daten, Merkmale oder Objekte für die Anwendung relevant sind, um das System in Bezug auf Auflösung, Empfindlichkeit und Datenrate optimal zu gestalten.

Die Kombination von KI und eingebetteter Bildverarbeitung bietet derzeit ungeahnte Möglichkeiten, und die Kreativität der Hersteller kennt scheinbar keine Grenzen. Anwendungen von Lieferdrohnen über automatisierte Sportanalysen im Haushalt bis hin zu automatischen Fütterungsmaschinen für Haustiere zeichnen sich ab. Viele Entwickler und Designer müssen jedoch feststellen, dass die notwendige Technologie zwar vorhanden, aber in der Regel sehr komplex ist und daher nicht im vorgesehenen Budget und Zeitrahmen erfolgreich integriert werden kann.

Das gesamte System als eine Einheit sehen

Die zentrale Herausforderung für Entwickler ist die präzise, vollständige Definition der Anforderungen gleich zu Beginn eines Imaging-Projekts – einschließlich des kommerziellen Rahmens für die spätere Serienproduktion. Nur dann kann die Lösung so entwickelt und vorbereitet werden, dass eine reibungslose und schnelle Überführung in die Serienproduktion erreicht werden kann. Dabei müssen alle Bildverarbeitungskomponenten als ein System gesehen und bewertet werden. Der Sensor, das Objektiv und der Prozessor können nicht einfach unabhängig voneinander ausgewählt werden, da sie sich teilweise gegenseitig bedingen. Es gibt in der Regel viele Stellschrauben, um eine Lösung zu optimieren, und jede Einstellung hat Auswirkungen, die bekannt sein müssen.

Beispiel: Kleinere Pixel ermöglichen heute einen kleineren Sensor (mit einer festen Auflösung), der weniger teuer ist, aber in der Regel auch eine geringere Empfindlichkeit und Sättigungsleistung aufweist. Gleichzeitig können die Benutzer in der Regel ein kleineres Objektiv wählen, was einen weiteren Preisvorteil bietet, aber sie müssen darauf achten, dass das Objektiv eine hohe Auflösungsfähigkeit hat, die wiederum zu der kleinen Pixelgröße des Sensors passt. Außerdem muss das Objektiv eine kurze Brennweite haben, um den gleichen Blickwinkel zu erreichen, den eine längere Brennweite in Kombination mit einem größeren Sensor haben würde. Dies wirkt sich auf die Blende und folglich auf die Schärfentiefe und das verfügbare Licht aus.

Systemarchitektur und Schnittstellen sind entscheidend

Eine höhere Pixeldichte bedeutet mehr Daten in der Bildverarbeitungspipeline. Das System muss in der Lage sein, diese Datenmenge zu übertragen und zu verarbeiten. Die Bandbreite eines Bildverarbeitungssystems ist jedoch begrenzt, so dass ein Kompromiss zwischen Auflösung, Pixelbittiefe und Bildrate gefunden werden muss. Die Schnittstelle zum Prozessorsystem ist für die Übertragung aller Bilddaten und damit auch für die Datenverarbeitung äußerst wichtig. Es muss sichergestellt werden, dass immer genügend Ressourcen vorhanden sind, um die Anforderungen der Anwendung zu erfüllen.

In der Regel liegen alle Daten von den Sensoren im RAW-Format vor, so dass eine Reihe von mathematischen Transformationen durchgeführt werden muss, um ein Bild zu erhalten, das dem entspricht, was unsere Augen gewohnt sind. In verschiedenen Systemen sind unterschiedliche Algorithmen implementiert, und je nach den RAW-Daten – definiert durch die Eigenschaften des Sensors und des Objektivs – erzielen einige eine bessere und andere eine schlechtere Bildqualität. Daher werden hier entsprechende Tests empfohlen, um empirisch herauszufinden, wie die besten Ergebnisse im jeweiligen Fall erzielt werden können.

Die richtige Systemarchitektur bietet ein erhebliches Einsparungspotenzial bei der Stromversorgung, der Größe (aufgrund des kleineren Formfaktors) und den Kosten. Gleichzeitig kann die Bildqualität dank der aktuellen Technologieleistung so an die Anwendung angepasst und optimiert werden, dass kaum Kompromisse eingegangen werden müssen.

Berücksichtigen Sie bei allen Bewertungen auch die Produzierbarkeit

Bereits in der Entwurfsphase eines Bildverarbeitungsprodukts muss festgestellt werden, ob es in Serie produziert werden kann und ob die Funktionalität des Serienprodukts gewährleistet ist. Sobald die Architektur definiert und das Design abgeschlossen ist, müssen die Produktionsprozesse so eingerichtet werden, dass eine gleichbleibende Qualität erreicht wird und die Anwendung in der Praxis unter den vorgegebenen Bedingungen erfolgreich läuft. Nachträgliche Korrekturen müssen unbedingt vermieden werden – sie führen zu einem Zeitverlust (längere Markteinführungszeit) und zu schwer kalkulierbaren Folgekosten. Damit sich die Hersteller voll und ganz auf ihre Kernkompetenzen konzentrieren können und die Entwickler von Embedded Vision Systemen ein möglichst geringes Risiko eingehen, ist es ratsam, von Anfang an mit erfahrenen Partnern wie FRAMOS zusammenzuarbeiten.