Cameras have become indispensable in modern industrial applications. In many cases, intelligent vision systems support and even enable specific applications. They detect and record obstacles, recognize objects, and map them. They can be found in cars, intralogistics, autonomous mobile robots, and drones. Advances in technology have made vision system components smaller, more affordable, and accessible for a wide range of uses.

Eine Anwendung mit Bildverarbeitungsfunktionen auszustatten, kann äußerst komplex sein, aber in vielen Fällen ist es einfacher, als Sie vielleicht denken. Es gibt ein paar wichtige Dinge, die Sie beachten sollten. In unserem Artikel erklären wir Ihnen, was Sie wissen müssen, um mit Ihrer Anwendung loslegen zu können.

Embedded Vision Anwendungen

Embedded vision applications are rapidly expanding across a diverse range of industries, each leveraging the technology to address unique challenges and unlock new possibilities. In manufacturing, embedded vision systems play a crucial role in quality control, assembly line automation, and inspection, providing detailed analysis and insights that drive efficiency and accuracy.

Der Gesundheitssektor profitiert von eingebetteter Bildverarbeitung durch fortschrittliche medizinische Bildgebung, Patientenüberwachung und Diagnosetools, die alle zu einer verbesserten Patientenversorgung und besseren Ergebnissen beitragen. Im Transportwesen ist die eingebettete Bildverarbeitung das Herzstück autonomer Fahrzeuge, die ihre Umgebung wahrnehmen und während der Fahrt fundierte Entscheidungen treffen können. Mit der weiteren Entwicklung eingebetteter Bildverarbeitungssysteme wird ihre Fähigkeit, verwertbare Erkenntnisse zu liefern und die Systemleistung zu verbessern, weiter zunehmen und den Weg für noch mehr innovative Anwendungen in der Zukunft ebnen.

Herausforderungen bei der Kameraintegration

Um einem Bildverarbeitungssystem Fähigkeiten zu verleihen, brauchen Sie ein gutes Verständnis der Anwendung, die Sie erstellen. Die beiden Schlüsselfragen dabei sind: Welches Ergebnis möchten Sie erreichen und welche Faktoren spielen dabei eine Rolle? Die Erstellung hochauflösender Bilder für Luftaufnahmen erfordert von einem Kamerasystem andere Fähigkeiten und Eigenschaften als die Messung von Füllständen in einer dunklen Fabrikhalle. Thermische und mechanische Einflüsse müssen berücksichtigt werden und die gewünschten Bildergebnisse müssen klar definiert sein. Während einige Anwendungen mit einer relativ geringen Auflösung von 2 bis 3 Megapixeln auskommen, erfordern Anwendungen in der Qualitätskontrolle, wie z.B. die Oberflächeninspektion von Wafern, die „letzten paar Prozent“ an Leistung von einem Kamerasystem. Dies ist die Anwendungsseite des Anforderungsprofils für die Kameraintegration.

Die Hardwareseite hingegen sieht wie folgt aus: Ein Kamerasystem besteht aus ein paar Komponenten. Zunächst benötigen Sie einen Bildsensor, ein geeignetes Objektiv, Steuerplatinen, Verkabelung und entsprechende Treiber oder Software. Bildsensoren werden normalerweise direkt auf einer Platine integriert und für industrielle Zwecke angeboten. Dies nennt man ein Kameramodul. Die Steuerlogik für den Sensor befindet sich auf der Platine. Häufig werden energieeffiziente Steuergeräte wie ESP32 verwendet.

These can be flashed with the appropriate code. For demanding industrial applications, however, there are also powerful system-on-modules (SOM) such as those from NVIDIA and AMD (formerly Xilinx) with system-on-chips (SOC) developed for specific applications, such as those from NXP, which optimally integrate powerful image sensors such as those from Sony. There is a wide range of SOMs, SOCs, adapter boards, cabling options, and software stacks available. This is urgently needed because the choice is as wide as the range of applications.

Eingebettete Vision: Kameramodul bestehend aus Bildsensor und Leiterplatte, Flexkabel und Objektiv.

In vielen Fällen fungiert das Kamerasystem als ein Gerät, das sowohl die Bilderfassung als auch die Bildverarbeitung in einer kompakten Einheit integriert und so eine Miniaturisierung und anwendungsspezifische Anpassung ermöglicht. Ein eingebettetes Bildverarbeitungssystem kombiniert Hardware und Software, um Bilder in einem einzigen Gerät zu erfassen, zu verarbeiten und zu analysieren, und bietet damit Flexibilität und transformatives Potenzial für eine Vielzahl von Anwendungen.

Bei der Diskussion über die Steuerlogik und die SOMs ist es wichtig zu beachten, dass das FPGA-Design eine Schlüsselrolle bei der Erzielung niedriger Latenzzeiten und der Unterstützung fortschrittlicher Anwendungen wie Bildverarbeitung und Deep Learning spielt. Es gibt eine große Auswahl an SOMs, SOCs, Adapterplatinen, Verkabelungsoptionen und Software-Stacks, was auch dringend notwendig ist, denn die Auswahl ist so groß wie die Bandbreite der Anwendungen. Die Bildverarbeitung ist für die Interpretation visueller Daten für Echtzeitanwendungen unerlässlich und ermöglicht intelligente und reaktionsschnelle eingebettete Bildverarbeitungssysteme.

Planung der Kameraintegration zur Kontrolle von Umwelteinflüssen

Nehmen wir an, dass eine Kamera in ein Auto integriert und als Rückfahrkamera verwendet werden soll: Bei der Planung der Kameraintegration ist es wichtig, klare Ziele zu setzen, um sicherzustellen, dass alle Anforderungen erfüllt werden und das System mit den beabsichtigten Zielen übereinstimmt. Das Kamerasystem muss sowohl bei Tag als auch bei Nacht mit gleichbleibend guter Leistung funktionieren und relativ hohen Temperaturen und Vibrationen standhalten. Darüber hinaus sollte die Kamera hochauflösende Bilddaten in Echtzeit liefern, die von einer elektronischen Steuereinheit (ECU) verarbeitet (z. B. zur Hinderniserkennung) und dann an einen Domain Controller oder den Fahrzeugcomputer weitergeleitet werden.

Dies erfordert einen Bildsensor mit einem hohen Dynamikbereich, um große Helligkeitsunterschiede adäquat zu erfassen, sowie ein leistungsfähiges SOM, das idealerweise für Automobilanwendungen ausgelegt und im Optimalfall vorzertifiziert ist. Das Kamerasystem muss korrekt fokussiert sein, und thermische Einflüsse dürfen das Bildergebnis nicht verfälschen. Auch Schock- und Vibrationseinflüsse müssen berücksichtigt werden. Besteht zudem eine große Entfernung zwischen dem Steuergerät bzw. Fahrzeugcomputer und der Kamera im Auto, muss eine entsprechende Verkabelung vorhanden sein und bei hohem Datenaufkommen muss nicht nur das oben erwähnte SOM mithalten können, sondern auch eine geeignete, leistungsfähige Datenschnittstelle vorhanden sein.

Koaxialkabel auf der Basis von GMSL werden häufig in Automobilen verwendet. Dadurch können die Optiken bis zu 15 Meter von den Leiterplatten entfernt installiert werden.

Während der Systemvalidierung und der Leistungsüberprüfung müssen Sie unbedingt Maßnahmen ergreifen, um die Systemsicherheit zu überprüfen und alle relevanten Protokolle vor dem Einsatz zu kontrollieren.

Umfassendes modulares System für perfekte Integration

Nowadays, there are suitable components available to overcome all these hurdles. FRAMOS offers a complete, optimally coordinated ecosystem that is ideally suited to every conceivable application.

Ein Bausatz für dieses modulare System, bekannt als FSM:Ecosystem, besteht in der Regel aus den folgenden Komponenten:

  • FRAMOS Sensor-Modul (FSM): Gelöteter Bildsensor und Optik
  • FRAMOS Sensor Adapter (FSA): Adapterkarte für die Datenschnittstelle
  • FRAMOS Funktionsadapter (FFA): Adapterplatine für Anschluss oder Verkabelung
  • FRAMOS-Prozessor-Adapter (FPA): Adapterplatine für die Zielplattform
  • Die in dieses Ökosystem integrierten Bildsensormodule sind für die Kompatibilität mit einer breiten Palette von Prozessoren ausgelegt und eignen sich daher ideal für Edge AI- und Computer Vision-Anwendungen in verschiedenen Branchen.
Das FSM:Ecosystem ist ein modulares System aus kompatiblen Komponenten, die zu einer perfekten Vision zusammengesetzt werden können.

Embedded vision cameras within this ecosystem are designed for compatibility with a wide range of processors, making them ideal for edge AI and computer vision applications across diverse industries.

In addition, there are suitable lenses, drivers, and reference applications for easy entry into development. A conceivable kit could thus consist of a high-resolution image sensor or image sensor module with an FSA that supports the SVLS-EC data interface, which is designed for high data transfer capacities. To bridge the possible distance of 7 meters in a car, FFAs that support GMSL via coaxial cables would be used, allowing cable lengths of up to 15 meters, as well as an FPA as an intermediary to a suitable high-performance SOM such as those from AMD’s UltraScale series (or Xilinx).

In fact, the flexibility and modularity of this system empower developers to quickly adapt to new requirements and unlock the transformative potential of embedded vision technology.

Integrieren ist einfach – dank der Möglichkeiten von FRAMOS

Neben der richtigen Hardware sind auch eine Reihe von Fähigkeiten erforderlich, um optimale Bildergebnisse zu erzielen. Um beim Beispiel Auto zu bleiben, müssen thermische Einflüsse minimiert werden und die Objektive müssen so montiert werden, dass sie dauerhaft stoß- und vibrationsfest sind. Darüber hinaus ist die Fokussierung des Objektivs entscheidend für eine ausreichend gute Bildauflösung. Für optimale Bildergebnisse muss auch der Bildsignalprozessor (ISP) abgestimmt und das Kamerasystem kalibriert und getestet werden.

Bei der ISP-Abstimmung werden die Kamerasysteme unter verschiedenen Beleuchtungsbedingungen getestet und für diese Bedingungen optimal konfiguriert. Diese Leistungen sind in der Regel sehr komplex, weshalb sie in der Regel von Bildgebungsexperten oder Bildgebungslabors durchgeführt werden. Um ein markantes Beispiel zu nennen: Die nahezu kippfreie Integration der Optik ist ein hochsensibler Prozess. Schon geringe Abweichungen führen zu suboptimalen Bildergebnissen.

The problem becomes more acute the larger the image sensor is. However, some applications require the maximum performance of a camera system. This process of setting the optics is then performed by a machine. This is what is meant by active alignment. However, this is not always necessary. For some applications, results that do not require extreme resolution are sufficient, for example when measuring fill levels in bottles.

Fortschrittliche Integrationsmöglichkeiten sorgen für zuverlässige Leistung und Produktdifferenzierung.

Lernen durch Handeln: Ingenieure integrieren die Kamera selbst

The easiest way to familiarize yourself with camera integration is to order a dev kit to test the capabilities of an image sensor or camera system. This allows you to quickly develop prototypes. Once a suitable prototype system has been developed, FRAMOS can help optimize it and bring it into series production. FRAMOS offers smart solutions, especially for small and medium-sized companies, to achieve high quality standards that would otherwise only be achievable for extremely large series production. One lever is FSM:GO.

FRAMOS hat diese Serie von optischen Sensormodulen für die schnelle Entwicklung von Prototypen entwickelt. Sie verfügt über eine überschaubare Auswahl an geeigneten Objektiven und FSM:GO ist so konzipiert, dass bestimmte Schritte im Integrationsprozess entfallen. So lässt sich mit FSM:GO beispielsweise die Zeit für die Fokussierung der Objektive erheblich reduzieren. Die Auswahl der FSM:GO-Module bietet einen Referenzrahmen, in dem bestimmte Anwendungen optimal funktionieren.

Bewährte Praktiken für Embedded Vision

Implementing embedded vision systems successfully requires careful planning and adherence to best practices. Engineers should begin by selecting hardware and software components-such as cameras, processors, and algorithms-that are specifically designed to meet the application’s requirements for power, resolution, and compliance.

Die enge Zusammenarbeit mit Branchenexperten und Forschern stellt sicher, dass das System auf die Bedürfnisse des Endanwenders zugeschnitten ist und die neuesten Fortschritte in der Embedded Vision Technologie nutzt. Außerdem ist es wichtig, die Systemleistung regelmäßig durch strenge Tests und Bewertungen zu überprüfen und bei Bedarf Anpassungen vorzunehmen, um eine optimale Funktionalität zu gewährleisten. Wenn sich Unternehmen auf diese Best Practices konzentrieren, können sie Embedded Vision Systeme entwickeln, die ihre betrieblichen Anforderungen nicht nur erfüllen, sondern sogar übertreffen und so einen klaren Vorteil in den heutigen schnelllebigen, technologiegetriebenen Märkten bieten.

Fazit

Um eine Kamera einfach in ein eingebettetes System zu integrieren, müssen Sie genau wissen, welche Bildergebnisse benötigt werden und in welcher Art von Umgebung das Kamerasystem eingesetzt werden soll. Geeignete Komponenten für den Bau und die Integration der Kamera gibt es für praktisch jede Anwendung.

The easiest and fastest way to integrate a high-performance camera is with a ready-made system such as the optical sensor modules of the FSM:GO series. For even more precise adaptation, suitable components are also available.