6 Hauptkomponenten eines Bildverarbeitungssystems

Alle Bildverarbeitungssysteme haben die gleichen Kernkomponenten. Dazu gehören wesentliche Komponenten und Schlüsselkomponenten, die für die Systemarchitektur grundlegend sind. Sie werden vielleicht nicht als die in dieser Infografik dargestellten diskreten Module entwickelt, aber sie haben dieselben Schlüsselteile, Funktionen und Anschlussmöglichkeiten.

Wenn Sie sich entscheiden, ein Bildverarbeitungssystem zu bauen oder zu kaufen, ist es wichtig, dass Sie jede dieser Komponenten verstehen und berücksichtigen. Die Designanforderungen für diese Komponenten sind voneinander abhängig, so dass der Designprozess in der Regel mit der Auswahl eines Bildsensors beginnt, der am besten für die beabsichtigte Anwendung des von Ihnen entwickelten Systems geeignet ist. Die Wahl der Bildverarbeitungshardware, einschließlich der Entscheidung, ob kommerzielle Standardkomponenten (COTS) oder kundenspezifische Lösungen verwendet werden, kann die Leistung des Systems erheblich beeinflussen, da sie sich auf Flexibilität, Kosten und Zuverlässigkeit auswirkt.

Einführung in Vision Systeme

Ein Bildverarbeitungssystem ist eine integrierte Lösung, die es Maschinen ermöglicht, visuelle Daten aus ihrer Umgebung zu interpretieren und darauf zu reagieren. Das Herzstück eines jeden Bildverarbeitungssystems ist der Bildsensor, der Licht einfängt und in elektrische Signale umwandelt. Diese Signale werden dann vom Bildverarbeitungssystem verarbeitet, um relevante Informationen zu extrahieren, die Aufgaben wie Qualitätskontrolle, Prozesssteuerung und Roboterführung unterstützen. Die richtige Beleuchtung ist entscheidend für eine optimale Leistung, denn sie sorgt dafür, dass die erfassten Bilder klar und genau sind, was sich direkt auf die Fähigkeit des Systems auswirkt, visuelle Daten zu analysieren. Bildverarbeitungssysteme sind in vielen Branchen weit verbreitet und liefern die Intelligenz, die für automatische Inspektion, Messung und Entscheidungsfindung benötigt wird. Durch den Einsatz von Computer-Vision-Technologien können diese Systeme eine konsistente Hochgeschwindigkeitsanalyse von Bildern liefern, was sie für moderne Fertigungs- und Automatisierungsumgebungen unverzichtbar macht.

BILDSENSOR UND BILDAUFNAHME

Der von Ihnen gewählte Sensor wird sich auf fast alle anderen Entscheidungen auswirken, die Sie beim Aufbau Ihres Systems treffen. Der Bildsensor stellt die Kernfunktionalität für das Bildverarbeitungssystem bereit und bestimmt die Anforderungen an das optische Design, den Datentransport und den Stromverbrauch.

Einige 3D-Sensortechnologien verwenden mehrere nebeneinander montierte Bildsensoren, um ein stereografisches Bild zu erstellen. Moderne Bildverarbeitungssysteme verwenden oft mehrere Kameras, um synchronisierte oder mehrkanalige Bilddaten zu erfassen. Dies ermöglicht eine umfassendere Analyse und mehr Flexibilität bei Bildverarbeitungsanwendungen.

Bei der Auswahl eines Bildsensors gibt es eine Reihe von Faktoren zu berücksichtigen, angefangen bei dem erforderlichen Einsatzspektrum des Sensors:

• Ist Ihr Bildverarbeitungssystem für den Einsatz im sichtbaren Licht, im Ultraviolett oder im kurzwelligen Infrarot vorgesehen?
• Wird Ihr Bildverarbeitungssystem unter kontrollierten Bedingungen oder im Freien arbeiten?
• Muss Ihr Bildverarbeitungssystem bei schlechten Lichtverhältnissen arbeiten?

Die Kamera nimmt Bilder auf, indem sie das vom Zielobjekt reflektierte Licht aufzeichnet. Die Fähigkeit, Bilder zu erfassen und klare Bilder zu erzeugen, hängt von der Lichtintensität und der Qualität der Lichtquelle ab, z. B. von LED-Leuchten und Beleuchtungsmodulen, die für die richtige Beleuchtung unerlässlich sind. Der Sensor wandelt das einfallende Licht in ein digitales Signal um, das dann in ein digitales Bild oder erfasste Bilder zur weiteren Analyse durch das System verarbeitet wird.

Neben der gewünschten Bildauflösung müssen Sie auch die erforderliche Bildaufnahmegeschwindigkeit und Bildrate berücksichtigen und überlegen, ob Ihre Anwendung einen Global Shutter – zur Erfassung von Hochgeschwindigkeitsbewegungen – oder einen Rolling Shutter-Sensor für geringere Kosten und höhere verfügbare Auflösungen erfordert. Die Wahl des Kameraobjektivs und seiner Brennweite sind ebenfalls entscheidend, da sie bestimmen, wie das Licht auf den Sensor gelenkt wird und die Bildqualität insgesamt beeinflussen. Der Datentransport zwischen dem Sensor und den Verarbeitungseinheiten ist häufig auf Framegrabber oder einen Framegrabber für eine schnelle und zuverlässige Übertragung der Bilddaten angewiesen, insbesondere bei professionellen Geräten. Die Verarbeitungszeit ist ein weiterer wichtiger Faktor, denn ein schnelleres System kann Verzögerungen bei der Bildanalyse verringern und die Reaktionsfähigkeit verbessern.

Wenn Ihre Antworten auf diese Fragen wie die Antworten vieler anderer Leute aussehen und Ihre Sensorauswahl ziemlich typisch für andere Kameras und Kameramodule ist, sollten Sie sich nach einer Standardlösung für Ihr Bildverarbeitungssystem umsehen. Diese Lösungen verwenden oft PC-basierte Systeme, Bildverarbeitungssoftware und ein Bildverarbeitungssystem, um die Sensorausgabe für eine breite Palette von Bildverarbeitungsanwendungen zu verarbeiten und zu analysieren. Auch die Konnektivität spielt eine wichtige Rolle, wobei die Kommunikationsschnittstelle eine wichtige Rolle bei der Verknüpfung von Sensoren mit anderen Systemkomponenten spielt. Wenn Sie jedoch sehr spezifische Anforderungen haben, ist es vielleicht die bessere Wahl, zumindest einen Teil Ihrer Lösung selbst zu bauen.

SENSOR-MODUL

Das Sensormodul ist eine Schlüsselkomponente eines jeden Bildverarbeitungssystems. Es dient nicht nur als Trägermaterial für den Sensor und die Objektivhalterung, sondern muss auch den Zugang zu den Datenleitungen auf dem Sensor und eine physische Verbindung zu einem geeigneten Sensoradapter für das Datenkommunikationsprotokoll bereitstellen, das in Ihrem Bildverarbeitungssystem verwendet wird, um die Rohbilddaten vom Bildsensor zu einem Bildprozessor oder Bildprozessoradapter zu übertragen. Die Kommunikationsschnittstelle ist ein entscheidender Aspekt bei der Entwicklung von Sensormodulen. Sie ermöglicht eine zuverlässige Datenübertragung zwischen dem Sensor und anderen Komponenten innerhalb der Bildverarbeitungshardware.

Sensormodule sind so konzipiert, dass Ingenieure schnell einen Prototyp und einen Proof of Concept erstellen können. Später im Produktentwicklungszyklus können Sie Ihre eigene Leiterplatte entwickeln, die nur die von Ihnen benötigten Funktionen enthält, oder Sie können das Sensormodul in Ihr Design integrieren.

Auch wenn das Sensormodul in Ihrem endgültigen Design nicht unbedingt eine diskrete Leiterplatte ist, wie hier gezeigt, benötigen alle Bildverarbeitungssysteme dieselbe Kernfunktionalität, um mit dem Sensor zu „sprechen“. Aufgrund der hohen Dichte der Datenleitungen, die mit dem Sensor verbunden sind, und der Notwendigkeit eines mehrlagigen Leiterplattendesigns kann die Entwicklung dieser Komponente mit hohen Kosten verbunden sein, so dass ein handelsübliches Sensormodul eine gute Wahl sein kann – zumindest während der Prototypenphase. Kommerzielle Standard-Sensormodule sind als Teil des breiteren Vision-Hardware-Ökosystems weithin verfügbar und bieten Flexibilität und schnelle Integration für eine Vielzahl von Systemanforderungen.

OPTICS

Die Wahl des richtigen Objektivs und der richtigen Objektivfassung für den von Ihnen gewählten Sensor ist entscheidend für die richtige Leistung Ihres Bildverarbeitungssystems. Das Kameraobjektiv spielt eine entscheidende Rolle, indem es das vom Zielobjekt reflektierte Licht auf den Sensor fokussiert, und die Brennweite des Objektivs bestimmt das Sichtfeld und die Bildeigenschaften für Ihre Anwendung. Die Brennweite des Objektivs bestimmt das Sichtfeld und die Bildeigenschaften für Ihre Anwendung. Das erforderliche Objektiv wird zum Teil durch die physische Größe des Bildsensors (und den daraus resultierenden Bildkreis) und zum Teil durch den Arbeitsabstand des Bildverarbeitungssystems bestimmt.

So benötigen beispielsweise Webkameras, die in der Regel in sehr geringem Abstand zum Motiv verwendet werden, ein Weitwinkelobjektiv mit einer kurzen Mindestfokussierungsdistanz, während Überwachungskameras in der Regel in einem größeren Arbeitsabstand verwendet werden und möglicherweise eine Zoomfunktion benötigen. Der Typ und die Größe des benötigten Objektivs bestimmen den Typ des benötigten Objektivanschlusses.

Einige spezielle Anwendungen geben die Wahl der Optik vor. Wenn Sie zum Beispiel einen Sensor für kurzwelliges Infrarot (SWIR) verwenden, sind Sie auf Optiken beschränkt, die für das Infrarotspektrum entwickelt wurden (gewöhnliche Glaselemente absorbieren Infrarotlicht).

Die Wahl Ihres Objektivs bestimmt den Typ des für Ihre Kamera erforderlichen Objektivanschlusses. Die gängigsten Typen sind Fassungen für M12-Schraubobjektive und Fassungen für C- und CS-Mount-Objektive. Es gibt noch andere Arten von Fassungen für große Objektive, die aber weniger häufig verwendet werden.

M12-, C- und CS-Anschlüsse sind allesamt Schraubanschlüsse und unterscheiden sich in erster Linie durch ihren Durchmesser (12 mm bei M12-Objektiven im Gegensatz zu 25,4 mm bei C-/CS-Objektiven) und durch den Abstand vom Flansch zur Bildplatte (Sensoroberfläche).

OPTISCHES MODUL

Optische Module bieten eine einfache Möglichkeit, einen Prototyp eines Bildverarbeitungssystems zu entwickeln und in das Endprodukt zu integrieren.

Ein optisches Modul ist eine aufeinander abgestimmte Kombination aus einem Sensor, einem Sensormodul und einer Optik, die alle kompatibel sind und für einen bestimmten Bereich von Arbeitsabständen verwendet werden können. Das Objektiv und der Objektivanschluss werden bei der Herstellung auf den Sensor ausgerichtet und für den Fokus eingestellt.

Je nach Systemanforderungen kann das optische Modul auch ein Sensor-Adaptermodul oder einen Prozessor-Board-Adapter enthalten. Die Beschaffung eines optischen Moduls kann die Entwicklung eines Bildverarbeitungssystems beschleunigen.

SENSORMODUL-ADAPTER

Für einige Bildverarbeitungssysteme ist möglicherweise ein Sensormoduladapter erforderlich.

Ein Sensoradapter sorgt für den Transport von Sensordaten über eine Vielzahl von Kommunikationsprotokollen und stellt im Allgemeinen einen Taktgeber für das System-Timing bereit. In Hochgeschwindigkeits- und Echtzeit-Bilderfassungssystemen werden häufig Framegrabber als wichtige Hardwarekomponenten für die Schnittstelle zum Sensoradapter verwendet, während ein im Computer installierter Framegrabber die Bilddaten von der Kamera erfasst und zur Verarbeitung weiterleitet. Die Kommunikationsschnittstelle ist ein wichtiges Merkmal, das die Konnektivität zwischen dem Sensoradapter und anderen Systemkomponenten ermöglicht. Sensoradapter können den Datenstrom vom Sensor übernehmen und ihn für eine Vielzahl von Datentransportprotokollen anpassen, indem sie die Sensorausgabe in ein digitales Signal zur weiteren Verarbeitung umwandeln.

Zu den gängigen Datentransportprotokollen gehören das Mobile Industry Processor Interface (MIPI) und das MIPI Cameral Serial Interface 2 und 3 (CSI-2 / CSI-3), das Gigabit Multimedia Serial Link Protocol (GMSL) und das SLVS-EC (Scalable Low-Voltage Signaling [with] Embedded Clock) von Sony.

Die Wahl des Datentransportprotokolls und der Bedarf an einem Sensormoduladapter hängen weitgehend von der Anwendung ab, für die Sie Ihr Bildverarbeitungssystem bauen, sowie von den Leistungsanforderungen des Systems. Das GMSL-Protokoll wird z.B. häufig für Automobilanwendungen wie Rückfahrkameras verwendet, da es dem Sensormodul erlaubt, über ein bis zu 15 m langes Koaxialkabel mit dem Bildprozessor zu kommunizieren.

PROZESSORBOARD-ADAPTER

Ein Adapter für eine Bildverarbeitungskarte kann die Entwicklung eines Bildverarbeitungssystems beschleunigen, indem er direkt mit einer Reihe von eingebetteten Computern, wie dem NVIDIA Jetson Xavier, kommuniziert. Diese Adapter können auch in PC-basierten Systemen eingesetzt werden, um komplexere Bildverarbeitungsanwendungen und Bildverarbeitungslösungen zu unterstützen, insbesondere in der industriellen Automatisierung und Qualitätskontrolle.

Ein Bildprozessor-Adapter wird vielleicht nicht Teil der endgültigen Produktionsversion Ihres Bildverarbeitungssystems sein, aber er ist von unschätzbarem Wert für die Entwicklung von Prototypen und Bildverarbeitungssystemen. Bei diesen Systemen arbeiten die Bildverarbeitungssoftware und das Bildverarbeitungssystem zusammen, um die Bilddaten zu analysieren und zu interpretieren, was eine genaue Inspektion und Messung ermöglicht.

Mit einem Bildprozessor-Adapter können Sie die optischen Komponenten Ihres Bildverarbeitungssystems an einen kleinen Bordcomputer wie den Raspberry Pi oder einen eingebetteten Computer wie die NVIDIA Jetson-Serie anschließen. Ein Bildprozessor-Adapter ist eine unschätzbare Standardkomponente, die Ihre Aufgabe vereinfachen kann.

Bildprozessor-Adapter bieten eine Vielzahl von Eingängen für verschiedene Datenkommunikationsprotokolle. Sie sind in der Regel für die Kommunikation mit einer bestimmten Plattform konzipiert, sei es ein eingebetteter Computer wie der NVIDIA Jetson Orin oder ein Field-Programmable Gate Array (FPGA) wie der Xilinx Kintex.

Bildbearbeitung

Die Bildverarbeitung ist ein grundlegendes Element von maschinellen Bildverarbeitungssystemen. Sie umfasst die Bearbeitung und Analyse digitaler Bilder, um relevante Informationen für bestimmte Aufgaben zu extrahieren. Techniken wie Bildfilterung, Schwellenwertbildung und Merkmalsextraktion werden eingesetzt, um die Bildqualität zu verbessern, Rauschen zu reduzieren und wichtige Merkmale im Bild hervorzuheben. Diese Verfahren sind für Anwendungen wie die Erkennung von Defekten, die Identifizierung von Objekten und die Erkennung von Zeichen unerlässlich, bei denen Genauigkeit und Zuverlässigkeit von größter Bedeutung sind. Die Wahl der Bildverarbeitungsmethoden hängt von Faktoren wie dem Typ des verwendeten Bildsensors, den vorherrschenden Lichtverhältnissen und dem gewünschten Ergebnis ab. Durch die Anpassung der Bildverarbeitungsalgorithmen an die Anforderungen der jeweiligen Anwendung können Bildverarbeitungssysteme präzise und umsetzbare Ergebnisse für eine Vielzahl von industriellen und kommerziellen Anwendungen liefern.