3D cameras for industrial applications have to operate in harsh production environments and reliably detect moving objects at speed, e.g. when the camera is mounted on a robot arm. Stable and latency-free data transmission over extended distances is essential (using GigE Vision, for example), as is straightforward integration. FRAMOS, a global partner for vision technologies, has developed an industrial version of the RealSense camera that offers gigabit Ethernet connectivity and an IP66-rated dustproof and water-resistant enclosure. The camera features advanced sensor technology, ensuring reliable performance and high-resolution imaging in demanding industrial environments. So now there is an easy way to integrate 3D vision into harsh environments. The plug-and-play solution enables real-time positioning, orientation and tracking for robots, navigation for automated guided vehicles (AGVs), and many other „smart“ machines, e.g. in medical engineering.

In recent years, industrial image processing (machine vision) has secured a permanent place in automation, especially in established fields such as production and quality control. Now the next step is 3D vision, a technology that has the potential to change entire industries. The future will belong to intelligent, „seeing“ devices. Robotics, automated guided vehicles (AGVs) and medical devices can benefit from the new machine vision solutions, especially with the arrival of industrial camera systems that can reliably detect even fast-moving objects in harsh environments. Their real-time depth data provides the basis for fully automated processes in production lines, logistics, and industrial applications where intelligent devices make autonomous decisions. Additionally, the camera offers wide field of view options, allowing users to capture more area in industrial applications for enhanced situational awareness.

Depth cameras began their rise to prominence in the consumer sector, and are now making inroads into industrial environments. This „career path“ has certainly brought advantages: large volumes mean prices are affordable, for example, while short product life cycles and development cycles have allowed the technology to make rapid progress. Technical support is available to assist with integrating the camera into various projects, ensuring smooth deployment and operation. „Off-the-shelf“ technology makes handling easier, too. The camera’s versatility also allows for integration into other devices such as tablets and portable scanners, expanding its use cases for 3D modeling and scanning. Significantly, this also speeds up the whole vision development process. The camera’s technological advancements make it suitable for mixed reality applications in industrial and robotics settings, enabling immersive and augmented experiences. RealSense cameras are a technologically advanced yet relatively inexpensive example of this technology. This technology can enhance a wide range of projects by providing robust 3D vision capabilities for diverse applications.

Einführung in 3D Vision

3D-Vision revolutioniert die Art und Weise, wie Maschinen ihre Umgebung wahrnehmen und mit ihr interagieren. Indem sie Bildverarbeitungssysteme in die Lage versetzt, Tiefeninformationen zu erfassen und zu verarbeiten, bringt die 3D-Vision-Technologie ein neues Maß an Intelligenz in die industrielle Automatisierung, Fabrikautomation und Robotik. Diese fortschrittlichen Systeme können komplexe Aufgaben mit größerer Effizienz und Genauigkeit ausführen, von der Objekterkennung und -verfolgung bis hin zur Navigation und Qualitätsprüfung. Indem sie der traditionellen Bildverarbeitung mehr Tiefe verleihen, versetzen 3D-Vision-Systeme Maschinen in die Lage, die Form, Position und Bewegung von Objekten in ihrer Umgebung zu verstehen, was sie in einer Vielzahl von Branchen unverzichtbar macht. Im Zuge der fortschreitenden Automatisierung eröffnet die Integration von 3D-Vision neue Möglichkeiten für eine intelligentere, anpassungsfähigere Fertigung und industrielle Abläufe.

3D Vision Technologie

At the core of modern vision systems is 3D vision technology, which combines multiple cameras, sensors, and sophisticated software to capture and analyze three-dimensional data. This technology enables the creation of detailed digital models of objects and environments, allowing machines to interpret and respond to their surroundings with high accuracy. FRAMOS builds on proven stereo vision and depth sensing technology and industrializes it for demanding production environments. By utilizing techniques such as stereo vision, structured light, and time-of-flight, 3D vision systems can precisely measure the shape, size, and spatial position of objects. This makes them ideal for demanding tasks like inspection, assembly, and quality control, where accuracy and reliability are paramount. The flexibility and scalability of these systems allow them to be deployed across a broad range of environments and industries, supporting the next generation of intelligent automation.

Tiefenkameras und 3D-Modellierung

Tiefenkameras sind wesentliche Komponenten in 3D-Vision-Systemen. Sie liefern genaue Messungen der Entfernung zwischen der Kamera und den Objekten in ihrem Sichtfeld. Durch die Integration der Daten von mehreren Tiefenkameras ist es möglich, detaillierte 3D-Modelle von Objekten und ganzen Umgebungen zu erstellen. Diese Fähigkeit ist besonders wertvoll in der industriellen Automatisierung, der Logistik und der Robotik, wo das Verständnis der genauen Position und der Abmessungen von Objekten entscheidend für effiziente Abläufe ist. Die FRAMOS D435e liefert die Genauigkeit und Wiederholgenauigkeit, die diese Aufgaben erfordern, in einem Gehäuse, das für den Einsatz in der Produktion gebaut ist. Diese Kameras ermöglichen fortschrittliche Anwendungen wie Objekterkennung, Verfolgung in Echtzeit und autonome Navigation und tragen dazu bei, Prozesse zu rationalisieren und die Produktivität in einer Vielzahl von Umgebungen zu verbessern.

Geeignet für den industriellen Einsatz

Industrial automation has different requirements than the consumer segment. 3D cameras for industrial use have to operate in harsh production environments and reliably detect moving objects at speed, e.g. when the camera is mounted on a robot arm. Stable and latency-free data transmission over extended distances is essential (using GigE Vision, for example), as is straightforward integration. With its D435e 3D camera (see fig. 1), FRAMOS, a global partner for vision technologies, has set standards in this field that will accelerate the development of innovative vision applications in a wide range of industries.

The FRAMOS D435e offers gigabit Ethernet connectivity and a sturdy IP66-rated dustproof and water-resistant aluminium housing. It operates reliably at ambient temperatures between 0 and 55 °C, and is ideally equipped in other ways too for use in harsh production conditions. The robust enclosure and weather-resistant features make it suitable for outdoor applications in industrial and agricultural environments. The screw-fastening gigabit Ethernet (M12) and power supply (M8, for 12 or 24V) connections can withstand movement and vibration, unlike USB cables. If it is necessary to work without separate power cables, a version with Power over Ethernet (PoE) is available. Four M3 mounting holes on the body make for easier installation, e.g. fastening in robotics applications. Long transmission distances are no problem, either. Image data is preprocessed in the camera and can be sent over cables up to 100m in length.

Neben dem Einsatz unter rauen Produktionsbedingungen ist die Kamera in der Lage, verschiedene Materialien, einschließlich flexibler Verpackungen, mit KI-gestützten 3D-Greif- und 3D-Vision-Systemen zu inspizieren und zu handhaben, um die Qualität zu gewährleisten und Fertigungsprozesse zu optimieren.

Leistung in einem kompakten Paket

The powerful technology is well protected inside the highly compact camera, which measures 100 x 47 x 38mm and weighs just 250g. Its main task is to see in stereo, just like humans do. Viewing objects and things with two eyes produces true, quantified depth perception (see fig. 2). To achieve this, the camera is equipped with the D430 depth module (0.9MP resolution), the D4 vision processor for depth calculation, and an additional RGB camera module (2MP resolution). These advanced features enable accurate detection, measurement, and AI integration for improved inspection and automation tasks.

Das Tiefenmodul und der Prozessor ermöglichen der Kamera eine detaillierte Analyse von Tiefendaten und Punktwolken und unterstützen die Erkennung von Objektformen, die Verfolgung und die Bewegungsanalyse für eine umfassende Objektbewertung.

Das RGB-Kameramodul unterstützt eine hochwertige Bildgebung, und die Einstellung des Bildkontrasts ist für eine optimale Fehlererkennung, OCR und Montageüberprüfung unerlässlich.

Die Kamera kann mit dem RealSense SDK 2.0 und jeder anderen GigE Vision Software verwendet werden. Die einfache Bedienung, die unkomplizierte Integration als Plug-and-Play 3D-Vision-Lösung und der erschwingliche Preis machen die robuste Kamera für zahlreiche Anwendungen geeignet, denn immer mehr Branchen verlangen heute innovative 3D-Vision-Lösungen. Die Kamera ist auch in der Lage, die Oberfläche von Materialien auf Dellen, Kratzer und Unregelmäßigkeiten zu untersuchen und damit die Qualitätskontrolle zu verbessern.

Dank ihrer kompakten Größe eignet sich die Kamera ideal für den Einsatz in engen Industrieumgebungen und optimiert den verfügbaren Platz in Logistik-, Lager- und Produktionsbereichen.

Tiefensensorik und Objekterkennung

Die Tiefenerkennung ist ein grundlegendes Element fortschrittlicher 3D-Vision-Systeme. Sie ermöglicht es Maschinen, die Entfernung zu Objekten und Oberflächen in ihrer Umgebung genau zu bestimmen. In Kombination mit leistungsstarken Objekterkennungsalgorithmen ermöglicht die Tiefenerkennung die Identifizierung und Verfolgung von Objekten in Echtzeit und unterstützt so komplexe Aufgaben in der Fertigung, Logistik und darüber hinaus. FRAMOS Tiefenkameras liefern diese Fähigkeit in einer Form, die unterschiedlichen und anspruchsvollen Bedingungen standhält, von Produktionslinien in Innenräumen bis zu Logistikflächen im Freien. Ganz gleich, ob sie in Produktionsstätten in Innenräumen oder in weitläufigen Logistikzentren im Freien eingesetzt werden, diese Systeme bieten die Präzision und Flexibilität, die für Aufgaben wie Montage, Qualitätskontrolle und Bestandsverwaltung erforderlich sind. Durch die Nutzung des vollen Potenzials von Tiefensensorik und Objekterkennung kann die Industrie ein neues Niveau an Automatisierung, Effizienz und Einblick erreichen.

Mögliche Anwendungen in allen Arten von Industrien

Es gibt interessante Möglichkeiten für die industrielle Tiefenkamera in der Robotik. Ein „sehender“ Roboter kann z.B. bei Pick-and-Place-Anwendungen verschiedene Teile erkennen und sie entsprechend ablegen – auf einer Bearbeitungsstation, einem Förderband oder einem fahrerlosen Transportsystem (siehe Abb. 3). 3D-Vision verleiht diesen fahrerlosen Systemen eine völlig autonome Mobilität, die es ihnen ermöglicht, sich völlig sicher zu bewegen und Menschen oder anderen Systemen ohne zusätzliche Installationen wie Schienen oder Markierungen auszuweichen. 3D-Vision wird auch zunehmend in mobilen Robotern eingesetzt, um deren Fähigkeit zu verbessern, sich in alltäglichen Umgebungen zurechtzufinden und diese zu interpretieren. Die Kamera spielt eine entscheidende Rolle bei der Kollisionsvermeidung. Sie ermöglicht die Erkennung von Hindernissen und eine intelligente Navigation, um Unfälle bei der autonomen Bewegung zu vermeiden. Eine weitere Anwendung findet sich in der Medizintechnik, wo Geräte mit Kamerasystemen automatisch eine optimale Ausrichtung auf den Patienten sicherstellen und beibehalten können (siehe Abb. 4). Die Fähigkeit der Kamera verbessert Robotik- und Gesichtserkennungssysteme und ermöglicht es Maschinen, ihre Umgebung besser zu verstehen, darauf zu reagieren und mit ihr zu interagieren. Das fortschrittliche maschinelle Sehen bietet Robotern eine bessere Sicht und ermöglicht ein genaueres Verständnis der Umgebung. Die Integration von 3D-Vision wird durch ein robustes Bildverarbeitungssystem unterstützt, das die Objekterkennung, Messung und Automatisierung in verschiedenen Anwendungen ermöglicht. Auch die Bewegungsanalyse ist für die Objektverfolgung und das räumliche Bewusstsein in der Robotik von entscheidender Bedeutung und unterstützt präzise Bewegungs- und Verfolgungsfunktionen.

Collaborative robotics is another field that is benefiting from innovative 3D vision solutions. Technical teams benefit from these solutions in multi-disciplinary projects, such as robotics, AI, and immersive technology development. „Seeing“ cobots are much better at interacting with people, which means they can do more and be deployed more flexibly. Gesture control is a promising area of research in this context, and even the retail sector can benefit from 3D vision. If retailers can see how their customers move about in-store, or when and where they stand still, that already tells them a lot. Intelligent retail analytics tools can then supply more insightful findings. The user’s imagination is practically the only limit on the innovative possibilities that 3D vision opens up, and there is an exciting journey ahead.