{"id":765,"date":"2019-01-28T09:00:00","date_gmt":"2019-01-28T09:00:00","guid":{"rendered":"https:\/\/framos.com\/articles\/exakte-kombination-vision-und-imu-daten-sorgen-fuer-genaue-posenbestimmung-von-drohnen\/"},"modified":"2024-04-24T21:20:34","modified_gmt":"2024-04-24T21:20:34","slug":"exakte-kombination-vision-und-imu-daten-sorgen-fuer-genaue-posenbestimmung-von-drohnen","status":"publish","type":"articles","link":"https:\/\/framos.com\/de\/fachartikel\/exakte-kombination-vision-und-imu-daten-sorgen-fuer-genaue-posenbestimmung-von-drohnen\/","title":{"rendered":"Exakte Kombination: Vision- und IMU-Daten sorgen f\u00fcr genaue Posenbestimmung von Drohnen"},"content":{"rendered":"

Die Kombination von IMU- und Vision-Sensordaten verbessert die Posensch\u00e4tzung und damit die Sicherheit von Drohnen und UVA\u2019s deutlich<\/h3>\n

Drohnen erleben einen Boom in der Industrie, der \u00c3\u0153berwachung und f\u00fcr die Freizeit – das weitere Potenzial der unbemannten Flugobjekte f\u00fcr \u00c3\u0153berwachungs- und Transportaufgaben ist immens. Wurden die Drohnen in der Vergangenheit vom Boden gesteuert, ist die aktuelle Generation zumeist autonom. Eingebaute Kameras werden nicht nur dazu verwendet, Aufnahmen der Welt zu machen, sondern auch, um sich darin zurechtzufinden und auf Ereignisse und Hindernisse zu reagieren. Dazu muss die Drohne ihre genaue Position im Raum kennen. Eine Kombination aus Bildverarbeitung und Beschleunigungsmessung<\/strong> bestimmt diese Pose deutlich exakter und sorgt so f\u00fcr ein stabileres und sicheres Flugverhalten.<\/p><\/blockquote>\n

Wenn eine Drohne fliegt, muss sie jederzeit \u00fcber alle sechs Freiheitsgrade wissen, wie ihre Position und Orientierung im dreidimensionalen Raum ist. Eine solche Posenbestimmung \u00fcber die Translation und Rotation ist entscheidend f\u00fcr einen kollisionsfreien und stabilen Flug. F\u00fcr Entwickler von Drohnen ist es sehr schwer, mit einer einzigen IMU oder einem einzelnen Vision-Sensor sowohl die Rotation als auch die Translation im Raum mit einer hinreichenden Genauigkeit zu messen. Ein hybrider Ansatz, der die IMU- und Vision-Daten einer Drohne kombiniert, f\u00fchrt dagegen zu einer sehr exakten Posensch\u00e4tzung und vereint die St\u00e4rken beider Messverfahren.<\/p>\n

Kombination der Vorteile beider Sensoren<\/strong><\/h4>\n

Ein IMU-Sensor misst die Beschleunigung und Drehung eines Objektes, seine Ausrichtung bzw. Rotation wird dabei aus den Rohdaten abgeleitet. Theoretisch k\u00f6nnten solche Beschleunigungsmessungen auch zur Ableitung der Position bzw. Translation genutzt werden. Innerhalb dieser Berechnungen m\u00fcssten Entwickler jedoch zweimal integrieren – was zu einer hohen Fehlerwahrscheinlichkeit f\u00fchrt. Ein IMU-Sensor allein ist daher keine gute Quelle f\u00fcr pr\u00e4zise Standortinformationen.<\/p>\n

\"Fotolia_82728088_M3m89qijPEcWPP\"<\/p>\n

Im Gegensatz dazu ist ein Bildsensor sehr gut f\u00fcr die Standortbestimmung geeignet, f\u00fcr die Bestimmung der Orientierung jedoch suboptimal. Gerade im Weitwinkel und bei Beobachtungen aus gro\u00dfen Abst\u00e4nden ist es f\u00fcr das Visionssystem sehr schwer, die Orientierung mit nur ansatzweiser Genauigkeit zu messen. Ein hybrides System gepaart aus den IMU- und Vision-Daten einer Drohne erm\u00f6glicht eine deutlich genauere Messung \u00fcber alle sechs Freiheitsgrade im Raum und erzielt weit exaktere Ergebnisse als die einzelnen IMU- oder Bildsensoren.<\/p>\n

\u00e2\u20ac\u017eDie gr\u00f6\u00dften Herausforderungen bei der Konfiguration einer solchen Sensor-Fusion bestehen darin, einen gemeinsamen Koordinaten-Referenzrahmen f\u00fcr die Rotations- und Translationsdaten festzulegen sowie das Rauschen der Bildsensoren m\u00f6glichst gering zu halten,\u201c sagt Mahdi Saleh, R&D-Ingenieur bei FRAMOS.<\/p><\/blockquote>\n

Ein beliebter Ansatz zur Erstellung eines solchen Referenzrahmens setzt auf lineare Kalman-Filter, welche die Daten der IMU- und der Bildsensoren f\u00fcr die hybride Posensch\u00e4tzung zusammenf\u00fchren. F\u00fcr ein Vision-System, welches auf einer Drohne montiert oder in dieser eingebettet ist, wird das SLAM-Verfahren (Simultaneous Localization and Mapping) genutzt, um die Umgebung zu kartieren und bestimmt gleichzeitig die eigene Position darin. SLAM liefert damit das r\u00e4umliche Bewusstsein der Drohne und stellt sicher, dass sie weder mit B\u00e4umen, Geb\u00e4uden, Menschen oder anderen Objekten kollidiert.<\/p>\n

Faktoren f\u00fcr ein hybrides Sensor-System bei Drohnen<\/strong><\/h4>\n

Die Messqualit\u00e4t der Posenbestimmung wird von mehreren Faktoren beeinflusst. Prim\u00e4r h\u00e4ngt die Qualit\u00e4t und Genauigkeit der Messung von der Qualit\u00e4t der ausgew\u00e4hlten IMU selbst ab. Preiswerte IMU-Sensoren erzeugen tendenziell hohe Rauschpegel, was zu diversen Fehlern und Abweichungen f\u00fchren kann. Essentiell ist etwa eine korrekte Kalibrierung des Kalman-Filters, um die Eigenschaften und das Rauschmodell des Sensors korrekt zu verstehen. Selbst IMU\u2018s vom gleichen Modell und Hersteller haben leicht unterschiedliche Rauschmuster, die f\u00fcr die Berechnung ber\u00fccksichtigt werden m\u00fcssen.<\/p>\n

\u00e2\u20ac\u017eAuf Seiten der Bildverarbeitung h\u00e4ngen die Details der Implementierung haupts\u00e4chlich davon ab, ob ein Bildsensor mit Global- oder Rolling-Shutter verwendet wird\u201c, sagt Mahdi Saleh. \u00e2\u20ac\u017eEin Global-Shutter beleuchtet jeden Pixel gleichzeitig und verhindert damit Bewegungsartefakte. Rolling-Shutter-Sensoren sind meist kosteng\u00fcnstiger, durch leicht unterschiedliche Auslesezeiten k\u00f6nnen aber Verzerrungen im Bild auftreten\u201c, gibt der Vision-Experte zu bedenken.<\/p><\/blockquote>\n

Die Artefakte k\u00f6nnen mit den IMU-Informationen und verschiedene Filtermethoden korrigiert werden. Heutzutage k\u00f6nnen auch Methoden der K\u00fcnstlichen Intelligenz das Rauschen des Bild- oder IMU-Sensors wirksam reduzieren und korrigieren.<\/p>\n

Kombination von IMU- und Vision-Daten<\/strong><\/h4>\n

Eine weitere Herausforderung bei Hybridsystemen besteht darin, dass die Bildraten der Vision-Sensoren oft sehr langsam sind, die Bilder kommen meist mit einer Geschwindigkeit von weit unter 100 Hz an. Die IMU-Daten dagegen kommen mit sehr hoher Frequenz, manchmal mit weit \u00fcber 1 KHz. Drohnenentwickler m\u00fcssen w\u00e4hrend der Implementierung einen Weg finden, die Informationen aus beiden Systemen zu einem identischen Zeitpunkt abzugleichen. SLAM-Techniken, wie die Continuous Trajectory Estimation<\/a>, k\u00f6nnen die Bewegung der Drohne beispielsweise vorhersagen, indem sie davon ausgehen, dass die Drohne sich kontinuierlich fortbewegt.<\/p>\n

Entwickler k\u00f6nnen damit sowohl die IMU- als auch die Vision-Daten in einen gemeinsamen Bezugsrahmen integrieren und die Messungen zu einem bestimmten Zeitpunkt der vorhergesagten Flugbahn zuordnen. Zwischen zwei beliebigen Bildaufnahmen liefern mehrere IMU-Messungen zus\u00e4tzliche Referenzpunkte. Die Drohne wird so in ihrem Flug st\u00e4ndig zeit-synchronisiert und mit IMU-Daten aktualisiert. Vice versa korrigieren jedes Mal, wenn Bilddaten aufgenommen werden, diese dann automatisch die IMU-Informationen.<\/p>\n

Hardware-Anforderungen, Implementierung und Testing<\/strong><\/h4>\n

In Anbetracht des begrenzten Bauraums von Drohnen und der allgemeinen Ressourcenbeschr\u00e4nkung in Embedded Systemen ist die Implementierung einer robusten Konfiguration f\u00fcr die Synchronisation von IMU- und Vision-Daten eine echte Herausforderung. Alle eingesetzten Komponenten m\u00fcssen leicht, schlank und gleichzeitig so leistungsstark wie m\u00f6glich sein, sie d\u00fcrfen nur wenig Speicher und Strom verbrauchen. Speziell bei Drohnen m\u00fcssen SoC-Entwickler zudem ihre Sensoren physisch und softwareseitig gut stabilisieren, da die Propellerbewegungen extreme Ersch\u00fctterungen verursachen, welche die Bildkomponenten und das Designs stark beeinflussen.<\/p>\n

Sowohl der Vision-Sensor als auch die IMU verf\u00fcgen jeweils \u00fcber individuelle lokale Referenzsysteme zur Messung ihrer eigenen Pose. Auch diese m\u00fcssen vorab kalibriert werden, um sicherzustellen, dass ein hybrider SLAM einen exakten gemeinsamen Referenzrahmen hat. Jedes System muss also zun\u00e4chst einzeln kalibriert und dann in Bezug aufeinander ko-kalibriert werden, um die genaue Position im gemeinsamen Referenzrahmen zu erhalten. Am Markt gibt es verschiedene Datens\u00e4tze, um die Posenbestimmung von UAV\u2019s in Hybrid-Bauweise und die entwickelten Pipelines zu pr\u00fcfen. Der am h\u00e4ufigsten verwendete Datensatz ist EuRoC, er liefert sowohl rohe Vision-Daten wie auch IMU-Daten, um die Algorithmen zu testen und mit anderen Methoden zu vergleichen.<\/p>\n

Bildsensoren sind meist von Anfang an in den Designs von autonomen Flugobjekten wie Drohnen vorgesehen – sie sind aber nicht die einzige ben\u00f6tigte Messtechnologie f\u00fcr alle Implementierungen. Gerade die Kombination mit anderen Sensoren wie IMU\u2019s k\u00f6nnen in einer viel robustere Implementierung der Drohnen und ein stabileres Flugverhalten mit weniger Fehlern m\u00fcnden. Von den Verbesserungen dieser „Sensor-Fusion“-Konfigurationen profitieren alle Anwendungen, die auf autonome Ger\u00e4te setzen. Sensor Fusion ist ein hervorragender Ansatz, um halb- und vollautonome Fahrzeuge, Industrieroboter, Drohnen und weitere autonome Ger\u00e4te exakter und sicherer zu machen.<\/p><\/blockquote>\n

Dieser Artikel ist Teil einer Artikelserie der Embedded Vision Alliance.
\nDer Artikel wurde von FRAMOS verfasst und wird in Kooperation mit der Embedded Vision Alliance und weiteren Firmen ver\u00f6ffentlicht – die komplette Artikelserie „Multi-sensor Fusion for Robust Device Autonomy“<\/a> finden Sie auf den Seiten der Embedded Vision Alliance. \"EVA_LOgo\"<\/p><\/blockquote>\n","protected":false},"excerpt":{"rendered":"

Kameras in autonomen Drohnen werden nicht nur dazu verwendet, Aufnahmen der Welt zu machen, sondern auch, um sich darin zurechtzufinden und auf Ereignisse und Hindernisse zu reagieren. Dazu muss die Drohne ihre genaue Position im Raum kennen. Eine Kombination aus Bildverarbeitung und Beschleunigungsmessung bestimmt diese Pose deutlich exakter und sorgt so f\u00fcr ein stabileres und sicheres Flugverhalten.<\/p>\n","protected":false},"author":6,"featured_media":768,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false},"article-category":[],"article-tag":[],"class_list":["post-765","articles","type-articles","status-publish","format-standard","has-post-thumbnail","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles\/765","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles"}],"about":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/types\/articles"}],"author":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/comments?post=765"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media\/768"}],"wp:attachment":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media?parent=765"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-category?post=765"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-tag?post=765"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}