{"id":740,"date":"2019-01-07T23:00:00","date_gmt":"2019-01-07T23:00:00","guid":{"rendered":"https:\/\/framos.com\/articles\/case-study-foodphone-ein-foto-zaehlt-kalorien-bildverarbeitung-einfach-wie-instagram\/"},"modified":"2024-04-24T21:20:30","modified_gmt":"2024-04-24T21:20:30","slug":"case-study-foodphone-ein-foto-zaehlt-kalorien-bildverarbeitung-einfach-wie-instagram","status":"publish","type":"articles","link":"https:\/\/framos.com\/de\/fachartikel\/case-study-foodphone-ein-foto-zaehlt-kalorien-bildverarbeitung-einfach-wie-instagram\/","title":{"rendered":"Case Study FoodPhone: Ein Foto z\u00e4hlt Kalorien, Bildverarbeitung einfach wie Instagram!"},"content":{"rendered":"

Mit fortschrittlichen KI-, 3D- und Hyperspektral-Ans\u00e4tzen verwandelt Bildverarbeitung herk\u00f6mmliche Handys in pr\u00e4zise Analyseger\u00e4te f\u00fcr Lebensmittel.<\/strong><\/p><\/blockquote>\n

\u00c3\u0153ber 200 Millionen Menschen leiden weltweit an Diabetes Typ-1- oder Typ-2 sowie an Fettleibigkeit. Die moderne Vision-Technologie kann jetzt bei der Bek\u00e4mpfung dieser Krankheiten helfen. Das amerikanische Start-Up FoodPhone\u2122 hat eine Handy-H\u00fclle und App entwickelt, die \u00fcber ein einfaches Smartphone-Foto den N\u00e4hrstoffgehalt einer Mahlzeit sofort und wissenschaftlich exakt erkennt – einfach wie das Teilen in Social Media. Die FoodPhone\u2122-Applikation basiert auf der Intel\u00ae RealSense\u2122 3D-Technologie und bestimmt das Volumen, die Textur und die Form aller Arten von Lebensmitteln mit nur einem Bild. Neben dem Z\u00e4hlen von Kohlenhydraten und Kalorien erkennt das innovative Embedded Vision-Case die Inhaltsstoffe von Lebensmitteln anhand ihrer chemischen Zusammensetzung und zeigt diese dem Benutzer sofort als vertraute N\u00e4hrwerttabelle an. Die Qualit\u00e4t, die Frische und der Reifegrad von Lebensmitteln k\u00f6nnen mit einem Blick \u00e2\u20ac\u017eunter die Schale\u201c noch im Gesch\u00e4ft \u00fcberpr\u00fcft werden – NIR-Funktionen (Near IR) erkennen sowohl sichtbare als auch unsichtbare kleine Fehler oder Druckstellen. Die Auswahl von Obst oder Gem\u00fcse wird zum Kinderspiel – mit FoodPhone zeigt in Zukunft das Handy auf die beste und reifste Avocado.<\/p>\n

Milliarden Menschen weltweit achten auf ihre Ern\u00e4hrung<\/strong><\/strong><\/h2>\n

Diabetiker, Sportler, Fitnessliebhaber und viele andere, die auf ihr Gewicht achten, m\u00fcssen aufpassen, was sie essen. Allein in den USA nutzen t\u00e4glich \u00fcber 100 Millionen Menschen Smartphones, um ihr Gewicht, ihre Fitness und ihre Ern\u00e4hrung zu \u00fcberwachen. In allen modernen Gesellschaften nimmt die Zahl der Diabetesf\u00e4lle rapide zu. Insbesondere f\u00fcr Diabetiker ist das Z\u00e4hlen von Kohlenhydraten der Schl\u00fcssel zur Bew\u00e4ltigung ihrer Krankheit. Im Ernstfall ist es eine Frage auf Leben und Tod, denn die Menge an Kohlenhydraten beeinflusst die regulierende Insulindosis. Die Kohlenhydrate einer Mahlzeit sind damit die wichtigste Information, die ein Diabetiker f\u00fcr die kontinuierliche Blutzucker\u00fcberwachung und f\u00fcr die korrekte Einstellung automatischer Insulinpumpen ben\u00f6tigt. Und genau da liegt das Problem: Diese f\u00fcr den Patienten sehr schonenden und bequemen Ger\u00e4te sind nur mit der richtigen Benutzereingabe hilfreich. Manuelle Mengeneingaben sind aber oft sehr ungenau gesch\u00e4tzt. Dies f\u00fchrt zu falschen Insulindosierungen, die nicht nur sehr gef\u00e4hrlich, sondern f\u00fcr einen Diabetiker sogar lebensbedrohlich sein k\u00f6nnen.<\/p>\n

Einziges Smartphone-Bild erstellt N\u00e4hrwerttabelle<\/strong><\/h2>\n

\"Nutrition-label-small\"Heutige Smartphones haben eine gute Kamera, einen Internet-Zugang und verf\u00fcgen \u00fcber leistungsstarke Prozessoren, die Algorithmen der K\u00fcnstlichen Intelligenz (KI) verarbeiten k\u00f6nnen. Instagram sei dank nehmen die Handys im Alltag Millionen von Food-Bildern pro Minute auf. Die Idee von FoodPhone ist es, diese Smartphones in Di\u00e4t-Helfer zu verwandeln, welche Lebensmittel direkt auf dem Teller analysieren. Die FoodPhone-App mit ihrer patentierten SpectraPixel\u2122-Technologie nimmt dazu ein Bild auf, verbindet sich mit der firmeneigenen cloud-basierten KI und erkennt den Inhalt der Mahlzeit – insbesondere die chemische Zusammensetzung, die Portionsgr\u00f6\u00dfe in Gramm sowie die Qualit\u00e4t und Haltbarkeit. Die App kann mehrere Sorten Essen auf dem Teller unterscheiden und auch zubereitete Speisen wie etwa Kartoffelbrei erkennen. Dies leisten mehrere multispektralen Kameras und NIR-Sensoren, welche in einem handels\u00fcblichen Handy-Case integriert sind. Der Nutzer erh\u00e4lt damit sofort eine wissenschaftliche Analyse seiner Mahlzeiten.<\/p>\n

Bild 1: N\u00e4hrwerttabelle von FoodPhone f\u00fcr ein Mittagessen<\/em><\/p>\n

Diese Analyse liefert Details \u00fcber die Kohlenhydrate, Fette, Proteine und andere N\u00e4hrstoffe sowie die exakte Portionsgr\u00f6\u00dfe von Mahlzeiten. Durch die Kombination verschiedener Bildverarbeitungstechnologien und k\u00fcnstlicher Intelligenz identifiziert FoodPhone die pr\u00e4zise Menge und Zusammensetzung von Lebensmitteln. Die Nutzer m\u00fcssen dazu weder Daten eingeben, noch ihr Essen ber\u00fchren oder die Menge absch\u00e4tzen. Und sie bekommen das Ergebnis sofort – die Handyh\u00fclle liefert sehr benutzerfreundlich und effizient N\u00e4hrwertangaben mit einer Genauigkeit von \u00fcber 90%. Christopher M. Mutti, Gr\u00fcnder und CEO von FoodPhone, sagt, dass die Technologie mit ihrer Mischung aus K\u00fcnstlicher Intelligenz und Augmented Reality die Ausbreitung von Diabetes positiv beeinflussen wird und Menschen, die auf ihre Ern\u00e4hrung achten, bei der Erreichung ihrer Ziele unterst\u00fctzen kann.<\/p>\n\n\n\n
\"0002\"<\/td>\n\"0001\"<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Bild 2 und 3: Durch die Aufnahme von scheinbar einem Bild erh\u00e4lt der Benutzer sofort eine wissenschaftliche Analyse seiner Mahlzeit.<\/em><\/p>\n

Idee, Innovation und Implementierung
\n<\/strong><\/h2>\n
\n

„Urspr\u00fcnglich habe ich nur einen einfachen Weg gesucht, Kalorien zu z\u00e4hlen“, sagt Mutti heute. Als leidenschaftlicher Hockeyspieler war er gezwungen, auf seine Ern\u00e4hrung zu achten, sein Gewicht und die Kalorien unter Kontrolle zu halten. Er wollte in Bestform sein. Aber in analogen Zeiten oder sp\u00e4ter mit Hilfe von Computer und Internet war das Kalorienz\u00e4hlen f\u00fcr ihn nicht nur ungenau, sondern auch \u00e4u\u00dferst kompliziert und dauerte lang. Der gelernte Maschinenbauingenieur wollte auf einfache und schnelle Weise sehen, was und wieviel er isst. Die Idee, eine Mahlzeit mit einem Bild von einer Kamera oder einem Handy zu analysieren, hatte er schon um die Jahrtausendwende, doch die Technik war noch nicht soweit. 2013 begann er daran zu arbeiten.<\/p>\n<\/blockquote>\n

\"chrismuttiheadshot_small\"<\/p>\n

Die Rechenleistung von Smartphones hatte sich bereits so weit entwickelt, dass sie komplexe Algorithmen verarbeiten konnte; und durch wegweisende Projekte wie ImageNet der Stanford University war fortschrittliche vision-basierte KI-Technologie verf\u00fcgbar. Zusammen mit einem Team von erfahrenen Wissenschaftlern aus den Bereichen Neuronale Netzwerke & KI, 3D- und Hyperspektral-Bildverarbeitung sowie erfahrenen Ingenieuren im Bereich Kamera- und Objektivdesign beschloss Mutti, Patente zu entwickeln, um seine Idee in die Tat umzusetzen.<\/p>\n

Der erste Prototyp, von Mutti liebevoll als „Million Dollar Blue Box“ bezeichnet, wurde aus off-the-shelf Komponenten gebaut und ma\u00df noch 8″ x 7″ x 3″. Die Box war die kleinste damals machbare Kombination von 3D, RGB und NIR, die reinen Materialkosten lagen bei etwa 3.000 US-Dollar. Es dauerte noch mehr als 5 Jahre, bis der technologische Fortschritt die Leistung, Winzigkeit und auch Erschwinglichkeit brachte, um FoodPhone zu einer praktikablen und g\u00fcnstigen L\u00f6sung f\u00fcr das t\u00e4gliche Leben zu machen. Mutti nennt dies den „perfekten technologischen Sturm“ und er ist die Grundlage f\u00fcr die Verwirklichung seiner Idee. Heutzutage sind die 3D-Kameras so gro\u00df wie ein kleiner Finger und machen es m\u00f6glich, dass selbst Smartphones 3D-Daten erfassen und verarbeiten k\u00f6nnen. Mutti und sein Team haben mit Intel\u00ae RealSense-Kameras das perfekte Produkt in Gr\u00f6\u00dfe und Preis gefunden, um die notwendigen Daten f\u00fcr die Erkennung und Analyse von Lebensmitteln zu liefern. Die Intel\u00ae RealSense\u2122 Kameras werden dazu in eine Handyh\u00fclle eingebettet, die Gr\u00f6\u00dfe und das Aussehen des Cases bleibt dabei fast unver\u00e4ndert. Dank der technologischen Fortschritte und der gesunkenen Preise aller Komponenten kann die FoodPhone-Handyh\u00fclle jetzt zu einem Einzelhandelspreis von wenigen hundert Dollar angeboten werden. Nach dem Kauf wechseln die Nutzer einfach ihre Handyh\u00fclle, laden die App herunter und k\u00f6nnen sofort beginnen, Fotos ihrer Mahlzeiten zu machen – das Handy zeigt innerhalb von Sekunden die genauen N\u00e4hrwerte an.<\/p>\n

Bild 4: Christopher M. Mutti, CEO von FoodPhone, ist leidenschaftlicher Hockeyspieler und suchte urspr\u00fcnglich nach einer einfachen M\u00f6glichkeit, Kalorien zu z\u00e4hlen.<\/em><\/p>\n\n\n\n
\"prototype_pdf\"<\/td>\n<\/td>\n\"prototype\"<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Abbildung 5 und 6: Designstudie und Prototyp der FoodPhone Handyh\u00fclle<\/em><\/p>\n

Kombination verschiedener Vision-Daten durch K\u00fcnstliche Intelligenz<\/strong><\/h2>\n

Die FoodPhone-Applikation nutzt multispektrale und 3D-Bildverarbeitung, um die N\u00e4hrstoffe sowie das Volumen und die Portion pr\u00e4zise zu identifizieren. Das Team um Mutti entwickelte die notwendige Software ohne einen Marker als Referenz im Sichtfeld des Bildverarbeitungssystems. Die Ingenieure entschieden sich f\u00fcr die Intel\u00ae D435 RealSense Tiefenkamera, da es sich um eine USB-Kamera handelt, die aus einem Stereo-Paar, einer RGB-Kamera und einem Infrarotprojektor besteht. Mutti h\u00e4lt f\u00fcr die Erzeugung hyperspektraler Bilder durch die Zusammenf\u00fchrung des Outputs mehrerer Kameras und verschiedenartiger Vision-Daten mehrere Patente.<\/p>\n

Das Bildverarbeitungssystems geht auf dieselbe Art vor, wie auch ein Mensch sein Essen betrachtet: Farbe ist das erste Element, welches ihm auff\u00e4llt. FoodPhone verwendet zun\u00e4chst die RGB-Kamera, um die Farben auf dem Teller zu identifizieren. Dann erzeugt die Stereo-Kamera die 3D-Daten, um Form, Umriss und Textur der einzelnen Lebensmittel zu identifizieren – wie das menschliche Auge es ebenfalls tun w\u00fcrde. Die 3D-Rohdaten ergeben die Ma\u00dfe und das Gesamtvolumen oder die Portionsgr\u00f6\u00dfe des Essens an. Mit NIR-Daten, die von mehreren Kameras und Sensoren aufgenommen wurden, sind die FoodPhone-eigenen Algorithmen in der Lage, die chemische Zusammensetzung eines Lebensmittels auszuwerten, so wie es der Menschen schmeckt und riecht.<\/p>\n

Dazu wird ein Overlay von mehr als zehn Bildern und ihrer Rohdaten in sichtbares Licht, Farbe, Spektraldaten und 3D-Informationen unterteilt. Aus den optischen, spektralen und physikalischen Informationen werden dann die spezifischen und individuellen Eigenschaften eines jedes Lebensmittels identifiziert. Anhand dieser Spektralprofile kann jedes Essen eindeutig bestimmt werden, da es einen einzigartigen spektralen Fingerabdruck besitzt.<\/p>\n\n\n\n
\"vegitable-spectral-high-res\"<\/td>\n\"meat-spectral-high-res_small\"<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Bild 7 und 8: Unterschiedliche Spektralprofile als einzigartiger Fingerabdruck f\u00fcr Gem\u00fcse und Fleisch. <\/em><\/p>\n

„Wir haben mehrere Millionen Bildern verwendet, um unsere KI-Algorithmen zu trainieren“, sagt Christopher Mutti. „Es war sehr viel Arbeit, zehntausende Lebensmittelklassifikationen, Konfusionstabellen und andere Prozessschritte durchzuf\u00fchren. Aber jetzt erreichen wir eine Genauigkeit von \u00fcber 90%.\u201c Um die N\u00e4hrwerttabellen und das Gewicht richtig berechnen zu k\u00f6nnen, m\u00fcssen Farbe, Textur, spektrale Signatur und Volumen eines Lebensmittels \u00fcbereinstimmen. Die Rohbilddaten werden zun\u00e4chst von einem Intel\u00ae Edison, einem sehr kleinen SoC (System on a Chip), verarbeitet, um Kohlenhydrate, Proteine, Fette und Wassergehalt zu identifizieren. Von dort aus werden alle gesammelten Informationen in die Cloud \u00fcbertragen und laufen durch die KI-basierte FoodPhone-Datenbank. Das Smartphone empf\u00e4ngt die Ergebnisse und zeigt sie als N\u00e4hrwerttabelle auf dem Handy-Display an.<\/p>\n

Die Technologie kann noch viel mehr<\/strong><\/h2>\n

Die FoodPhone-Technologie hilft Menschen, Lebensmittel im Alltag analysieren – nicht nur bei einer Di\u00e4t. Beim Einkaufen im Supermarkt zeigt die App die frischesten und ges\u00fcndesten Produkte im Regal. Das f\u00fchrt zu weniger Fehlk\u00e4ufen sowie weniger verdorbenen Produkten und spart gleichzeitig Geld. In Echtzeit bekommen die Verbraucher alle Informationen zu Inhaltsstoffen, Qualit\u00e4t und Frische auf ihrem Smartphone angezeigt. Menschen mit Lebensmittelallergien k\u00f6nnen die angegebenen Inhaltsstoffe ihrer Lebensmittel \u00fcberpr\u00fcfen und m\u00fcssen keine „kryptische“ Zutatenlisten entschl\u00fcsseln. Ein einfacher Handy-Shot der Lebensmittel liefert eine detaillierte Liste der Zutaten und eine genaue Haltbarkeit. Die NIR-Daten helfen unabh\u00e4ngig vom Mindesthaltbarkeitsdatum des Produkts, seine Reife, kleine Fehler und eventuelle Bakterien zu erkennen. Die frischeste und reifste Avocado ist nur einen Klick entfernt.<\/p>\n

In zukunftsweisenden Smart-Home-Szenarien kann die Technologie von FoodPhone in jede Haushaltk\u00fcche eingebaut sein. Montiert \u00fcber der Arbeitsplatte k\u00f6nnte eine kleine Kamera jedes Lebensmittel oder die einzelnen Zutaten einer Mahlzeit scannen. Der Benutzer erh\u00e4lt direkt w\u00e4hrend der Zubereitung eine wissenschaftliche Analyse seiner Zutaten und die zusammengefasste N\u00e4hrwerttabelle. All dies, w\u00e4hrend die Software von FoodPhone automatisch die w\u00f6chentliche Einkaufsliste des Benutzers oder dessen Lieferdienst-Bestellung aktualisiert.<\/p>\n

\"Collage_klein\"<\/p>\n

Bild 9: Das \u00fcber der Arbeitsplatte montierte FoodPhone-Ger\u00e4t scannt fertig zubereitete Speisen.<\/em><\/p>\n

Ein intelligenter IoT-K\u00fchlschrank kann mit FoodPhone\u2019s Technologie die verbrauchten Lebensmittel und ihre Haltbarkeit verfolgen, sowie ebenfalls direkt mit den Einkaufs- und Lieferlisten abgleichen. Nie mehr \u00e2\u20ac\u017eWurst ist alle\u201c – eine Familie k\u00f6nnte sehen und sofort nachkaufen, wenn ein beliebtes Essen zur Neige geht – beziehungsweise ihr K\u00fchlschrank tut dies f\u00fcr sie.<\/p>\n

Dar\u00fcber hinaus kann die bildverarbeitungs- und KI-basierte \u00c3\u0153berpr\u00fcfung von Lebensmitteln Lebensmittelbetrug bek\u00e4mpfen und die wahren Inhaltsstoffe aufzeigen. Menschen k\u00f6nnen bessere und ges\u00fcndere Entscheidungen treffen, wenn sie zugesetzte Chemikalien oder geheime Inhaltsstoffe kennen, die von manchen Herstellern zur Verl\u00e4ngerung der Haltbarkeit, f\u00fcr ein besseres Aussehen des Essens oder \u00e2\u20ac\u017ezum s\u00fcchtig machen\u201c von Produkten verwendet werden.<\/p>\n

Erstklassiges Beispiel f\u00fcr den zukunftsweisenden Einsatz von Bildverarbeitung<\/strong><\/h2>\n

Die innovative FoodPhone-Technologie ist ein perfektes Beispiel daf\u00fcr, wie vision-basierte Applikationen in Alltagsger\u00e4ten wie Handys und intelligenten Haushaltsger\u00e4ten f\u00fcr wirklich innovative Anwendungen eingesetzt werden k\u00f6nnen, und nur sehr wenig Platz brauchen. Die Kombination verschiedener Arten von KI-basierter Bildverarbeitung – in diesem Fall 3D, RGB und NIR – zur Extraktion zus\u00e4tzlicher Informationen zeigt, wie leistungsf\u00e4hig moderne Vision-Systeme sind. Standardkameras mit integrierter Tiefenerfassung und Infrarot-Projektoren sind zu g\u00fcnstigen Preisen, sofort einsatzbereit und in sehr kleinen Gr\u00f6\u00dfen erh\u00e4ltlich. Die einfach zu bedienende und erschwingliche Bildverarbeitungstechnologiekann Anwendungen in Industrie- und Verbraucherm\u00e4rkten auf die n\u00e4chste Stufe heben. Maschinen lernen nicht nur das Sehen, sondern sogar den Blick \u00e2\u20ac\u017eunter die Schale\u201c.<\/p>\n","protected":false},"excerpt":{"rendered":"

Mit fortschrittlichen KI-, 3D- und Hyperspektral-Ans\u00e4tzen verwandelt Bildverarbeitung herk\u00f6mmliche Handys in pr\u00e4zise Analyseger\u00e4te f\u00fcr Lebensmittel.<\/p>\n","protected":false},"author":6,"featured_media":750,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false},"article-category":[],"article-tag":[],"class_list":["post-740","articles","type-articles","status-publish","format-standard","has-post-thumbnail","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles\/740","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/articles"}],"about":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/types\/articles"}],"author":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/comments?post=740"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media\/750"}],"wp:attachment":[{"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/media?parent=740"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-category?post=740"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/framos.com\/de\/wp-json\/wp\/v2\/article-tag?post=740"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}