Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kategorisierung von Lebensmitteln unter Verwendung eines mobilen Endgerätes.

Stand der Technik

Verfahren und Vorrichtungen zur Kategorisierung von Lebensmitteln sind aus dem Stand der Technik grundsätzlich bekannt. Diese basieren allerdings typischerweise auf einer relativ komplizierten Technik.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie eine Vorrichtung zur Kategorisierung eines Lebensmittels derart weiterzuentwickeln, dass standortunabhängig und zuverlässig Lebensmittel kategorisiert werden können.

Gelöst wird die oben genannte Aufgabe durch ein Verfahren zur Kategorisierung von Lebensmitteln, wobei das Verfahren den Schritt der Aufnahme des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes umfasst. Als weitere Schritte umfasst das Verfahren die Auswertung von Sensordaten des ersten Sensors und die Kategorisierung des Lebensmittels. Unter einem Sensor eines mobilen Endgerätes ist ein Sensor zu verstehen, der mit dem Endgerät verbunden ist, bspw. physisch oder über eine Datenverbindung. Dabei steuert das mobile Endgerät den Sensor. In anderen Worten wird die Funktionalität des Endgerätes durch den verbundenen Sensor erweitert. Der erste Sensor ist vorzugsweise beweglich, vorzugsweise tragbar, ausgebildet. Ferner kann der Sensor dem mobilen Endgerät zugeordnet ist. Auch hier besteht eine Verbindung des Sensors zum mobilen Endgerät. Insofern kann der Sensor als Teil des mobilen Endgerätes verstanden werden. Der Sensor kann eine eigenen Sim-Karte zur Kommunikation und somit zur Weitergabe an Informationen aufweisen. Fertigungsstraßen, bspw. zur Verarbeitung von Lebensmitteln, können durch Sensoren mit eigenen Sim-Karten leicht aufgerüstet werden, ohne dass die gesamte Fertigungsstraße überholt werden muss. Dabei kann das mobilen Endgeräts mit dem Sensor verbunden werden, sodass dieser dem mobilen Endgerät zugeordnet sein kann. Bei dem mobilen Endgerät kann es sich beispielsweise um ein Smartphone, ein Tablet, einen Laptop, eine Brille oder eine andere tragbare Vorrichtung zur Wahrnehmung einer erweiterten oder virtuellen Realität (Augmented Reality- oder Virtual Reality- Brille oder Wearable) handeln. Dieses kann eine Schnittstelle zum ersten und/oder zum weiter unten beschriebenen zweiten Sensor umfassen.

Unter einer „Aufnahme" ist ein Ermitteln von Sensordaten des Lebensmittels zu verstehen. Mittels des ersten Sensors werden Sensordaten ermittelt, auf deren Basis nach einer entsprechenden Auswertung das Lebensmittel kategorisiert wird. Bei dem Lebensmittel kann es sich bspw. um Obst, Gemüse, Fleisch und/oder Fisch handeln. Insbesondere kann es sich um ganze Fische Schalen-, Krustentiere oder Mollusken handeln.

Vor allem werden von einer Außenseite des Lebensmittels mittels des ersten Sensors mindestens eine Aufnahme, vorzugsweise Aufnahmen von unterschiedlichen Seiten, gemacht. Dabei kann das Lebensmittel zwischen den Aufnahmen gewendet werden. Insbesondere, wenn es sich bei dem Lebensmittel um einen Fisch, ein Schalentier, ein Krustentier oder eine Molluske handelt, kann das Lebensmittel von mindestens zwei Seiten aufgenommen werden.

Unter dem Begriff „Kategorisierung" des Lebensmittels ist insbesondere zu verstehen, dass das Lebensmittel bezüglich mindestens einer Kategorie kategorisiert, d.h. einer jeweiligen Klasse der mindestens einen Kategorie zugeordnet, wird. Beispielsweise kann zunächst festgestellt werden, um welche Art Lebensmittel es sich handelt. Sobald das Lebensmittel feststeht, kann ermittelt werden, um welche Subart es sich handelt. So kann beispielsweise festgestellt werden, ob es sich bei dem Lebensmittel um einen Fisch und vorzugsweise welche Fischart handelt. Das Gleiche gilt bspw. für Krustentiere, Schalentiere und Mollusken. Auch bei Fleisch kann bspw. festgestellt werden, um welches Fleisch und in einem nächsten Schritt um welchen Schnitt des Fleisches es sich handelt. Eine Kategorie kann somit bspw. die Lebensmittelart (bspw. Fisch oder Fleisch) und eine weitere Kategorie die Lebensmittelsubart (bspw. Fischart) sein.

Der erste Sensor ist vorzugsweise dazu ausgebildet das Lebensmittel zu scannen, in anderen Worten mittels Messpulsen das gesamte Lebensmittel zu vermessen. Der erste Sensor ist somit dazu ausgebildet, Messpulse auszusenden, die am Lebensmittel reflektiert werden, und wieder zu empfangen. Die Wellenlänge des Messpulse ist insbesondere im Infrarotbereich. Aus der Laufzeit der ausgesandten und wieder reflektierten und empfangenen Messpulse kann insbesondere Tiefeninformation des Lebensmittels ermittelt werden. Ferner können im Rahmen der Lidarmessungen Messpulse im grünen Wellenlängenbereich, vor allem mit einer Wellenlänge zwischen 522 nm und 542 nm, eingesetzt werden. Die empfangenden Messpulse im Infrarotbereich können mit denen im grünen Wellenlängenbereich verglichen werden.

Insbesondere kann der erste Sensor als Solid-State-Lidar-Sensor ausgebildet sein. Dies bedeutet, dass der erste Sensor keine beweglichen Spiegel oder Scanköpfe zum Aussenden von Messpulsen in unterschiedliche Raumwinkel zum Scannen des Lebensmittels benötigt. Typischerweise weist ein entsprechender Lidar-Sensor eine Sendematrix und eine Empfangsmatrix auf, wobei die Sendematrix mehrere Sendequellen umfasst. Mittels einer Sendeoptik können Messpulse der Sendequellen in leicht unterschiedliche Richtungen ausgesandt werden, die dann mittels einer entsprechenden Empfangsoptik auf die Empfangsmatrix abgebildet werden. Dabei können die Sendeelemente vor allem als Oberflächenemitter, in anderen Worten VCSEL-Dioden, ausgebildet sein.

Handelt es sich bei dem ersten Sensor um einen Lidar-Sensor, liegen die Sensordaten als Punktwolke vor. Für jeden reflektierten Messpuls wird eine Raumrichtung, in anderen Worten der Winkel, unter dem sich die Reflektionsstelle auf dem Lebensmittel befindet, sowie eine Distanzinformation ermittelt, sodass basierend auf allen empfangenen Messpulsen eine dreidimensionale Darstellung des Lebensmittels in Form von Raumpunkten, die sogenannte Punktwolke, ermittelt werden kann.

Dadurch, dass der Sensor Teil eines mobilen Endgerätes bzw. mit dem Endgerät verbunden und/oder mit diesem zugeordnet ist, können entsprechende Aufnahmen von Lebensmitteln von jeder Person durchgeführt werden. Diese Personen sind nicht mit speziellen Scangeräten auszustatten, sondern können, beispielsweise durch den Download einer Applikation, selbständig Aufnahmen des Lebensmittels anfertigen. Es können somit standortunabhängig Lebensmittel kategorisiert werden. Das Verfahren kann das Erstellen einer dreidimensionalen Darstellung des Lebensmittels zur Kategorisierung umfassen. Im Falle eines Lidar-Sensors handelt es sich bei der dreidimensionalen Darstellung, wie oben beschrieben, um eine Punktwolke.

Eine Kategorisierung wird insbesondere als Zuordnung zu zumindest einer zuvor definierten Klasse einer zuvor definierten Kategorie verstanden. Beispiele für eine Kategorie ist insbesondere die Art des Lebensmittels, wobei als Klasse hier Fisch und/oder Fleisch und/oder ein Obst definiert sein können.

Zur Kategorisierung des Lebensmittels können ferner Sensordaten mindestens eines zweiten Sensors verwendet werden. In anderen Worten können mittels eines zweiten Sensors ebenfalls mindestens eine Aufnahme, vorzugsweise mehrere Aufnahmen, des Lebensmittels erstellt werden, wobei die so ermittelten Sensordaten in die Auswertung miteinfließen.

Der erste Sensor und der zweite Sensor unterscheiden sich in ihrer Art und somit vorzugsweise in ihrem Messprinzip. Bei dem zweiten Sensor handelt es sich insbesondere um einen Infrarotsensor, eine Kamera oder einen Radarsensor.

Die Verwendung eines zweiten Sensors hat den Vorteil, dass bei der Verwendung zweier Sensoren unterschiedlicher Sensorart umfassendere und ggfs. auch präziserer Informationen zum Lebensmittel ermittelt werden können. Beispielsweise kann mittels eines Infrarotsensor die Außentemperatur des Lebensmittels ermittelt werden. Eine Kamera hingegen kann - beispielsweise im Vergleich zu einem Lidar-Sensor - die Farbe des Lebensmittels aufnehmen, während ein Radar-Sensor Tiefeninformationen ermitteln kann. Quantensensoren können zur Bestimmung der chemischen Zusammensetzung des Lebensmittels eingesetzt werden. Bspw. kann eine Kontamination des Lebensmittels, eine Wasserart oder Wasserlage, in der sich das Lebensmittel befunden hat, ermittelt werden. Ferner können physikalische Eigenschaften und/oder Gewebezustände (bspw. ob ein Lebensmittel verrottet oder Bakterien vorhanden sind) oder die organische Struktur ermittelt werden.

In anderen Worten können durch die Verwendung von Sensoren unterschiedlicher Art wäre ein gemusterter Fisch, von dem Lidar-Messdaten und Bilddaten vorliegen. Während das Muster in den Lidar-Messdaten nicht zu erkennen ist, kann dieses aus den Bilddaten ermittelt werden. Andersherum verhält es sich mit der Tiefeninformation. Diese lässt sich aus den Lidar-Messdaten ableiten, aus den Bilddaten allerdings nicht. In anderen Worten ist das Muster ein bildspezifisches Merkmal, während die Tiefeninformation ein Lidar-spezifisches Merkmal sind. Die Kontur des Lebensmittels wären hingegen sowohl in den Bilddaten als auch in den Lidar-Daten zu erkennen. Durch die Verwendung mehrerer Sensoren unterschiedlicher Sensorart wird die Zuverlässigkeit der Kategorisierung erhöht.

Vorzugsweise werden neben dem ersten Sensor sowohl ein Infrarotsensor als auch eine Kamera und/oder ein Radarsensor verwendet. Ferner kann ein Quantensensor verwendet werden.

Vorzugsweise werden die Sensordaten des ersten Sensors und vorzugsweise die Sensordaten des zweiten Sensors an eine Auswerteeinheit außerhalb des mobilen Endgerätes zur Auswertung und Kategorisierung übertragen, vor allem kabellos. Es handelt sich somit um eine externe Auswerteeinheit. Die Übertragung kann beispielsweise mittels Funktechnologie, beispielsweise Mobilfunk, erfolgen. Ferner kann die Übertragung mittels Bluetooth, Internet oder mittels Satellitenübertragung erfolgen.

Die Auswertung beziehungsweise Kategorisierung wird somit außerhalb des mobilen Endgerätes durchgeführt. In anderen Worten ist die Auswerteeinheit kein Teil des mobilen Endgerätes. Durch die Übertragung der Sensordaten an eine Auswerteeinheit außerhalb des mobilen Endgerätes ist die Auswertung beziehungsweise Kategorisierung unabhängig von dem mobilen Endgerät, beispielsweise von dessen Hardware- oder Software, bspw. Softwareupdates. Bei der Auswerteeinheit kann es sich insbesondere um eine zentrale Verarbeitungseinheit handeln, die bspw. Sensordaten verschiedener mobiler Endgeräte empfängt und Sensordaten zentral auswertet. Es müssen somit nur bezüglich der zentralen Auswerteeinheit software- und/oder hardwarebedingte Anforderungen zur Auswertung und Kategorisierung erfüllt sein. Insbesondere kann die Auswerteeinheit Teil einer Cloud sein, an die die Sensordaten übertragen werden. Ferner können die Daten an eine Festplatte „Outsourcen" der Auswertung wird eine zuverlässige Kategorisierung ermöglicht, auch wenn die Sensordaten standortunabhängig von unterschiedlichen Endgeräten ermittelt werden.

Die zentrale Auswerteeinheit kann unterschiedliche Schnittstellen aufweisen, beispielsweise zu einer Verarbeitungseinheit eines Dritten und/oder zu einem manuellen Auswertemodul, bei dem die Kategorisierung nicht automatisiert, sondern durch eine Person erfolgt, die die Sensordaten sichtet. Ferner kann die Auswerteeinheit ein Modul zur automatisierten Auswertung, vor allem mithilfe von künstlicher Intelligenz, umfassen.

Vor allem umfasst die Auswertung ein Extrahieren von Merkmalen des Lebensmittels aus den Sensordaten und ein Vergleich dieser Merkmale mit abgespeicherten Daten zuvor definierter Klassen, wobei aufgrund des Vergleichs eine Zuordnung zu einer Klasse erfolgt. Bei der Auswertung von Bilddaten können die Bilder bspw. mit zuvor abgespeicherten Bilddaten verglichen werden.

Vor allem erfolgt die Auswertung und/oder Kategorisierung automatisiert und somit nicht auf Basis einer Person, die die Sensordaten sichtet. Die Auswerteeinheit kann vor allem künstliche Intelligenz zur Auswertung und/oder Kategorisierung verwenden.

Die Auswerteeinheit kann insbesondere eine Merkmalsextraktoreinheit pro Sensorart der entsprechenden Sensordaten umfassen. Beispielsweise kann die Auswerteeinheit eine Merkmalsextraktoreinheit für Sensordaten eines Lidar-Sensors und eine weitere Merkmalsextraktoreinheit für Bilddaten, also Sensordaten einer Kamera, umfassen. Die Merkmalsextraktoreinheiten dienen dazu, aus den Messdaten Merkmale zu extrahieren.

Jede Merkmalsextraktionseinheit kann mindestens ein neuronales Netzwerk zur Auswertung umfassen. Insbesondere handelt es sich bei den Merkmalsextraktoreneinheiten um neuronale Netzwerke. Beispielsweise kann die Merkmalsextraktoreinheit für Bilddaten ein Convolutional Neural (CNN) Netzwerk, das mindestens ein Convolutional Schicht umfasst, aufweisen. Ein Convolutional Neural Network ist in der Lage, Input in Form eines Bildes zu verarbeiten. Beispielsweise kann beispielsweise gerade Striche und in tieferen Schichten komplexere Merkmale wie beispielsweise L-Features, Kreisfeatures, etc. extrahieren. Eine entsprechende Merkmalsextraktoreinheit für Lidar-Daten, das heißt Sensordaten eines Lidar-Sensors, kann beispielsweise als Multilayer Perceptron (MLP) - Netzwerk ausgebildet sein, wobei das MLP-Netzwerk eine Vielzahl von MLP-Schichten aufweisen kann. Das MLP- Netzwerk ist in der Lage, Input in Form von Punktwolken zu verarbeiten.

Ferner kann die Auswerteeinheit eine Merkmalsvergleichseinheit umfassen, die entsprechend extrahierte Merkmale mit abgespeicherten Daten zuvor definierter Klassen vergleichen kann. Insbesondere sind sowohl die Merkmalsextraktionseinheit als auch die Merkmalsvergleichseinheit mittels unüberwachten Lernen angelernt. In anderen Worten umfassen die entsprechenden neuronalen Netzwerke Gewichte, die durch entsprechend unüberwachtes Lernen festgelegt wurden. Das Anlernen umfasst Bereitstellen eines Inputs, wobei der Output des entsprechenden Netzwerkes mit dem Input verglichen wird, um entsprechende Gewichte des Netzwerkes festzulegen.

Insbesondere erfolgt die Kategorisierung, indem extrahierte Merkmale mit abgespeicherten Daten zuvor definierter Klassen mindestens einer Kategorie verglichen werden. Es kann durch das Anlernen der entsprechenden neuronalen Netzwerke beispielsweise jeder Klasse jeder Kategorie ein Durchschnittsvektor zugewiesen werden. Aus Lidar-Daten extrahierte Merkmale, die typischerweise als Vektoren vorliegen, können mit den entsprechenden Durchschnittsvektoren der entsprechenden Klassen verglichen werden, beispielsweise durch Ermitteln der Cosinus-Ähnlichkeit. Das Merkmal kann dann bspw. der Klasse mit der größten Cosinus- Ähnlichkeit zugewiesen werden und somit die Kategorisierung erfolgen.

Beispielsweise können verschiedene Fischarten abgespeichert werden. Diese kennzeichnen sich insbesondere durch deren dreidimensionale Form aus. So kann bestimmten dreidimensionalen Formen eine bestimmte Fischart zugewiesen werden. Aus entsprechenden Bild- oder Lidar-Daten kann auf die dreidimensionale Form eines Fisches geschlossen werden, wobei die dreidimensionale Form mit den abgespeicherten dreidimensionalen Formen zuvor definierter Klassen verglichen werden kann. Eine Zuordnung kann bei der größten Übereinstimmung im Vergleich zu allen Klassen erfolgen. Der Kategorisierung, insbesondere bezüglich jeglicher Kategorie, kann mittels des Verfahrens ferner eine Konfidenz zugeordnet werden. Die Konfidenz kann einem Nutzer angezeigt werden, sodass transparent ist, mit welcher Sicherheit das entsprechende Lebensmittel kategorisiert wurde.

Zur Kategorisierung des Lebensmittels kann beispielsweise auf Basis der Sensordaten des ersten Sensors und/oder des zweiten Sensors eine Farbe und/oder eine Temperatur, vor allem eine Außentemperatur, des Lebensmittels ermittelt werden. Beispielsweise kann die Farbe mittels Sensordaten einer Kamera bestimmt werden, während die Temperatur vorzugsweise mittels Sensordaten einer Infrarotkamera bestimmt werden. Bei der Farbe und/oder der Temperatur kann es sich somit um jeweilige Merkmale des Lebensmittels handeln, das zur Kategorisierung herangezogen werden. Beispielsweise kann mittels der Temperatur darauf geschlossen werden, ob das Lebensmittel im tiefgefrorenen Zustand vorliegt. Eine Kategorie kann somit der Zustand, bspw. tiefgefroren oder nicht tiefgefroren, sein, wobei als Merkmal die Temperatur extrahiert und mit zuvor abgespeicherten Temperaturdaten verglichen wird. Ferner können auf Basis der Temperatur Rückschlüsse über die Härte des Lebensmittels getroffen werden. Handelt es sich insbesondere um ein tiefgefrorenes Lebensmittel, ist dieses typischerweise härter im Vergleich zu nicht tiefgefrorenen Lebensmitteln. Beispielsweise können in der Kategorie Härte verschiedene Härtegrade definiert sein, wobei beispielsweise tiefgefrorene Lebensmittel einer Klasse mit höherem Härtegrad zugeordnet werden.

Zur Kategorisierung des Lebensmittels kann ferner auf Basis der Sensordaten eine dreidimensionale Form und/oder eine Oberfläche, vor allem eine Oberflächenbeschaffenheit, ermittelt werden. Eine dreidimensionale Form des Lebensmittels kann beispielsweise aus Sensordaten einer Kamera und/oder eines Lid a r- Sensors ermittelt werden. Anhand der dreidimensionalen Form kann vor allem die Lebensmittelart und/oder die Lebensmittelsubart, bspw. Fischart, bestimmt werden. Hierzu erfolgt ein Vergleich der Form mit zuvor abgespeicherten Formen bezüglich der einzelnen Kategorien bzw. derer Klassen.

Die Oberfläche wird insbesondere auf Basis der Sensordaten eines Lidar-Sensors ermittelt, da diese die entsprechenden notwendigen Tiefeninformationen beinhalten. beispielsweise glatt ausgebildet ist oder ob die Oberfläche bemerkenswerte Unebenheiten aufweist.

Auf Basis der Oberfläche können Rückschlüsse über die Qualität des Lebensmittels gezogen werden. Insbesondere wird hierzu ermittelt, wie glatt die Oberfläche ist. Einige Lebensmittel zeichnen sich durch eine sehr glatte Oberfläche aus, sodass Unebenheiten dieser Oberfläche einen Rückschluss darüber zulassen, dass die Qualität degradiert ist. In der Kategorie Qualität kann es somit unterschiedliche Klassen geben, die eine Einstufung der Qualität auf Basis der Oberfläche erlauben.

Ferner kann auf Basis der Oberfläche, insbesondere für bestimmte Lebensmittel, auf Zusätze oder Inhaltsstoffe des Lebensmittels geschlossen werden, da bspw. bekannt ist, dass insbesondere diese Zusätze beziehungsweise Inhaltsstoffe für entsprechende Beschädigungen der Oberfläche verantwortlich sind. Ein Beispiel wäre Phosphat. Eine degradierte Oberflächenbeschaffenheit und somit auch eine degradierte Qualität ist bei einigen Lebensmitteln, wie beispielsweise Fisch, typischerweise durch Phosphat verursacht, sodass beim Feststellen einer Degradierung der Glätte indirekt festgestellt werden kann, dass Phosphat vorliegt.

Ferner kann festgestellt werden, ob das Lebensmittel glasiert vorliegt. Glasiert bedeutet, dass das Lebensmittel mit einer Eisschicht (der Glasur) zumindest teilweise ummantelt, vorzugsweise gänzlich ummantelt ist. Dies kann vor allem mittels der Sensordaten basierend auf dem Lidar-Scanner erfolgen. Zur Kategorisierung des Lebensmittels kann insbesondere auf Basis der Sensordaten ein Anteil (vorzugsweise prozentual) einer Eisschicht am Gesamtgewicht des Lebensmittels ermittelt werden. Insbesondere wird auf Basis der Sensordaten ein Gewicht des Lebensmittels abgeschätzt. In der Kategorie Gewicht kann es somit verschiedene Abstufungen geben, wobei beispielsweise auf Basis der erkannten Lebensmittelart, vorzugsweise der Lebensmittelsubart, und der dreidimensionalen Form ein Gewicht abgeschätzt werden kann. Hierzu kann vor allem aus der Form eine Länge und/oder Breite und/oder ein Durchmesser und/oder ein Volumen des Lebensmittels abgeschätzt werden. Daraus kann somit ein geschätztes Gesamtgewicht des Lebensmittels ermittelt und vorzugsweise einer Kalibrierung zugeordnet werden. Insbesondere bei Fischprodukten, Krusten-, Schalentieren und Mollusken ermöglicht dies eine Zuordnung zu den marktüblichen Kalibrierungen mit Angabe vom Gewicht inklusive oder exklusive dem Glasuranteil.

Bei Einsatz eines Lidar-Sensors kann ferner eine Dicke einer Eisschicht auf dem tiefgefrorenen Lebensmittel ermittelt werden. Bspw. kann festgestellt werden, ob nur eine minimale Schutzglasur (und somit eine nicht deklarierungspflichtige Glasur laut Lebensmittelinformations-Verordnung (LMIV)) vorliegt. Messpulse eines entsprechenden Lidar-Messverfahrens werden sowohl an der äußeren Eisschicht als auch an dem Übergang der Eisschicht zum Lebensmittel reflektiert, sodass auf Basis der Sensordaten eines Lidar-Sensors die Dicke der Eisschicht ermittelt werden kann. Aus der Dicke der Eisschicht kann wiederum auf den Anteil der Eisschicht am Gesamtgewicht geschlossen werden und somit das Abtropfgewicht (ATG) / Drained net weight (net weight) ermittelt werden. Eine entsprechende Angabe ist insbesondere bei den Lebensmitteln Fisch, Schalen-, Krustentiere oder Mollusken von besonderer Bedeutung, da diese oft tiefgefroren vorliegen und sich deren Preise oft nach deren Gewicht ableiten, wobei ein maximaler Eisanteil nicht überschritten werden darf. Das Vorliegen dieses maximalen Eisanteils kann somit mittels des vorliegenden Verfahrens auf einfache Weise überwacht werden. Insbesondere wird von dem Lidar-Sensor infrarotes Licht und/oder grünes Licht eingesetzt. Vor allem können im Rahmen der Lidarmessungen Messpulse im grünen Wellenlängenbereich, vor allem mit einer Wellenlänge zwischen 522 nm und 542 nm, eingesetzt werden. Die empfangenden Messpulse im Infrarotbereich können mit denen im grünen Wellenlängenbereich verglichen werden. Insbesondere basierend auf den grünen Messpulsen kann der Übergang zwischen der Fischaußenhaut und des Eises sehr präzise bestimmt werden.

Ferner kann auf Basis der Sensordaten der Ursprung des Lebensmittels festgestellt werden. Bspw. kann bei einem Fisch festgestellt werden, aus welcher Wasserart (Süßwasser oder Salzwasser) und/oder von welchem Standort, bspw. aus welchem Meer, dieser stammt. Somit kann der Ursprung bspw. verifiziert werden. Hierfür können vor allem die Sensordaten des Quantensensors verwendet werden. Mittels des Quantensensors kann die chemische, insbesondere mineralische, Zusammensetzung der noch im Lebensmittel befindlichen Reste des Wassers bestimmt werden. Die ermittelte Zusammensetzung kann mit einer zuvor abgespeicherten Zusammensetzung bestimmter Standorte, bspw. Meeren, verglichen und somit ein Standort festgestellt (Süßwasser oder Salzwasser) und/oder der Standort kann mit der Lebensmittelsubart, bspw. Fischart, abgeglichen werden, was die Gewissheit über den Herkunftsort des Lebensmittels erhöhen kann. Somit kann Betrug vorgebeugt werden und die Einhaltung von Standard, bspw. in Bezug auf Nachhaltigkeit, kontrolliert werden.

Handelt es sich bei dem Lebensmittel um eine Flüssigkeit, kann mittels der Sensordaten ferner die Gaszusammensetzung ermittelt werden. Auch die Gaszusammensetzung kann basierend auf Sensordaten eines Quantensensors ermittelt werden.

Auch kann festgestellt werden, ob das Lebensmittel noch lebt. Vor allem basierend auf den Sensordaten von grünem Licht kann ein Blutfluss im Nahbereich bestimmt werden, um zu sehen, ob ein Objekt lebt bzw. deren Blutviskosität festgestellt werden.

Das Verfahren kann das Durchführen mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen, um eine Entwicklung des Lebensmittels zu überwachen. So können beispielsweise mehrere Aufnahmen erstellt werden, auf Basis dieser eine Videosequenz erstellt werden kann. So kann die zeitliche Entwicklung von Merkmalen bzw. Kategorisierungsergebnissen über die Zeit beobachtet werden.

Die Ergebnisse der Kategorisierung können insbesondere mittels einer Speichereinheit abgespeichert werden. Ferner können die Sensordaten und/oder bereits ermittelte Merkmale und/oder die Ergebnisse der Kategorisierung an Dritte, bspw. Lieferanten, Transportunternehmen, Kunden etc., übermittelt werden. Ferner können die Daten über mindestens ein Zahlungssystem, ein E-Commerce-Plattform, einer Logistikplattform, einer Distributed-Ledger-Technologieplattform oder eines Blockchain-Setups verarbeitet werden, um eine vollständige Transparenz hinsichtlich der gesamten Lieferkette zu ermöglichen. Auch kann die entsprechende dreidimensionale Darstellung entsprechend weitergegeben werden. Beispielsweise auf einem E-Commerce-Marktplatz kann somit das Lebensmittel dreidimensional dargestellt werden, insbesondere zusammen mit den ermittelten Kategorien. Dabei kann die Kategorisierung bspw. herangezogen werden, um Mängel bei der Einhaltung von Anforderungen der Lieferkette festzustellen. Dies kann sich bspw. aus einer Abweichung der festgestellten Klasse bezüglich der Kategorie Qualität ergeben. Durch Lieferkette aufgrund der maximalen Transparenz leicht ermittelt und somit behoben werden.

Dritte können die zur Verfügung gestellten Daten insbesondere für die Kalkulation und die Verarbeitung hinsichtlich einer Bezahlung verwenden. Ferner kann die Information dafür verwendet werden, den Transport zu erleichtern, indem die Informationen beispielsweise im Vorweg an Logistikunternehmen weitergeleitet werden. In diesem Kontext ist insbesondere die dreidimensionale Form, das abgeschätzte Gewicht und die Dimension relevant.

Ferner können die entsprechenden Sensordaten beziehungsweise Ergebnisse der Auswertung und Kategorisierung für eine Überprüfung der Aufrechterhaltung der internationalen Qualität hinsichtlich Produktionsstandards, beispielsweise für lokale Fischerei oder Fleischproduzenten, verwendet werden.

Die entsprechenden aufgenommenen Sensordaten beziehungsweise die Ergebnisse der Auswertung beziehungsweise Kategorisierung können jeweils einem Nutzerprofil zugeordnet sein, beispielsweise im Rahmen einer Apple-ID oder eines Google-Play- Accounts. Dabei kann das Verfahren insbesondere ein Anpassen der zur Verfügung gestellten Kategorien beziehungsweise Klassen bei bestimmten Kategorien umfassen hinsichtlich eines jeweiligen Nutzers umfassen. Wird ein Benutzerprofil beispielsweise ausschließlich für Fisch benutzt, können andere Klassen der Lebensmittelkategorie ausgeschlossen werden. Dies erleichtert die Kategorisierung. Diese dynamische Anpassung kann beispielsweise anhand von zuvor aufgenommenen Sensordaten beziehungsweise Ergebnisse von Auswertung und Kategorisierung vorgenommen werden.

Sensordaten und/oder Merkmale und/oder Ergebnisse der Kategorisierung des Lebensmittels können in eine virtuelle oder erweiterte Realität transformiert werden und somit das Lebensmittel visuell in der virtuellen oder der erweiterten Realität dargestellt werden. Ferner können ermittelte Merkmale des Lebensmittels zur Aktualisierung einer virtuellen Inventarliste genutzt werden.

Eine weitere Anwendung des vorliegenden Verfahrens ist die Erkennung von Fischen feststellen, um bspw. zu überprüfen, ob sie für den Fang rechtlich zulässig sind. Ein Fischer kann somit feststellen, dass Fische bspw. zu klein oder gefährdet sind und sie somit wieder in die Freiheit entlassen.

In einem weiteren Aspekt betrifft die vorliegende Erfindung eine Vorrichtung, die mindestens einen ersten Sensor eines mobilen Endgerätes zur Aufnahme eines Lebensmittels und mindestens eine Auswerteeinheit zur Auswertung von Sensordaten des ersten Sensors und zur Kategorisierung des Lebensmittels umfasst. Dabei ist die Auswerteeinheit insbesondere nicht Teil des mobilen Endgerätes. Die Vorrichtung kann ferner eine Übertragungseinheit des mobilen Endgerätes umfassen zur Übertragung von Sensordaten an die externe Auswerteeinheit. Die Vorrichtung ist insbesondere zur Durchführung des oben beschriebenen Verfahrens ausgebildet. Dazu kann die Vorrichtung insbesondere mindestens einen zweiten Sensor umfassen.

Kurze Beschreibung der Figuren

Es zeigen in rein schematischer Darstellung:

Figur 1 ein Ablaufschema eines erfindungsgemäßen Verfahrens und

Figur 2 eine erfindungsgemäße Vorrichtung.

Ausführliche Beschreibung der Figuren

Figur 1 zeigt ein Verfahrensschema eines erfindungsgemäßen Verfahrens 100 zur Kategorisierung von Lebensmitteln, wobei das Verfahren 100 die Aufnahme 101 des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes und/oder mittels eines dem mobilen Endgerät zugeordneten ersten Sensors umfasst. Das Verfahren 100 umfasst ferner die Auswertung 103 der Sensordaten und die Kategorisierung 109 des Lebensmittels.

Neben den Sensordaten des ersten Sensors können zur Auswertung auch Sensordaten mindestens eines zweiten Sensors verwendet werden 104. In einem solchen Fall wird das Lebensmittel auch mittels des zweiten Sensors aufgenommen. Bei der Auswerteeinheit handelt es sich insbesondere um eine externe Auswerteeinheit, sodass die Sensordaten an die Auswerteeinheit übertragen 102 werden. Eine drei-dimensionale Form des Lebensmittels wird erstellt 105.

Bei der Auswertung und zur Kategorisierung des Lebensmittels werden eine Farbe und/oder eine Temperatur des Lebensmittels ermittelt 106 und/oder eine dreidimensionale Form und/oder eine Oberfläche ermittelt 107 und/oder ein Anteil einer Eisschicht am Gesamtgewicht des Lebensmittels ermittelt 108. All die vorgenannten Merkmale dienen zur Kategorisierung 109 des Lebensmittels. Das Verfahren 100 kann die Durchführung 110 mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen, um die oben genannten Merkmale über die Zeit hinweg zu beobachten.

Die Sensordaten und/oder bereits ermittelte Merkmale des Lebensmittels können an einen Dritten übertragen werden 111. Dies geschieht insbesondere über eine Schnittstelle. Merkmale des Lebensmittels können in eine virtuelle oder erweiterte Realität transformiert werden 112 und somit das Lebensmittel visuell in der virtuellen oder der erweiterten Realität dargestellt werden 113. Ferner können ermittelte Merkmale des Lebensmittels zur Aktualisierung 114 einer virtuellen Inventarliste genutzt werden.

In Figur 2 ist eine erfindungsgemäße Vorrichtung 10 zur Kategorisierung eines Lebensmittels 30 dargestellt. Die Vorrichtung 10 umfasst einen ersten Sensor 11 eines mobilen Endgerätes 20. Ferner kann der erste Sensor 11 dem mobilen Endgerät 20 zugeordnet sein. Der erste Sensor 11 ist dazu ausgebildet, Aufnahmen des Lebensmittels 30, das im vorliegenden Fall ein Fisch ist, aufzunehmen. Insbesondere kann der erste Sensor 11 das Lebensmittel scannen. Ferner weist die Vorrichtung 10 einen zweiten Sensor 12 auf, der auch zur Aufnahme des Lebensmittels ausgebildet ist.

Die ermittelten Sensordaten können mittels einer Übertragungseinheit 13 des mobilen Endgerätes 20 an eine externe Auswerteeinheit 14 gesandt werden. Bei der externen Auswerteeinheit 14 handelt es sich insbesondere um eine zentrale Verarbeitungseinheit. Diese wiederum kann unterschiedliche Schnittstellen 15 aufweisen, beispielsweise zu einer Verarbeitungseinheit eines Dritten. Beispielsweise gestellt werden, damit die Person das Lebensmittel manuell kategorisiert. Zuvor kann insbesondere die Auswerteeinheit 14 das Lebensmittel in einer dreidimensionalen Form anzeigen.

Bezugszeichenliste

100 Verfahren

101 Aufnahme des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes und/oder mittels mindestens einem dem mobilen Endgerät (20) zugeordneten ersten Sensor (11)

102 Übertragung von Sensordaten an eine Auswerteeinheit außerhalb des mobilen Endgerätes

103 Auswertung der Sensordaten des ersten Sensors

104 Verwendung von Sensordaten mindestens eines zweiten Sensors

105 Erstellen einer drei-dimensionalen Darstellung

106 Ermitteln einer Farbe und/oder einer Temperatur des Lebensmittels

107 Ermitteln einer dreidimensionalen Form und/oder einer Oberfläche

108 Ermitteln eines Anteils einer Eisschicht am Gesamtgewicht des Lebensmittels

109 Kategorisierung des Lebensmittels

110 Durchführen mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen

111 Übertragung von Sensordaten und/oder ermittelten Merkmalen des Lebensmittels an einen Dritten

112 Transformieren von Merkmalen des Lebensmittels in einer virtuellen oder einer erweiterten Realität

113 Visuelle Darstellung des Lebensmittels in einer virtuellen oder einer erweiterten Realität

114 Aktualisierung einer virtuellen Inventarliste

10 Vorrichtung

11 erster Sensor

12 zweiter Sensor

13 Übertragungseinheit

14 Auswerteeinheit

15 Schnittstelle

20 mobiles Endgerät

30 Lebensmittel