Titel

Verfahren zum Steuern einer Robotervorrichtung

Stand der Technik

Die vorliegende Offenbarung bezieht sich auf Verfahren zum Steuern einer Robotervorrichtung.

Autonome oder hochautomatisierte Systeme wie Robotervorrichtungen, z.B. Drohnen oder autonome Fahrzeuge, benötigen Wahrnehmungsfähigkeiten für die Umgebung, in der sie arbeiten bzw. sich bewegen. Ein typischer Ansatz hierfür ist die Verwendung von Algorithmen des maschinellen Lernens (ML) wie Objektdetektion oder semantische Segmentierung. Insbesondere bei tiefen neuronale Netzwerke (DNNs) in sicherheitskritischen Anwendungen gibt es jedoch Sicherheitsbedenken: ML-Algorithmen und damit auch DNNs basieren auf statistischen Methoden, bei denen ein Modell (wie ein DNN) lernt, aus einem gegebenen Datensatz während des Trainingsprozesses zu extrahieren. Da das Modell selbstlernend ist, sind bestimmte Entscheidungen des Modells bei der Extraktion, d.h. eines von dem Modell ausgegebenen (Wahrnehmungs)- Ergebnisses, nicht intuitiv zu verstehen. Sobald falsche Entscheidungen für ein Ergebnis getroffen werden, entstehen Risiken für die Sicherheit des Systems, für das es eingesetzt wird. Daher ist es wünschenswert, beurteilen zu können, wie vertrauenswürdig ein aktuelles Ergebnis ist. Bei einer unsicheren Vorhersage kann das System Funktionen einschränken oder sich auf redundante Wahrnehmungs- oder Steuerungsfunktionen stützen.

Die Veröffentlichung von D. Feng, L. Rosenbaum und K. Dietmayer, “Towards safe autonomous driving: Capture uncertainty in the deep neural network for lidar 3d vehicle detection,” CoRR, vol. abs/1804.05132, 2018, , im Folgenden als Referenz 1 bezeichnet, beschreibt Ansätze zur Ermittlung der Konfidenz von Ergebnissen von neuronalen Netzwerken.

Jedoch kann der Fall auftreten, dass auch einer solchen Konfidenz nicht vertraut werden kann, nämlich in dem Fall, dass die Eingabe, auf der das Ergebnis und auch seine Konfidenz basiert, stark unterschiedlich ist von den Trainingsdaten (insbesondere der Testdaten), mit denen das neuronale Netzwerk trainiert wurde.

Es sind deshalb Ansätze wünschenswert, die bei der Steuerung einer Robotervorrichtung zuverlässig Information darüber einbeziehen, ob Ergebnissen eines neuronalen Netzwerks (oder allgemein eines maschinellen Lernmodells), die für die Steuerung verwendet werden sollen, vertraut werden kann.

Offenbarung der Erfindung

Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Steuern einer Robotervorrichtung bereitgestellt, aufweisend Empfangen von Sensordaten, Verarbeiten der Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung, Ermitteln einer ersten Werts, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist, Ermitteln eines zweiten Werts, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert, Ermitteln, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert und Aktivieren mindestens einer Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt.

Durch die Prüfung sowohl eines Wertes, der eine Konfidenz des Verarbeitungsergebnisses repräsentiert, und eines Wertes der repräsentiert, wie stark die jeweiligen Eingabedaten für das maschinelle Lernmodell von seinen Trainingsdaten abweichen, wird gewährleistet, dass wenn für ein Verarbeitungsergebnis eine hohe Konfidenz ermittelt wird, z.B. das maschinelle Lernmodell eine hohe Konfidenz ausgibt, auch sichergestellt wird, dass das maschinelle Lernmodell in einem Bereich arbeitet, für den dieser Konfidenz vertraut werden kann. In anderen Worten wird also nicht nur eine Konfidenz für das Ergebnis selbst, sondern auch für diese Konfidenz (in Form des zweiten Wertes) ermittelt und nur wenn beide Konfidenzen ausreichend hoch sind (d.h. eine Mindestkonfidenz erfüllt ist (oder äquivalent eine Höchstunsicherheit nicht überschritten wird) und eine Höchstabweichung nicht überschritten wird), wird das Verarbeitungsergebnis ohne weitere Maßnahmen für die Steuerung verwendet.

Die Trainingsdaten können die für das eigentliche Training verwendeten Daten, die Validierungsdaten und/oder die Testdaten sein oder beinhalten.

Im Folgenden werden verschiedene Ausführungsbeispiele angegeben.

Ausführungsbeispiel 1 ist ein Verfahren zum Steuern einer Robotervorrichtung, wie oben beschrieben.

Ausführungsbeispiel 2 ist ein Verfahren nach Ausführungsbeispiel 1, wobei die Sicherheitsmaßnahme aufweist, dass das Verarbeitungsergebnis für die Steuerung der Robotervorrichtung verworfen wird.

Damit wird vermieden, dass Ergebnisse des neuronalen Netzwerks, für die die Annahme nicht berechtigt ist, dass sie zuverlässig sind, die Steuerung der Robotervorrichtung negativ beeinflussen und z.B. zu Gefährdungen führen.

Ausführungsbeispiel 3 ist ein Verfahren nach Ausführungsbeispiel 1 oder 2, wobei die Sicherheitsmaßnahme aufweist, dass weitere Sensordaten beschafft werden und die Robotervorrichtung unter Verwendung der weiteren Sensordaten gesteuert wird.

Damit kann bei Sensordaten, die kein verlässliches Verarbeitungsergebnis des neuronalen Netzwerks ermöglichen, eine sichere Steuerung erreicht werden, indem die Sensordaten ergänzt werden. Ausführungsbeispiel 4 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 3, aufweisend Steuern der Robotervorrichtung unter Verwendung des Verarbeitungsergebnisses ohne die Aktivieren der Sicherheitsmaßnahme, falls der erste Wert nicht außerhalb eines ersten Bereichs liegt, und der zweite Wert nicht außerhalb des zweiten Bereichs liegt.

Damit wird eine effiziente Steuerung erreicht, sofern sowohl die Konfidenz in das Verarbeitungsergebnis ausreichend hoch ist und die Eingabe des maschinellen Lernmodells sich innerhalb des Bereichs befindet, für den das maschinelle Lernmodell trainiert wurde.

Ausführungsbeispiel 5 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 4, wobei das maschinelle Lernmodell ein neuronales Netzwerk ist.

Ein neuronales Netzwerk ermöglicht eine effiziente Datenverarbeitung für Steuerungsaufgaben (z.B. für Wahrnehmungsaufgaben für eine Steuerung). Außerdem gibt es dafür effektive Ansätze, um eine Konfidenz dafür, das ein jeweiliges Verarbeitungsergebnis korrekt ist, sowie eine Abweichung der Eingabedaten (Sensordaten) von Trainingsdaten zu ermitteln.

Ausführungsbeispiel 6 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5, aufweisend Trainieren des maschinellen Lernmodells mit den Trainingsdaten.

Ausführungsbeispiel 7 ist eine Robotersteuereinrichtung, die eingerichtet ist, ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchzuführen.

Ausführungsbeispiel 8 ist ein Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.

Ausführungsbeispiel 9 ist ein computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.

In den Zeichnungen beziehen sich ähnliche Bezugszeichen im Allgemeinen auf dieselben Teile in den ganzen verschiedenen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstäblich, wobei die Betonung stattdessen im Allgemeinen auf die Darstellung der Prinzipien der Erfindung gelegt wird. In der folgenden Beschreibung werden verschiedene Aspekte mit Bezug auf die folgenden Zeichnungen beschrieben.

Figur 1 zeigt ein Fahrzeug.

Figur 2 veranschaulicht die Beurteilung einer Ausgabe eines neuronalen Netzwerks.

Figur 3 zeigt ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Robotervorrichtung darstellt.

Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die zur Erläuterung spezielle Details und Aspekte dieser Offenbarung zeigen, in denen die Erfindung ausgeführt werden kann. Andere Aspekte können verwendet werden und strukturelle, logische und elektrische Änderungen können durchgeführt werden, ohne vom Schutzbereich der Erfindung abzuweichen. Die verschiedenen Aspekte dieser Offenbarung schließen sich nicht notwendigerweise gegenseitig aus, da einige Aspekte dieser Offenbarung mit einem oder mehreren anderen Aspekten dieser Offenbarung kombiniert werden können, um neue Aspekte zu bilden.

Im Folgenden werden verschiedene Beispiele genauer beschrieben.

Figur 1 zeigt ein Fahrzeug 101.

Das Fahrzeug 101, beispielsweise ein PKW oder LKW, ist mit einer Fahrzeugsteuereinrichtung 102 versehen.

Die Fahrzeugsteuereinrichtung 102 weist Datenverarbeitungskomponenten auf, z.B. einen Prozessor (z.B. eine CPU (Zentraleinheit)) 103 und einen Speicher 104 zum Speichern von Steuersoftware, gemäß der die Fahrzeugsteuereinrichtung 102 arbeitet, und Daten, die von dem Prozessor 103 verarbeitet werden.

Beispielsweise weist die gespeicherte Steuerungssoftware (Computerprogramm)-Anweisungen auf, die, wenn der Prozessor sie ausgeführt, bewirken, dass der Prozessor 103 ein neuronales Netzwerks 107 implementiert.

Die im Speicher 104 gespeicherten Daten können beispielsweise Bilddaten beinhalten, die von einer oder mehreren Kameras 105 erfasst werden. Die eine oder mehreren Kameras 105 können beispielsweise ein oder mehrere Graustufen- oder Farbfotos der Umgebung des Fahrzeugs 101 aufnehmen.

Die Fahrzeugsteuereinrichtung 102 kann basierend auf den Bilddaten ermitteln, ob und welche Objekte, z.B. feste Objekte wie Verkehrszeichen oder Straßenmarkierungen oder bewegliche Objekte wie Fußgänger, Tiere und andere Fahrzeuge in der Umgebung des Fahrzeugs 101 vorhanden sind, d.h. eine Objektdetektion durchführen.

Das Fahrzeug 101 kann dann von der Fahrzeugsteuereinrichtung 102 gemäß den Ergebnissen der Objektdetektion gesteuert werden. So kann die Fahrzeugsteuereinrichtung 102 beispielsweise einen Aktuator 106 (z.B. eine Bremse) steuern, um die Geschwindigkeit des Fahrzeugs zu steuern, z.B. um das Fahrzeug zu bremsen.

Ein falsches Ergebnis (z.B. Objektdetektion) eines neuronalen Netzwerks, wie das neuronale Netzwerk 107, das zur Wahrnehmung in einem hochautomatisierten System eingesetzt wird (z.B. im Fahrzeug 101), kann fatale Folgen haben. Daher sind zuverlässige Konfidenzwerte für die Ergebnisse wünschenswert. Diese können dann für eine Sicherheitszone für die Wahrnehmung dienen: Solange die Konfidenz für eine Ausgabe hoch ist, kann das System unter Verwendung der Ergebnisse des neuronalen Netzwerks arbeiten, aber sobald die Wahrnehmung unsicher ist, d.h. die Konfidenz unter einer Schwelle (bzw. außerhalb des Bereichs einer Mindestkonfidenz) ist, können Sicherheitsmaßnahmen ergriffen werden wie z.B. Funktionen des Systems eingeschränkt werden.

Eine grundlegende Schwäche von Ausgaben (d.h. Ergebnissen) neuronaler Netzwerke und deren Zuverlässigkeit ist, dass die Bewertung des neuronalen Netzwerks auf der Grundlage eines Test- Datensatzes nur unter bestimmten Annahmen auf neue und ungesehene Eingaben verallgemeinert werden kann. Diese Annahmen sind jedoch bei komplexen Anwendungen mit offenem Kontext wie dem automatisierten Fahren nicht berechtigt. Sobald jedoch Eingabedaten aus einer anderen Verteilung als der des Trainings- Datensatzes (inklusive Test- Datensatz) stammen, kann einem Konfidenzmaß (d.h. einer Konfidenz einer Ausgabe des neuronalen Netzwerks) nicht mehr vertraut werden. So können (tiefe) neuronale Netzwerke insbesondere eine verteilungsfremde Eingabe (d.h. Eingaben außerhalb ihres Test- oder Trainingsdatensatzes) mit hoher Konfidenz (falsch) klassifizieren.

Ebenso können, auch wenn Konfidenzwerte für die Position eines Objekts berechnet werden können und die Kalibrierung des neuronalen Netzwerks auf dem Testdatensatz (d.h. für Eingaben innerhalb der Eingabedatenverteilung des Testdatensatzes) hinreichend gut ist, die Konfidenzwert in der praktischen Anwendung nicht ohne Risiko verwendet werden, da die Konfidenzwerte für Daten außerhalb der Eingabedatenverteilung des Testdatensatzes nicht mehr unbedingt zuverlässig sind.

Deshalb ist es gemäß verschiedenen Ausführungsformen vorgesehen, dass Konfidenzwerte für die Ausgabe eines neuronalen Netzwerks (z.B. eine Positions-/Klassenvorhersage) und für die Verteilung, aus der Eingaben stammen, kombiniert werden.

Es werden gemäß verschiedenen Ausführungsformen zwei Unsicherheitsmaße kombiniert, die gemeinsam einen sicheren Wahrnehmungsbereich definieren. Die können die Basis zur Beurteilung der Anwendung von weiteren Maßnahmen oder Verfahren für die Verkleinerung des Bereichs, in dem ein neuronales Netzwerk nicht sicher arbeitet (insbesondere Bereiche von Eingabedaten mit niedrigen Konfidenzen), bilden, indem sie als KPIs (key performance indicators) für solche Maßnahmen oder Verfahren verwendet werden. Wenn die Anzahl der unsicheren Situationen, für die die Unsicherheitsmaß anzeigen, dass das neuronale Netzwerk nicht im sicheren Bereich arbeitet oder die Werte der Unsicherheitsmaße niedriger wird, kann dies so interpretiert werden, dass solche Maßnahmen oder Verfahren erfolgreich die Zuverlässigkeit des neuronalen Netzwerks und damit die Sicherheit der Steuereinrichtung, die das neuronale Netzwerk einsetzt, erhöhen.

Wenn das neuronale Netzwerk auf dem Testdatensatz unsicher ist, können zusätzliche Maßnahmen vorgenommen werden, um die Leistungsfähigkeit und Sicherheit in Hinblick auf Sicherheitsbedenken in Bezug auf das neuronale Netzwerk zu verbessern. Nach Anwendung dieser Maßnahmen sollte entsprechend die Konfidenz des neuronalen Netzwerks verbessert sein (d.h. die Konfidenz sollte höher sein (d.h. die Unsicherheit geringer) bzw. weniger Fälle mit geringen hoher Unsicherheit sollten auftreten).

Figur 2 veranschaulicht die Beurteilung einer Ausgabe 202 (d.h. eines Ergebnisses entsprechend einer bestimmten Aufgabe, z.B. eine Objektklassifizierung) eines neuronalen Netzwerks 201 für eine bestimmte Eingabe 203. Die Eingabe ist beispielsweise ein Kamerabild oder andere Sensordaten und die Ausgabe ist beispielsweise ein Vektor von Soft-Values für eine Klassifizierung, ein Bild, das eine Segmentierung des Eingabebilds darstellt, die Position von Bounding-Boxen etc., je nach Aufgabe des neuronalen Netzwerks 201.

Im Folgenden wir angenommen, das das neuronale Netzwerk 201 die Position eines Objekts schätzt. Die Ausgabe 202 ist also eine Positionsschätzung (z.B. in Form der Angabe einer Bounding-Box oder der Markierung des Objekts in einem Kamerabild).

Wie oben erwähnt, werden für das neuronale Netzwerk 201 die Werte zwei Unsicherheitsmaßen (oder äquivalent Konfidenzmaßen, dann tritt im Folgenden an Stelle von „Überschreiten eines Schwellwerts“ „Unterschreiten eines Schwellwerts“ etc.) berechnet: Der Wert u^ eines Unsicherheitsmaßes für die Positionsschätzung und der Wert U2 eines „Verteilungs“-Unsicherheitsmaßes dafür, dass die Eingabe 203 im Bereich eines Datensatzes liegt, mittels dem das neuronale Netzwerk 201 trainiert wurde. Ist die Unsicherheit gemäß dem Wert U2 hoch, so ist die Eingabe verteilungsfremd in Bezug auf eine Verteilung von Trainings- Eingabedaten (engl. out-of-distribution), sonst verteilungstreu (engl. in- distribution).

Ist die Positionsunsicherheit u^ niedrig, so ist das neuronale Netzwerk 201 sich sicher bzgl. seiner Positionsschätzung. Ist die Verteilungs-Unsicherheit gemäß dem Wert U2 niedrig, so wird dieser (niedrigen) Positionsunsicherheit vertraut und Sicherheitsmaßnahmen (Einschränkung von Funktionen, Rückgriff auf redundante Informationen oder Steuerungseinrichtungen etc.) werden nur ergriffen, wenn die Positionsunsicherheit u^ einen Schwellwert YI überschreitet.

Überschreitet der Wert U2 des Verteilungs-Unsicherheitsmaßes jedoch einen Schwellwert Y2> ^so arbeitet das neuronale Netzwerk 201 (und entsprechend die Steuereinrichtung, die es verwendet, z.B. die Steuereinrichtung 102) nicht mehr in dem Bereich, für den es trainiert (und insbesondere erfolgreich getestet) wurde und dem Wert u^ des Unsicherheitsmaßes für die Positionsschätzung kann nicht mehr vertraut werden. Es werden dann (von der jeweiligen Steuereinrichtung, die einen entsprechenden Vergleich der Werte der Unsicherheitsmaße mit den Schwellwerten durchführt) Sicherheitsmaßnahmen ergriffen. Eine Sicherheitsmaßnahme kann es sein, dass die Steuereinrichtung sich auf Sensordaten von einem anderen Sensor stützt (als die, die die Eingabe 203 enthält) oder ein Warnsignal ausgibt (z.B. an eine übergeordnete Steuerungsoder Planungseinrichtung oder einen Benutzer alarmiert wie z.B. den Fahrer im Falle eines Fahrzeugs oder ein Sicherheitsmanöver ausführt oder das Fahrzeug stoppt). Die Steuereinrichtung ermittelt also, ob

Ui > 1 oder u ₂ > 72 erfüllt ist. Ist dies der Fall, folgert die Steuereinrichtung (d.h. detektiert damit), dass das neuronale Netzwerk 201 außerhalb seines sicheren Bereichs arbeitet und ergreift entsprechende (Sicherheits-)maßnahmen. Stellt die Steuereinrichtung fest, dass beide Ungleichungen nicht erfüllt sind, so folgert sie, dass das neuronale Netzwerk 201 in seinem sicheren Bereich arbeitet und arbeitet normal (d.h. ergreift z.B. die Sicherheitsmaßnahmen nicht und verwendet das Ergebnis 202 des neuronalen Netzwerks 201 für die Steuerung der jeweiligen Robotervorrichtung).

Die Ermittlung, ob U‘2 72 erfüllt ist, kann als Detektion dafür angesehen werden, dass die Eingabe 203 des neuronalen Netzwerks 201 außerhalb des Bereichs von Eingabedaten liegt, für den es trainiert wurde. Dies bedeutet z.B. , dass entsprechend die Robotervorrichtung außerhalb von Umgebungsbedingungen eingesetzt wird, für den sie (bzw. ihre Steuervorrichtung, die das neuronale Netzwerk implementiert) trainiert wurde.

Diese Ermittlung, insbesondere der Wert U2 der Verteilungs-Unsicherheit, kann unter Verwendung von Verfahren für epistemische Unsicherheit ermittelt werden, z.B. unter Verwendung von Ensembles oder Multi- Head- Ansätzen.

Die Verteilungs-Unsicherheit kann Rekonstruktions-basiert ermittelt werden: Beispielsweise kann mit Hilfe von Autoencodern ermittelt werden, ob ein Bild aus derselben Domäne kommt wie der Trainingsdatensatz. Ein Autoencoder komprimiert die Bilder des Trainingsdatensatzes und lernt sie wieder möglichst gut zu rekonstruieren. Kommt ein Bild aus einer anderen Domäne, dann hat die Rekonstruktion einen größeren Fehler.

Zur Anomaliedetektion kann auch ein entsprechender Term in die Verlustfunktion eines neuronalen Netzwerks aufgenommen werden.

Die Unsicherheit für die Position (oder eines jeweiligen anderen Ergebnisses des neuronalen Netzwerks) kann durch Konfidenzkalibrierung oder aleatorische Unsicherheitsansätze ermittelt werden. Beispiele für solche Ansätze im Zusammenhang mit autonomen Fahren sind in Referenz 1 beschrieben. Bei einer Klassifizierung mittels Soft-Values kann der jeweilige Wert selbst als Unsicherheit bzw. Konfidenz für das Ergebnis angesehen werden. Auch ein Bayessches neuronales Netzwerk kann z.B. dazu verwendet werden, für eine Ausgabe eine Unsicherheitsinformation zu erhalten.

Der jeweilige Ansatz zur Bestimmung der Unsicherheiten kann je nach Anwendung gewählt werden insbesondere so, dass die Steuereinrichtung Echtzeit-fähig ist, wenn dies erforderlich ist (d.h. Ergebnisse aus Sensordaten schnell genug ermittelt werden können).

Die Werte der Schwellwerte YI und Y2 können abhängig von der jeweiligen Anwendung gewählt werden. Sie können auf der Grundlage von Expertenwissen gesetzt werden oder durch eine statistisches Verfahren (das ggf. zusätzliche Daten verwendet) gelernt werden.

Zusammengefasst wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie in Figur 3 dargestellt.

Figur 3 zeigt ein Ablaufdiagramm 300, das ein Verfahren zum Steuern einer Robotervorrichtung darstellt.

In 301 werden Sensordaten empfangen.

In 302 werden die Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung verarbeitet.

In 303 wird ein erster Wert, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist, ermittelt.

In 304 wird ein zweiter Wert, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert, ermittelt.

In 305 wird ermittelt, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert.

In 306 wird mindestens eine Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung aktiviert, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt. Es sollte beachtet werden, dass die in Figur 3 dargestellte Reihenfolge auch zumindest teilweise geändert werden kann, so können z.B. 303 und 304 auch vertauscht oder gleichzeitig erfolgen. Auch kann schon einmal ermittelt werden, ob der erste Wert außerhalb des ersten Bereichs liegt und nur falls nicht der zweite Wert ermittelt werden. Die „oder“-Verknüpfung ist nicht als exklusives oder zu verstehen, d.h. die Bedingung ist erfüllt, falls der erste Werte außerhalb des ersten Bereichs liegt, der zweite Wert außerhalb des zweiten Bereichs liegt oder beides der Fall ist.

Der erste Bereich und der zweite Bereich sind wie in den obigen Beispielen beispielsweise durch entsprechende Schwellwerte festgelegt.

Das Verfahren von Figur 3 kann durch einen oder mehrere Computer mit einer oder mehreren Datenverarbeitungseinheiten durchgeführt werden. Der Begriff „Datenverarbeitungseinheit“ kann als irgendein Typ von Entität verstanden werden, die die Verarbeitung von Daten oder Signalen ermöglicht. Die Daten oder Signale können beispielsweise gemäß mindestens einer (d.h. einer oder mehr als einer) speziellen Funktion behandelt werden, die durch die Datenverarbeitungseinheit durchgeführt wird. Eine Datenverarbeitungseinheit kann eine analoge Schaltung, eine digitale Schaltung, eine Logikschaltung, einen Mikroprozessor, einen Mikrocontroller, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP), eine integrierte Schaltung einer programmierbaren Gatteranordnung (FPGA) oder irgendeine Kombination davon umfassen oder aus dieser ausgebildet sein. Irgendeine andere Weise zum Implementieren der jeweiligen Funktionen, die hierin genauer beschrieben werden, kann auch als Datenverarbeitungseinheit oder Logikschaltungsanordnung verstanden werden. Es können ein oder mehrere der im Einzelnen hier beschriebenen Verfahrensschritte durch eine Datenverarbeitungseinheit durch eine oder mehrere spezielle Funktionen ausgeführt (z. B. implementiert) werden, die durch die Datenverarbeitungseinheit durchgeführt werden.

Das maschinelle Lernmodell implementiert gemäß verschiedenen Ausführungsformen eine Wahrnehmungsfunktion durch Verarbeitung von Sensordaten. Zwischen der Verarbeitung zur Wahrnehmung, die die Verarbeitung durch das maschinelle Lernmodell beinhaltet und die auch Sensorfusion und redundante Pfade beinhalten kann und der eigentlichen Steuerung, d.h. der Ausgabe von Steuersignalen, z.B. an Aktuatoren der jeweiligen Robotervorrichtungen können noch weitere Verarbeitungen und Funktionen wie z.B. die Verarbeitung durch einen Planer.

Verschiedene Ausführungsformen können Sensordaten von verschiedenen Sensoren wie z. B. Video, Radar, LiDAR, Ultraschall, Bewegung, Wärmeabbildung usw. empfangen und verwenden, um eine Wahrnehmungsfunktion unter Verwendung eines neuronalen Netzwerks bereitzustellen. Es können auch Daten von mehreren verschiedenen Sensoren mittels Sensorfusion verwendet werden. Die Verarbeitung der jeweiligen Sensordaten durch das neuronale Netzwerks kann die Klassifikation der Sensordaten oder das Durchführen einer semantischen Segmentierung an den Sensordaten umfassen, beispielsweise um die Anwesenheit von Objekten (in der Umgebung, in der die Sensordaten erhalten wurden) zu detektieren.

Ausführungsformen können zum Steuern einer Robotervorrichtung verwendet werden, d.h. unter Verwendung der Ausgabe des neuronalen Netzwerks kann ein Steuersignals für eine Robotervorrichtung erzeugt werden. Der Begriff „Robotervorrichtung“ kann als sich auf irgendein technisches System (mit einem mechanischen Teil, dessen Bewegung gesteuert wird) beziehend verstanden werden, wie z. B. eine computergesteuerte Maschine, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, einen persönlichen Assistenten oder ein Zugangssteuersystem. Es wird eine Steuerungsvorschrift für das technische System gelernt und das technische System dann entsprechend gesteuert. Die oben beschriebene Herangehensweise kann insbesondere in hochautomatisierten Systemen mit neuronalen Netzwerken verwendet werden, die sicherheitskritisch sind.

Als Sicherheitsmaßnahme kann auf einen anderen (redundanten bzw. sicheren) Sensor ausgewichen werden, dessen Sensordaten dann für die Steuerung verwendet werden.

Obwohl spezielle Ausführungsformen hier dargestellt und beschrieben wurden, wird vom Fachmann auf dem Gebiet erkannt, dass die speziellen Ausführungsformen, die gezeigt und beschrieben sind, gegen eine Vielfalt von alternativen und/oder äquivalenten Implementierungen ausgetauscht werden können, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen. Diese Anmeldung soll irgendwelche Anpassungen oder Variationen der speziellen Ausführungsformen abdecken, die hier erörtert sind. Daher ist beabsichtigt, dass diese Erfindung nur durch die Ansprüche und die Äquivalente davon begrenzt ist.