Verfahren und Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, beispielsweise eines Endeffektors eines autonomen Roboters.

Mittels autonomen technischen Systemen, wie z.B. autonomen Robotern, können Objekte manipuliert werden. Als Beispiel ist hier das Fangen eines Objektes, das sich auf einer Flugbahn befindet, durch einen Endeffektor eines Roboters zu nennen. Insbesondere sollen autonome technische Systeme schnell auf eine Situation reagieren bzw. schnell eine bestmögliche Hand lung ausführen können.

Ein technisches System kann insbesondere aus Subsystemen, wie z.B. einem Prozessor und einem Endeffektor, aufgebaut sein, welche insbesondere als hierarchisch strukturierte Rechenein heiten aufgebaut und miteinander vernetzt sein können. So können insbesondere Handlungen oder Handlungsschritte auf verschiedenen Ebenen einer hierarchisch strukturierten Steue rung prozessiert und umgesetzt werden.

Herkömmliche Steuerungsverfahren basieren beispielsweise auf dem Erkennen eines Objektes in der Umgebung des technischen Systems durch Sensoren und dem Ermitteln eines geeigneten Handlungsablaufs zur Manipulation des Objektes mittels Pfad planungsalgorithmen. So können herkömmliche Verfahren typi scherweise lediglich einen Ist-Zustand einer Umgebung eines technischen Systems betrachten und nur schwer prognostizie ren, wie, aufgrund von physikalischen Gesetzmäßigkeiten, des sen Handlungen die Umgebung beeinflussen. Es können beispielsweise sogenannte simultane Lokalisierung und Kartenerstellungsverfahren (englisch: „Simultaneous

Localization and Mapping") , auch als SLAM-Verfahren bekannt, genutzt werden, wobei mittels Sensordaten die Umgebung eines autonomen technischen Systems erfasst oder geschätzt wird. Insbesondere wird die Position und Ausrichtung des autonomen technischen Systems selbst und ggf. weiterer Objekte in der Umgebung erfasst. Mittels Pfadplanungsalgorithmen, welche ty pischerweise auf mathematischen und/oder numerischen Methoden basieren, kann ein zulässiger und günstiger Pfad bzw. Abfolge von Handlungsschritten für das autonome technische System er mittelt werden. Solche Verfahren berücksichtigen aber in der Regel keine Konsequenzen einer Handlung des autonomen techni schen Systems oder physikalischen Effekte.

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zu schaffen, günstige Handlungsschritte für ein technisches System unter Berücksichtigung dessen Umgebung zu ermitteln .

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, einer Vorrichtung und ein Computerpro grammprodukt. Vorteilhafte Ausführungsformen und Weiterbil dungen der Erfindung sind in den abhängigen Ansprüchen ange geben .

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, umfassend die Verfahrensschritte :

- Erfassen eines Ausgangszustands und einer Umgebung des technischen Systems mittels mindestens eines Sensors,

- Ermitteln eines Zielzustandes für das technische System,

- Selektieren eines physikalischen Simulationsmodells des technischen Systems und dessen Umgebung, das zumindest teil weise mit der Umgebung und/oder dem Ausgangszustand überein stimmt, - Anpassen von Ausgangswerten des physikalischen Simulations modells an die Umgebung und/oder den Ausgangszustand,

- Simulieren verschiedener Kombinationen aus Handlungsschrit ten des technische Systems mittels des physikalischen Simula tionsmodells, ausgehend von den Ausgangswerten und in Bezug auf den Zielzustand, wobei Regelparameter des technische Sys tems zum Ausführen der Handlungsschritte variiert werden, und Ausgeben von jeweiligen resultierenden Simulationsdaten,

- Trainieren einer maschinellen Lernroutine anhand der jewei ligen resultierenden Simulationsdaten mittels einer Bewertung eines jeweiligen Handlungsschrittes,

- Ermitteln einer optimierten Kombination aus Handlungs schritten anhand der trainierten maschinellen Lernroutine, wobei der optimierten Kombination aus Handlungsschritten eine günstige Bewertung zugeordnet ist,

und

- Ausgeben der Regelparameter der optimierten Kombination aus Handlungsschritten zum Steuern des technischen Systems.

Es ist ein Vorteil der Erfindung, dass mittels einer rechner gestützten physikalischen Simulation in Kombination mit einer maschinellen Lernroutine auf schnelle und effiziente Weise eine optimierte Handlung bzw. ein optimierter Handlungsablauf bzw. Pfad für ein technisches System bestimmt werden kann, wobei insbesondere physikalische Effekte, wie z.B. Gravitati on oder Kollision, und physikalische Größen berücksichtigt werden können. Insbesondere kann ein technisches System auch als ein technisches Subsystem eines technischen Systems ver standen werden. So kann insbesondere gemäß der Erfindung eine günstige Handlung auch für ein Subsystem des technischen Sys tems, wie z.B. ein Endeffektor eines Roboters, ermittelt wer den. Beispielsweise kann die Komplexität der Berechnung der Simulation reduziert werden, indem ein Simulationsmodell des technischen Systems ausgewählt wird, dessen Konfiguration oder Ausgangswerte nahe am Ausgangszustand des technischen Systems oder des Subsystems des technischen Systems sind. Mittels der maschinellen Lernroutine können günstige Hand lungsschritte für das technische System oder für das techni sche Subsystem anhand der Simulationsdaten ermittelt werden, wobei die Handlungsschritte physikalische Effekte, wie z.B. Wechselwirkungen mit der Umgebung, nutzen. Damit kann eine schnelle und präzise Pfadplanung erreicht werden, die insbe sondere Konsequenzen eines vorhergehenden Handlungsschrittes und/oder eines physikalischen Effektes berücksichtigt. So kann das technische System insbesondere physikalische Gesetz te bei der Pfadplanung berücksichtigen, wie z.B. einen Para belflug eines zu fangenden Objektes im Gravitationsfeld der Erde .

Insbesondere kann ein physikalisches Simulationsmodell be reitgestellt werden, das der realen durch einen Sensor er fassten Umgebung und der Ausgangssituation des technischen Systems zumindest teilweise entspricht. Das Simulationsmodell kann vorzugsweise ein Modell des gesamten oder eines Teils, wie z.B. eines Subsystems, des technischen Systems umfassen, so dass insbesondere eine Simulation eines Subsystems abhän gig von Randbedingungen sein kann, die durch das Simulations modell des technischen Systems festgelegt sind. Es kann mit tels einer rechnergestützten Simulation und anhand des Simu lationsmodells mindestens ein Handlungsablauf des technischen Systems simuliert werden. Dadurch kann insbesondere eine schnelle Berechnung der Simulation erzielt werden. Das physi kalische Simulationsmodell kann somit insbesondere anstatt eines herkömmlichen SLAM-Verfahrens genutzt werden. Eine Pfadplanung kann beispielsweise durch ein wiederholtes Durch führen der physikalischen Simulation mit unterschiedlichen Pfaden, d.h. beispielsweise unterschiedliche Ansteuerungsmög lichkeiten des technischen Systems mittels verschiedener Re gelparameter, im Rahmen eines maschinellen Lernverfahrens er folgen. Durch eine beispielsweise positive Bewertung der Pfa de kann eine optimierte Pfadplanung erzielt werden, wobei physikalische Gesetze in die Planung mit einbezogen werden können. Dadurch ist die Bestimmung eines günstigen Handlungs- ablaufs insbesondere flexibel, da die Abfolge der Handlungs schritte nicht starr vorgegeben ist.

Ein technisches System kann insbesondere ein autonomes tech nisches System, wie z.B. ein autonomer Roboter, sein. Ein Subsystem des technischen Systems kann insbesondere ein End effektor eines Roboters oder ein Aktor einer Maschine sein. Unter Ermittlung einer Kombination von Handlungsschritten kann insbesondere Planung einer Aktionssequenz oder eine Handlungsplanung oder eine Pfadplanung verstanden werden, wo bei die einzelnen Handlungsschritte mittels Regelparametern gesteuert werden. Unter einem Handlungsschritt kann insbeson dere eine Aktion oder eine Bewegung des technischen Systems oder eines Subsystems verstanden werden.

Unter einer maschinellen Lernroutine kann ein maschinelles Lernverfahren, wie z.B. ein neuronales Netz, verstanden wer den. Insbesondere kann ein Verfahren zum überwachten Lernen, wie z.B. zum bestärkenden Lernen (englisch: „Reinforcement Learning") , genutzt werden. Die maschinelle Lernroutine wird ausgehend von einem durch mindestens einen Sensor ermittelten Ausgangszustand des technischen Systems und in Bezug auf ei nen vorgegebenen Zielzustand mittels Simulationsdaten trai niert. In anderen Worten, ein Zielzustand wird zum Trainieren der maschinelle Lernroutine vorgegeben und die maschinelle Lernroutine wird derart trainiert, dass sie ausgehend von ei nem Ausgangszustand eine Kombination von Handlungsschritten ermittelt, die zum Zielzustand führen. Der Zielzustand kann beispielsweise vorgegeben sein und/oder als Datensatz einge lesen werden. Es können verschiedene Kombinationen von Hand lungsschritten ausgehend vom Ausgangszustand zum Zielzustand führen, wobei manche der verschiedenen Kombinationen günsti ger sein können. Die verschiedenen Handlungsschritte können mittels des Simulationsmodells rechnergestützt simuliert wer den und jeweils Simulationsdaten ausgegeben werden. Die Simu lationsdaten können insbesondere Werte der Regelparameter, Zustände, Aktionen und Reaktionen des technischen Systems und physikalische Effekte und Größen des technischen Systems und dessen Umgebung umfassen.

Jeder Handlungsschritt und/oder dessen Auswirkung kann bewer tet werden oder jedem Handlungsschritt kann jeweils eine Be wertung zugeordnet sein. Die maschinelle Lernroutine kann insbesondere anhand der Bewertungen, wie z.B. Wertzahlen, die jeweils einem Handlungsschritt zugeordnet werden, trainiert werden, wie z.B. mittels einer Belohnungsfunktion (englisch: „reward function") . Insbesondere können günstige Handlungs schritte bevorzugt werden, wobei unter dem Begriff „günstig" in Zusammenhang mit der Erfindung beispielsweise vorteilhaft, brauchbar, geeignet, sinnvoll, effizient, energieeffizient, schnell, auf kurzem Weg oder ähnliches verstanden werden kann. Die Ermittlung einer Kombination aus günstigen Hand lungsschritten kann beispielsweise durch einen Vergleich der Gesamtbewertung der verschiedenen Kombinationen aus Hand lungsschritten erfolgen, wobei diejenige Kombination mit ei ner günstigen Gesamtbewertung selektiert werden kann.

In einer vorteilhaften Ausführungsform des Verfahrens kann mindestens ein physikalisches Simulationsmodell des techni schen Systems und dessen Umgebung generiert und gespeichert und anschließend zur Selektion bereitgestellt werden.

Vorzugsweise kann mindestens ein physikalisches Simulations modell des technischen Systems und dessen Umgebung vorab ge neriert und beispielsweise in einer Datenbank gespeichert werden. Beispielsweise kann eine Vielzahl an Simulationsmo dellen bereitgestellt werden und, abhängig vom erfassten Aus gangszustand und/oder der Umgebung des technischen Systems und/oder eines Subsystems des technischen Systems, ein mög lichst ähnliches Simulationsmodell selektiert werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann die maschinelle Lernroutine trainiert werden, so bald Simulationsdaten von mindestens einer Kombination aus Handlungsschritten verfügbar sind. Es kann von Vorteil sein, die computergestützte Simulation des technischen Systems oder eines Teils der technischen Sys tems sowie das Training der maschinellen Lernroutine parallel durchzuführen. Beispielsweise kann eine parallele Berechnung auf mehr als einer Recheneinheit, wie z.B. auf mehreren Gra fikprozessoren, durchgeführt werden. Damit kann beispielswei se eine schnelle und effiziente Ermittlung einer günstigen Kombination aus Handlungsschritten erzielt werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann die Bewertung eines Handlungsschrittes abhängig von einem Ergebnis eines Handlungsschritts in Bezug auf den Ziel zustand ausgeführt werden.

Ein Handlungsschritt des Subsystems, wie z.B. eine Aktion ei nes Endeffektors, kann abhängig vom Ergebnis, oder auch einer Auswirkung der jeweiligen Aktion bewertet werden. Insbesonde re kann die Bewertung dem Handlungsschritt zugeordnet werden. Eine Bewertung kann insbesondere abhängig vom oder in Bezug auf den vorgegebenen Zielzustand erfolgen.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann der Zielzustand abhängig vom erfassten Anfangszu stand und/oder von der erfassten Umgebung des technischen Systems ermittelt werden.

Vorzugsweise kann mittels eines Sensors ein Anfangszustand ermittelt und ausgehend von diesem Anfangszustand ein Zielzu stand bestimmt werden. Dies kann insbesondere eine schnelle Aktion oder Reaktion des technischen Systems oder eines Sub systems ermöglichen. Beispielsweise kann ein Zielzustand ei nem Anfangszustand zugeordnet sein oder ein Zielzustand kann aus einer Menge an vorgegebenen Zielzuständen selektiert wer den. Als Beispiel kann die Detektion eines Objekts mittels einer Kamera genannt werden, wobei abhängig von der Detektion der Zielzustand vorgegeben wird. In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann das physikalische Simulationsmodell abhängig vom Ausgangszustand und/oder vom Zielzustand und/oder von der Um gebung und/oder von einer Art des technischen Systems kon struiert werden.

Vorzugsweise kann die Komplexität und/oder die Dimension des physikalischen Simulationsmodells und der rechnergestützten Simulation abhängig vom Ausgangszustand und/oder vom Zielzu stand und/oder von der Umgebung und/oder von der Art des technischen Systems und/oder eines technischen Subsystems ge wählt werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können physikalische Eigenschaften eines Objektes in der Umgebung des technischen Systems als Parameterdaten erfasst, in einer Speichereinheit gespeichert und im physikalischen Simulationsmodell integriert werden.

Zusätzlich zur Objekterkennung durch einen Sensor können zu sätzlich physikalische Eigenschaften oder Parameter eines Ob jektes in z.B. einer Datenbank gespeichert sein und von dort abgefragt werden. Beispielsweise können physikalische Größen, wie z.B. Gewicht oder Materialeigenschaften, eines Objekts vorab erfasst und in einer Speichereinheit, wie z.B. einer Datenbank, gespeichert werden. Die physikalischen Eigenschaf ten können insbesondere als Parameterdaten, oder auch als Eingabedaten, für das Simulationsmodell genutzt werden. Somit können beispielsweise physikalische Effekte, wie z.B. die Be schleunigung eines fallenden Objektes im Gravitationsfeld der Erde, detailliert simuliert werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann die Simulation des technischen Systems und das Training der maschinellen Lernroutine für mehr als einen Zielzustand und/oder für mehr als einen Ausgangszustand des technischen Systems durchgeführt werden und jeweils eine op timierte Kombination aus Handlungsschritten für das techni- sehe System mit einer günstigen Bewertung ermittelt und in einer Speichereinheit gespeichert wird.

Beispielsweise kann mehr als eine maschinelle Lernroutine mittels Simulationsdaten zu verschiedenen Ausgangszuständen und in Bezug auf verschiedene Zielzustände trainiert werden und jeweils eine Kombination aus Handlungsschritten, der eine günstige Bewertung zugeordnet ist, in einer Speichereinheit gespeichert werden. Somit kann vorzugsweise für verschiedene Zustände eines technischen Subsystems des technischen Systems eine entsprechende trainierte maschinelle Lernroutine abge speichert werden, so dass auf diese schnell zugegriffen wer den kann, wenn z.B. ein entsprechender Ausgangszustand des technischen Systems detektiert und/oder ein bestimmter Ziel zustand vorgegeben wird. Es ist auch möglich, ähnliche Aktio nen zu simulieren, eine entsprechende maschinelle Lernroutine zu trainieren und diese für künftige Trainings zu nutzen, so dass die Berechnungszeit verkürzt werden kann. Eine Speicher einheit kann insbesondere eine Datenbank sein. Es können so mit verschiedene Handlungsschritte für verschiedene Situatio nen simuliert und daraus Reflexe gelernt werden. Die Trai ningszeit während einer realen Situation kann somit verkürzt werden .

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können Regelparameter für eine optimierte Kombination aus Handlungsschritten mit einer günstigen Bewertung in Ab hängigkeit eines Zielzustandes in einer Speichereinheit ge speichert werden.

Vorzugsweise kann anhand einer trainierten maschinellen Lern routine eine Kombination aus Handlungsschritten, der eine günstige Bewertung zugeordnet ist, ermittelt werden und die entsprechenden Regelparameter für das Subsystem, die diese Handlungsschritte regeln, können in einer Datenbank abgelegt werden. So können diese beispielsweise für eine künftige Ak tion mit einem gleichen oder zumindest ähnlichen Ausgangs und Zielzustand abgefragt und ausgeführt werden. In einer weiteren vorteilhaften Ausführungsform des Verfah rens können verschiedene Kombinationen aus Handlungsschritten des technischen Systems zeitlich parallel auf mehr als einer Recheneinheit simuliert werden.

Vorzugsweise kann die rechnergestützte Simulation und/oder das Trainieren einer maschinellen Lernroutine parallel, wie z.B. auf Grafikprozessoren (englisch: „graphics processing units", kurz GPUs) , durchgeführt werden. Damit kann insbeson dere eine schnelle und effiziente Berechnung einer Kombinati on aus günstigen Handlungsschritten erfolgen.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können die Umgebung und/oder der Ausgangszustand des technischen Systems fortlaufend mittels mindestens eines Sen sors erfasst werden und das physikalische Simulationsmodell kann mittels der Sensordaten fortlaufend angepasst werden.

Vorzugsweise werden ein aktueller Ausgangszustand und die Um gebung des technischen Systems kontinuierlich oder zu vorge gebenen Zeitpunkten mittels eines Sensors überwacht, so dass das physikalische Simulationsmodell entsprechend angepasst werden kann.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können die Regelparameter an das technische System über tragen werden und die optimierte Kombination aus Handlungs schritten kann durch das technische System ausgeführt werden.

Die Regelparameter können zum Steuern des technischen Systems und/oder eines Subsystems des technischen Systems übertragen werden, so dass die Kombination aus Handlungsschritten von diesem ausgeführt werden kann. Vorzugsweise können lediglich Regelparameter zum Steuern für eine Kombination aus Hand lungsschritten, der eine günstige Bewertung zugeordnet ist, an das übertragen werden. In einer vorteilhaften Ausführungsform des Verfahrens kann ein Ergebnis der ausgeführten optimierten Kombination aus Handlungsschritten bewertet werden und diese Bewertung kann zum Trainieren der maschinellen Lernroutine bereitgestellt werden .

Basierend auf dem Ergebnis der Ausführung einer Handlung kann die maschinelle Lernroutine aktualisiert werden, indem das Ergebnis der Handlung bewertet und die Bewertung als gelern tes Wissen abgespeichert wird. Es kann beispielsweise eine Gesamtbewertung der Handlung oder des Zielzustandes oder eine Summe der Bewertung einzelner Handlungsschritte genutzt wer den .

Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, umfassend:

- mindestens einen Sensor, der derart eingerichtet ist, einen Ausgangszustand und einer Umgebung des technischen Systems zu erfassen,

- ein Zielmodul, das derart eingerichtet ist, einen Zielzu stand für das technische System zu ermitteln,

- eine Modellierungsmodul, das derart eingerichtet ist, ein physikalisches Simulationsmodell des technischen Systems und dessen Umgebung zu selektieren, das zumindest teilweise mit der Umgebung und/oder dem Ausgangszustand übereinstimmt, und Ausgangswerte des physikalischen Simulationsmodells an die Umgebung und/oder den Ausgangszustand des Subsystems anzupas sen,

- ein Simulationsmodul, das derart eingerichtet ist, ver schiedene Kombinationen aus Handlungsschritten des techni schen Systems mittels des physikalischen Simulationsmodells, ausgehend von den Ausgangswerten und in Bezug auf den Zielzu stand, zu simulieren, wobei Regelparameter des technischen Systems zum Ausführen der Handlungsschritte variiert werden, und jeweilige resultierende Simulationsdaten auszugeben,

- ein Trainingsmodul, das derart eingerichtet ist, eine ma schinelle Lernroutine anhand der jeweiligen resultierenden Simulationsdaten mittels einer Bewertung eines jeweiligen Handlungsschrittes zu trainieren,

- ein Optimierungsmodul, das derart eingerichtet ist, eine optimierte Kombination aus Handlungsschritten anhand der trainierten maschinellen Lernroutine zu ermitteln, wobei der optimierten Kombination aus Handlungsschritten eine günstige Bewertung zugeordnet ist,

und

- ein Ausgabemodul, das derart eingerichtet ist, die Regelpa rameter der optimierten Kombination aus Handlungsschritten zum Steuern des technischen Systems auszugeben.

Die Vorrichtung kann insbesondere mit dem technischen System und/oder mit einem technischen Subsystem des technischen Sys tems gekoppelt oder darin integriert sein.

In einer vorteilhaften Ausführungsform umfasst die Vorrich tung ein Übertragungsmodul zum Übertragen der Regelparameter an das technische System.

In einer weiteren vorteilhaften Ausführungsform umfasst die Vorrichtung mindestens eine Speichereinheit und/oder mindes tens eine Recheneinheit.

Eine Speichereinheit kann beispielsweise eine Datenbank sein. Eine Recheneinheit kann insbesondere ein Prozessor oder ein Grafikprozessor sein.

Des Weiteren umfasst die Erfindung ein Computerprogrammpro dukt, das direkt in einen programmierbaren Computer ladbar ist, umfassend Programmcodeteile, die dazu geeignet sind, die Schritte des erfindungsgemäßen Verfahrens durchzuführen.

Ausführungsbeispiele des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung sind in den Zeichnungen bei spielhaft dargestellt und werden anhand der nachfolgenden Be schreibung näher erläutert. Es zeigen in schematischer Dar stellung : Fig. 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfah rens zum rechnergestützten Ermitteln von Regelpara metern für eine günstige Handlung eines technischen Systems ;

Fig. 2 eine schematische Darstellung eines erfindungsgemä ßen Verfahrens zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems; und

Fig. 3 eine schematische Darstellung einer erfindungsgemä ßen Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems.

Einander entsprechende Gegenstände sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Figur 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Ver fahrens zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, insbe sondere eines Subsystems eines technischen Systems, umfassend die folgenden Verfahrensschritte.

Ein technisches System kann im Folgenden insbesondere ein au tonomes technisches System, wie z.B. ein autonomer Roboter in einer Industrieumgebung sein. Das technische System kann ein zelne Handlungsschritte einer Handlung mittels eines Subsys tems, z.B. eines Endeffektors, ausführen, um, ausgehend von einer Ausgangssituation, einen vorgegebenen Zielzustand zu erreichen. Die Handlungsschritte werden mittels Regelparame tern vorgegeben, d.h. das technische System wird mittels der Regelparameter gesteuert.

Im Schritt 1 werden mittels mindestens eines Sensors, der dem technischen System zugeordnet oder mit diesem gekoppelt oder in diesem integriert ist, die Umgebung und der Ausgangszu- stand des technischen Systems erfasst. Beispielsweise kann das technische System ein Roboter mit mindestens einem Endef fektor sein, wobei die aktuelle Position, Ausrichtung und Um gebung des Endeffektors und/oder des technischen System als Ganzes mittels einer Kamera erfasst wird. Die Kamera kann beispielsweise an dem Roboter montiert oder auf diesen ge richtet sein.

Die Umgebung kann beispielsweise die direkte Umgebung in ei nem vorgegebenen Aktionsradius des technischen Systems sein. Eigenschaften und/oder Zustandsgrößen der Umgebung können insbesondere dort befindliche Objekte oder physikalische Grö ßen wie Raumhöhe oder Temperatur sein.

Im Schritt 2 des Verfahrens wird ein Zielzustand für das technische System, wobei der Zielzustand beispielsweise als ein Parameterdatensatz oder ein Vektor vorliegen und insbe sondere den Ergebniszustand einer Handlung beschreiben kann. Der Zielzustand kann vorgegeben sein oder anhand der erfass ten Ausgangssituation ermittelt werden. Ein Zielzustand kann beispielsweise angeben, dass ein Objekt vom Endeffektor ge griffen werden soll, wobei ein Ausgangszustand beispielsweise das Objekt in der Umgebung des technischen Systems umfasst.

Im Schritt 3 wird ein physikalisches Simulationsmodell für das technische System und das Subsystem selektiert. Vorzugs weise sind in einer Speichereinheit eine Vielzahl an physika lischen Simulationsmodellen für das technische System in ver schiedenen Zuständen und/oder verschiedenen Umgebungen be- reitgestellt . Es wird vorzugsweise ein physikalisches Simula tionsmodell ausgewählt, das zumindest teilweise mit der Umge bung und/oder dem Ausgangszustand des technischen Systems übereinstimmt. Beispielsweise kann ein Simulationsmodell se lektiert werden, welches das technische System in einem ähn lichen Betriebszustand und/oder in einer ähnlichen Betriebs umgebung modelliert, wobei das technische System beispiels weise eine zumindest ähnliche Ausrichtung aufweist wie das modellierte technische System im Simulationsmodell. Im Schritt 4 werden die Ausgangswerte des physikalischen Si mulationsmodells mittels der Sensordaten des Ausgangszustands und/oder der Umgebung des technischen Systems derart ange passt, dass eine Simulation des technischen Systems durchge führt werden kann. Es kann insbesondere lediglich ein Subsys tem des technischen Systems modelliert werden.

Die Komplexität und/oder die Domäne und/oder Dimension des physikalischen Simulationsmodells kann abhängig vom Zielzu stand und/oder von der Umgebung und/oder von der Art des technischen Systems gewählt werden. Beispielsweise ist es denkbar, dass eine Simulation der Starrkörpermechanik einge setzt wird, um das Greifen eines festen Gegenstandes durch einen Roboter zu simulieren. Je nach Einsatzgebiet des tech nischen Systems kann die Simulation aus anderen physikali schen Domänen aufgesetzt sein. Beispielsweise kann ein auto nomes technisches System einen chemischen, hydrodynamischen oder finanzwirtschaftlichen Prozess durchführen, so dass eine entsprechende domänenspezifische Simulation konstruiert wer den kann, um die Auswirkungen der Aktionen des technischen Systems zu prognostizieren.

Es können des Weiteren physikalische Eigenschaften von Objek ten in der Umgebung, die z.B. als Parameterdaten in einer Da tenbank gespeichert sind, eingelesen werden und im Simulati onsmodell berücksichtigt werden. Beispielsweise kann mittels eines Sensors die Größe eines durch den Endeffektor zu grei fenden Objektes erfasst werden. Dazu kann anhand einer Samm lung von physikalischen Eigenschaften des Objektes beispiels weise die Beschaffenheit der Oberfläche oder das Gewicht des Objektes ermittelt und zusätzlich in die Simulation inte griert werden.

Ausgehend von dem selektierten und angepassten physikalischen Simulationsmodell wird in Schritt 5 eine Simulation, z.B. ei ne dynamische Simulation, des technischen Systems durchge führt. Das technische System wird insbesondere ausgehend vom erfassten Ausgangszustand und in Bezug auf den vorgegebenen Zielzustand simuliert. Dazu werden die Daten des Ausgangszu stands, der Umgebung und des Zielzustands eingelesen. Insbe sondere wird mindestens eine Kombination aus Handlungsschrit ten des technischen Systems simuliert, wobei die Simulation ausgehend vom Ausgangszustand startet und die Handlungs schritte derart gewählt werden, dass der vorgegebene Zielzu stand vom technischen System erreicht wird. Um verschiedene Handlungsschritte zu simulieren, werden Regelparameter zum Steuern des technischen Systems variiert. Insbesondere können lediglich Handlungsschritte eines Subsystems des technischen Systems simuliert werden.

Es ist auch möglich, dass verschiedene Kombinationen aus Handlungsschritten, ausgehend von einem Ausgangszustand, den Zielzustand erreichen können. Beispielsweise kann ein autono mer Roboter einen beweglichen Roboterarm um verschiedene Ach sen drehen und damit auf verschiedenen Pfaden eine Zielposi tion erreichen. Vorzugsweise werden die verschiedenen Kombi nationen aus Handlungsschritten mittels der physikalischen Simulation simuliert, wobei Regelparameter zum Steuern der verschiedenen Handlungsschritte entsprechend variiert werden. Anschließend werden die Simulationsdaten der jeweiligen Kom bination aus Handlungsschritten ausgegeben. Die Simulations daten können als Trainingsdaten zum Trainieren eines maschi nellen Lernverfahrens genutzt werden.

Die Simulationsdaten können insbesondere auch Informationen über die Wechselwirkung mit der Umgebung beinhalten. Bei spielsweise kann es beim Fangen eines Objektes von einem Ro boter sinnvoll sein, das Objekt zunächst an einer Wand ab- prallen zu lassen, bevor es aufgefangen und gegriffen wird. Die Wechselwirkung mit einer Wand, d.h. der Umgebung, und die daraus resultierenden Handlungsschritte können mittels der physikalischen Simulation berechnet werden.

Im Schritt 6 wird eine maschinelle Lernroutine anhand der je weiligen resultierenden Simulationsdaten trainiert. Eine Lernroutine kann beispielsweise ein Neuronales Netz sein, welches mittels Reinforcement Learning trainiert wird. Das Training kann mittels einer Bewertung eines jeweiligen Hand lungsschrittes erfolgen. Beispielsweise kann ein Handlungs schritt abhängig von einem Ergebnis eines Handlungsschrittes und/oder in Bezug auf den Zielzustand bewertet werden. Eine Bewertung kann insbesondere angeben, ob ein Handlungsschritt günstig ist. Beispielsweise kann die Bewertung eine Pfadlänge eines Handlungsschrittes bewerten und entsprechend einen Wert dem Handlungsschritt zuordnen. Anhand der Bewertung jeweili ger Handlungsschritte kann verglichen werden, welcher Hand lungsschritt günstiger ist.

Die maschinelle Lernroutine kann insbesondere trainiert wer den, sobald Simulationsdaten einer ersten Kombination aus Handlungsschritten berechnet vorliegen. Die Simulation und das Training der maschinellen Lernroutine können vorzugsweise nahezu parallel berechnet werden.

Im Schritt 7 wird eine optimierte Kombination aus günstigen Handlungsschritten, d.h. eine insgesamt günstige Handlung, anhand der trainierten maschinellen Lernroutine ermittelt, wobei unter „optimiert" auch „nahe an einem Optimum" verstan den werden kann. Den günstigen Handlungsschritten ist jeweils eine günstige Bewertung zugeordnet und/oder die Kombination aus günstigen Handlungsschritten weist eine günstige Gesamt bewertung auf. In anderen Worten, es kann anhand der trai nierten maschinellen Lernroutine eine Abfolge aus Handlungs schritten ermittelt werden, die beispielsweise besonders ef fizient oder schnell ist. Die Ermittlung kann beispielsweise anhand eines Vergleichs der Gesamtbewertung einer Kombination aus Handlungsschritten mit den Gesamtbewertungen anderer Kom bination aus Handlungsschritten erfolgen.

Im Schritt 8 werden, abhängig von der optimierten Kombination von günstigen Handlungsschritten, die entsprechenden Regelpa rameter zum Steuern des technischen Systems ausgegeben. Optional können die Regelparameter im Schritt 9 an das tech nische System übertragen werden. Beispielsweise kann eine er findungsgemäße Vorrichtung, wie beispielhaft in Figur 2 ge zeigt, nahe am Endeffektor eines Roboters installiert sein und auf einem kurzen Kommunikationsweg die Regelparameter an diesen übertragen. Im Schritt 10 kann das technische System die Kombination aus Handlungsschritten entsprechend durchfüh ren .

Vorzugsweise kann die Berechnung der Simulation und das Trai ning der maschinellen Lernroutine in wenigen Millisekunden oder kürzer durchgeführt werden, so dass eine schnelle Aktion oder Reaktion, ähnlich zu einem Reflex, des Subsystems mög lich ist.

Das Ergebnis der ausgeführten Kombination aus Handlungs schritten ist vorzugsweise der vorgegebene Zielzustand. Um die Durchführung der Handlung beispielsweise weiter zu opti mieren, kann das Ergebnis der ausgeführten Handlung bewertet werden. Diese Bewertung kann beispielsweise zum Trainieren der maschinellen Lernroutine genutzt werden, siehe Schritt 11. Vorzugsweise kann damit in einer darauffolgenden Iterati on die Rechenzeit verkürzt und die Genauigkeit der Pfadpla nung erhöht werden.

In Figur 2 ist schematisch eine erfindungsgemäße Vorrichtung 100 in Blockdarstellung gezeigt. Die Vorrichtung 100 kann beispielsweise in einem technischen System und/oder Subsystem des technischen Systems integriert oder mit diesem über eine Kommunikationsverbindung C gekoppelt sein. Vorzugsweise ist die Kommunikationsverbindung möglichst kurz ausgestaltet, um eine schnelle Übertragung der ermittelten Regelparameter für eine günstige Handlung an z.B. ein Subsystem zu ermöglichen. Insbesondere können die einzelnen Einheiten und/oder Module einer erfindungsgemäßen Vorrichtung 100 einzeln in verschie denen Systemen verbaut und miteinander gekoppelt sein, wie z.B. mehrere Sensoren, die in der Umgebung des technischen Systems TS installiert und mit der den anderen Einheiten kom munizieren .

Die Vorrichtung 100 umfasst mindestens einen Sensor 101 und/oder ist mit mindestens einem Sensor des technischen Sys tems und/oder Subsystems gekoppelt. Des Weiteren umfasst die Vorrichtung 100 ein Zielmodul 102, ein Modellierungsmodul 103, ein Simulationsmodul 104, ein Trainingsmodul 105, ein Optimierungsmodul 106 zum Ermitteln einer optimierten Kombi nation aus Handlungsschritten anhand der trainierten maschi nellen Lernroutine, ein Ausgabemodul 107, ein Übertragungsmo dul 108, mindestens eine Speichereinheit 109 und mindestens Recheneinheit 110. Vorzugsweise sind die Module und Einheiten zumindest teilweise miteinander gekoppelt und können über Kommunikationsverbindungen Daten austauschen.

Mittels des Zielmoduls 102 wird ein Zielzustand für das Sub system eingelesen. Der Zielzustand soll durch eine Kombinati on aus Handlungsschritten ausgehend von einem Ausgangszustand und abhängig von der Umgebung des Subsystems erreicht werden. Die Steuerung des Subsystems erfolgt über Regelparameter, wo bei mindestens ein Regelparameter einen Handlungsschritt de finiert .

Das Modellierungsmodul 103 ist derart ausgestaltet, dass ein physikalisches Simulationsmodell SIM des technischen Systems, das beispielsweise vorab erstellt wurde und auf einer Spei chereinheit gespeichert ist, abgefragt und an die Umgebung und/oder den Ausgangszustand des realen technischen Systems angepasst werden kann. Das physikalische Simulationsmodell SIM des technischen Systems, das aus einer Vielzahl an physi kalischen Simulationsmodellen selektiert wird, stimmt vor zugsweise zumindest teilweise mit dem Ausgangszustand

und/oder der Umgebung des technischen Systems überein. Es kann somit ein Simulationsmodell des gesamten technischen Systems genutzt werden und lediglich Teile bzw. Ausgangswerte an den Zustand und/oder Beschaffenheit eines technischen Sub systems des technischen Systems angepasst werden. Dies ermög- licht insbesondere, dass die Berechnung der Simulation und das darauffolgende Training der maschinellen Lernroutine na hezu in Echtzeit durchgeführt werden kann.

Im Simulationsmodul 104 wird anhand des Simulationsmodells SIM verschiedene Kombinationen aus Handlungsschritten, ausge hend vom Ausgangszustand und in Bezug auf den Zielzustand, simuliert. Es können beispielsweise auch mehrere Simulationen parallel auf mehr als einer Recheneinheit 110 durchgeführt werden. Es ist auch möglich, für verschiedene Ausgangszustän de und/oder verschiedene Zielzustände jeweils mindestens eine Simulation durchzuführen und die jeweiligen Simulationsdaten auszugeben und/oder auf einer Speichereinheit 109 zu spei chern .

Im Trainingsmodul 105 wird anhand der Simulationsdaten als Trainingsdaten eine maschinelle Lernroutine derart trainiert, günstige Kombinationen von Handlungsschritten für das techni sche System zu ermitteln. Dazu werden die einzelnen simulier ten Handlungsschritte einer Kombination aus Handlungsschrit ten bewertet, wie z.B. abhängig vom jeweiligen Ergebnis eines Handlungsschrittes. Daraus ergibt sich eine mittels der Simu lationsdaten trainierte maschinelle Lernroutine, die eine Kombination aus Handlungsschritten mit einer günstigen Bewer tung ausgeben kann. Das Trainingsmodul 105 kann die trainier te maschinelle Lernroutine an das Optimierungsmodul 106 aus geben. Das Ermitteln einer günstigen oder optimierten Kombi nation aus Handlungsschritten erfolgt im Optimierungsmodul 106 mittels der trainierten maschinellen Lernroutine. In an deren Worten, im Optimierungsmodul 106 wird die trainierte maschinelle Lernmethode angewandt, um eine optimierte Kombi nation aus günstigen Handlungsschritten zu ermitteln.

Durch das Ausgabemodul 107 werden die Regelparameter zum Steuern der selektierten optimierten Kombination aus Hand lungsschritten an das technische System ausgegeben und durch das Übertragungsmodul 108 an dieses zum Ausführen der Hand lungsschritte übertragen. In der Speichereinheit 109 können Simulationsdaten und/oder Regelparameter gespeichert werden. Beispielsweise können für verschiedene Ausgangszustände und/oder Zielzustände verschie dene Simulationen durchgeführt werden. Ausgehend von diesen verschiedenen Simulationsdaten kann mindestens eine maschi nelle Lernroutine gemäß der Erfindung trainiert und anhand der trainierten maschinellen Lernroutine können günstige Kom binationen aus Handlungsschritten ermittelt werden.

Die mindestens eine Recheneinheit 110 kann beispielsweise ein Prozessor oder ein Grafikprozessor sein, auf dem beispiels weise ein erfindungsgemäßes Computerprogrammprodukt Schritte eines erfindungsgemäßen Verfahrens durchführen kann. Insbe sondere kann mehr als eine Recheneinheit (nicht dargestellt) für eine parallele Simulation und/oder Training der maschi nellen Lernroutine genutzt werden.

Die Vorrichtung 100 kann insbesondere dazu genutzt werden, ein autonomes technisches System auf schnelle, reflexartige Weise zu steuern, wobei günstige Handlungsschritte zum Errei chen eines vorgegebenen Zielzustandes mittels einer maschi nellen Lernroutine und einer physikalischen Simulation in kurzer Zeit ermittelt werden können.

Figur 3 zeigt schematisch ein Ausführungsbeispiel eines er findungsgemäßen Verfahrens, wobei die Figur 3 in Figur 3A bis 3C unterteilt ist, welche den Ablauf des Verfahrens beschrei ben. Als technisches System TS ist ein autonomer Roboter mit einem technischen Subsystem SUB, z.B. einem Endeffektor, dar gestellt. Der Endeffektor SUB, z.B. eine Greifvorrichtung, des autonomen Roboters TS kann mittels einer erfindungsgemä ßen Vorrichtung 100 derart gesteuert werden, dass er auf schnelle Weise eine Kombination aus günstigen Handlungs schritten durchführen kann. Die Vorrichtung 100 kann bei spielsweise dem technischen System TS oder dem Subsystem SUB zugeordnet sein oder im technischen System TS oder im Subsys tem SUB integriert sein. Vorzugsweise ist die Vorrichtung 100 nahe am Subsystem SUB oder am technischen System TS instal liert, um lediglich einen kurzen Kommunikationsweg zum Über tragen der Regelparameter aufzuweisen.

Dem autonomen Roboter TS ist mindestens einen Sensor 101, wie z.B. eine Kamera, zugeordnet, mit dem die Position und Aus richtung des Endeffektors und dessen Umgebung UM erfasst wer den kann, siehe Figur 3A. Der mindestens eine Sensor 101 ist vorzugsweise mit der Vorrichtung 100 gekoppelt. Beispielswei se erfasst eine Kamera 101 lediglich einen vorgegebenen Be reich der Umgebung des technischen Systems TS, wie z.B. des sen Aktionsbereich. Die erfassten Daten der Umgebung UM und z.B. der Ausrichtung des Endeffektors SUB werden für eine computergestützte Simulation des Roboters als Ausgangswerte bereitgestellt. Des Weiteren kann durch die Kamera in der Um gebung des autonomen Roboters TS ein Objekt OBJ detektiert werden. Die Daten eines Ausgangszustands AZ umfassen bei spielsweise das Objekt OBJ, dessen Position und die Position des Endeffektors.

Es wird ein Zielzustand ZZ als Datensatz vorgegeben, wie z.B. das Fangen des Objektes OBJ durch den Endeffektor SUB, wie in Figur 3C dargestellt. Beispielsweise kann der Zielzustand ZZ abhängig vom Ausgangszustand AZ ermittelt werden. Der Aus gangszustand AZ kann beispielsweise den Zustand des Objektes, wie z.B. „auf einer Flugbahn", umfassen. Abhängig von diesem Ausgangszustand AZ kann ein Zielzustand ZZ „Objekt fangen" ermittelt werden.

In der Vorrichtung 100 wird ausgehend vom Ausgangszustand AZ und in Bezug auf den Zielzustand ZZ eine computergestützte physikalische Simulation des Roboters und/oder des Endeffek tors und dessen Umgebung durchgeführt. Dazu wird zunächst, beispielsweise von einer Speichereinheit 109, aus einer Viel zahl an physikalischen Simulationsmodellen des Roboters TS eines ausgewählt, das zumindest teilweise mit der erfassten Umgebung UM und/oder dem erfassten Ausgangszustand AZ über einstimmt. Mittels des selektierten physikalischen Simulati- onsmodells werden in der Vorrichtung 100 verschiedene Kombi nationen von Handlungsschritten ausgehend vom Ausgangszustand AZ und in Bezug auf den Zielzustand ZZ durchgeführt. Insbe sondere umfasst das Simulationsmodell physikalische Eigen schaften des technischen Systems TS und dessen Umgebung UM. Zusätzlich können für ein detektiertes Objekt OBJ physikali sche Eigenschaften, wie z.B. Gewicht, aus einer Datenbank ab gerufen und im Simulationsmodell verwendet werden.

Beispielsweise können verschiedene Pfade des Objektes OBJ bzw. Handlungsschritte des Endeffektors SUB, die zum Zielzu stand ZZ führen, simuliert werden, wie in Figur 3B darge stellt. Ausgehend vom Anfangszustand AZ, wobei sich das Ob jekt OBJ im gezeigten Ausführungsbeispiel auf einer Flugbahn F befindet, und in Bezug auf den Zielzustand ZZ, „Fangen des Objektes" durch den Endeffektor SUB, können verschiedene Handlungsschritte kombiniert und simuliert werden. Beispiels weise kann der Endeffektor das Objekt OBJ im Flug fangen, d.h. der Endeffektor SUB des Roboters TS soll derart mittels Regelparametern gesteuert werden, dass von diesem der Pfad PI ausgeführt wird. Alternativ kann, unter Berücksichtigung der Gravitation, das Objekt OBJ den Pfad P2a und P2b durchlaufen, d.h. einen Parabelflug mit Aufprall auf dem Boden durchfüh ren. Folglich kann der Endeffektor SUB andere Handlungs schritte durchführen, um das Objekt OBJ nach dem Aufprall im Flug auf dem Pfad P2b zu fangen.

Mittels einer rechnergestützten Simulation und einer maschi nellen Lernroutine gemäß der Erfindung kann ermittelt werden, welche der Kombination aus Handlungsschritten günstiger für das technische System TS ist. Dabei kann beispielsweise be rücksichtigt werden, dass das Objekt OBJ nach dem Aufprall langsamer fliegt und daher sicherer vom Endeffektor SUB ge fangen werden kann.

Die Simulationsdaten der verschiedenen Kombinationen aus Handlungsschritte werden an das Trainingsmodul 105 der Vor richtung 100 übermittelt, um eine maschinelle Lernroutine derart zu trainieren, eine Kombination aus günstigen Hand lungsschritten zu ermitteln. Die maschinelle Lernroutine wird anhand der Simulationsdaten als Trainingsdaten trainiert. Da zu werden die einzelnen simulierten Handlungsschritte jeweils bewertet. Beispielsweise wird ein Handlungsschritt anhand seines Ergebnisses bewertet. Anhand der trainierten maschi nellen Lernroutine kann eine günstige Kombination aus Hand lungsschritten ermittelt werden. Eine günstige Kombination aus Handlungsschritten kann beispielsweise ein schnelles und energieeffizientes Greifen des Objektes OBJ durch den Endef fektor SUB des Roboters TS als Resultat aufweisen.

Die ermittelte Kombination aus günstigen Handlungsschritten wird an den Roboter oder direkt den Endeffektor übertragen und mittels der entsprechenden Regelparameter ausgeführt. Der Endeffektor kann die einzelnen Handlungsschritte, denen vor zugsweise eine günstige Gesamtbewertung zugeordnet ist, durchführen, so dass der vorgegebene Zielzustand ZZ erreicht wird, siehe Figur 3C.

Alle beschriebenen und/oder gezeichneten Merkmale können im Rahmen der Erfindung vorteilhaft miteinander kombiniert wer den. Die Erfindung ist nicht auf die beschriebenen Ausfüh rungsbeispiele beschränkt.