Verfahren und Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, insbesondere ei nes autonomen technischen Systems wie beispielsweise eines autonomen Roboters .

Mittels autonomen technischen Systemen, wie z.B. autonomen Robotern, können Objekte manipuliert werden. Als Beispiel ist hier das Greifen eines Objektes durch einen Endeffektor eines Roboters zu nennen. Herkömmliche Steuerungsverfahren basieren beispielsweise auf dem Erkennen des Objektes und der Umgebung und des technischen Systems darin durch Sensoren und dem Er mitteln eines geeigneten Handlungsablaufs oder Pfades zum Greifen des Gegenstandes mittels Pfadplanungsalgorithmen. So können herkömmliche Verfahren typischerweise lediglich einen Ist-Zustand einer Umgebung eines technischen Systems betrach ten und nur schwer prognostizieren, wie, aufgrund von physi kalischen Gesetzmäßigkeiten, dessen Handlungen die Umgebung beeinflussen .

Es können beispielsweise sogenannte simultane Lokalisierung und Kartenerstellungsverfahren (englisch: „Simultaneous

Localization and Mapping") , auch als SLAM-Verfahren bekannt, genutzt werden, wobei mittels Sensor-Daten die Umgebung ei nes autonomen technischen Systems erfasst oder geschätzt wird. Insbesondere wird die Position und Ausrichtung des au tonomen technischen Systems selbst und ggf. weiterer Objekte in der Umgebung erfasst. Mittels Pfadplanungsalgorithmen, welche typischerweise auf mathematischen und/oder numerischen Methoden basieren, kann ein zulässiger und günstiger Pfad bzw. Abfolge von Handlungsschritten für das autonome techni sche System ermittelt werden. Solche Verfahren berücksichti- gen aber in der Regel keine Konsequenzen einer Handlung des autonomen technischen Systems oder weitere physikalischen Ef fekte .

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zu schaffen, günstige Handlungsschritte für ein technisches System unter Berücksichtigung dessen Umgebung zu ermitteln .

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, einer Vorrichtung und ein Computerpro grammprodukt. Vorteilhafte Ausführungsformen und Weiterbil dungen der Erfindung sind in den abhängigen Ansprüchen ange geben .

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, umfassend die Verfahrensschritte :

- Erfassen eines Ausgangszustands und einer Umgebung des technischen Systems mittels mindestens eines Sensors,

- Generieren eines physikalischen Simulationsmodells des technischen Systems und dessen Umgebung,

- Ermitteln eines Zielzustandes für das technische System,

- Simulieren verschiedener Kombinationen aus Handlungsschrit ten des technischen Systems mittels des physikalischen Simu lationsmodells, ausgehend vom Ausgangszustand und in Bezug auf den Zielzustand, wobei Regelparameter des technischen Systems zum Ausführen der Handlungsschritte variiert werden, und Ausgeben von jeweiligen resultierenden Simulationsdaten,

- Trainieren einer maschinellen Lernroutine anhand der jewei ligen resultierenden Simulationsdaten und mittels einer Be wertung eines jeweiligen Handlungsschrittes,

- Ermitteln einer optimierten Kombination aus Handlungs schritten anhand der trainierten maschinellen Lernroutine, wobei der optimierten Kombination aus Handlungsschritten eine günstige Bewertung zugeordnet ist,

und - Ausgeben der Regelparameter der optimierten Kombination aus Handlungsschritten zum Steuern des technischen Systems.

Es ist ein Vorteil der Erfindung, dass mittels einer rechner gestützten Simulation in Kombination mit einer maschinellen Lernroutine auf schnelle und effiziente Weise eine Handlung bzw. ein Handlungsablauf bzw. Pfad für ein technisches System bestimmt werden kann, da insbesondere physikalische Effekte, wie z.B. Gravitation oder Kollision, und physikalische Größen bei der Ermittlung einer optimierten Kombination aus Hand lungsschritten berücksichtigt werden können. Die maschinelle Lernroutine kann günstige Handlungsschritte ermitteln, die physikalische Effekte, wie z.B. Wechselwirkungen mit der Um gebung, nutzen, da die maschinelle Lernroutine mittels Simu lationsdaten trainiert wird. Insbesondere kann ein physikali sches Simulationsmodell erstellt und anstatt eines herkömmli chen SLAM-Verfahrens genutzt werden. Eine Pfadplanung kann insbesondere durch ein wiederholtes Durchführen der physika lischen Simulation mit unterschiedlichen Pfaden, d.h. bei spielsweise unterschiedliche Ansteuerungsmöglichkeiten des technischen Systems mittels verschiedenere Regelparameter, im Rahmen eines maschinellen Lernverfahrens erfolgen. Die Regel parameter, oder Steuerparameter, umfassen insbesondere Steue rungsbefehle oder Anweisungen zum Steuern des technischen Systems. Durch eine beispielsweise positive Bewertung der Pfade kann eine optimierte Pfadplanung erzielt werden, da beispielsweise physikalische Gesetze in die Planung mit ein bezogen werden können. Dadurch ist die Bestimmung eines güns tigen Handlungsablaufs insbesondere flexibel, da beispiels weise die Abfolge der Handlungsschritte nicht starr vorgege ben ist.

Ein technisches System kann insbesondere ein autonomes tech nisches System, wie z.B. ein autonomer Roboter, sein. Unter Ermittlung einer Kombination von Handlungsschritten kann ins besondere eine Planung einer Aktionssequenz, eine Handlungs planung oder eine Pfadplanung verstanden werden, wobei die einzelnen Handlungsschritte mittels Regelparameter gesteuert werden. Unter einem Handlungsschritt kann insbesondere eine Aktion oder eine Bewegung des technischen Systems verstanden werden .

Unter einer maschinellen Lernroutine kann ein maschinelles Lernverfahren, wie z.B. ein neuronales Netz, verstanden wer den. Insbesondere kann ein Verfahren zum überwachten Lernen, wie z.B. zum bestärkenden Lernen (englisch: „Reinforcement Learning") , genutzt werden. Die maschinelle Lernroutine wird ausgehend von einem durch mindestens einen Sensor ermittelten Ausgangszustand des technischen Systems und in Bezug auf ei nen Zielzustand trainiert. In anderen Worten, ein Zielzustand wird zum Trainieren der maschinelle Lernroutine vorgegeben und die maschinelle Lernroutine wird derart trainiert, dass sie ausgehend von einem Ausgangszustand eine Kombination von Handlungsschritten ermittelt, die zum Zielzustand führen.

Der Zielzustand kann beispielsweise vorgegeben sein und/oder als Datensatz eingelesen werden. Es können verschiedene Kom binationen von Handlungsschritten ausgehend vom Ausgangszu stand zum Zielzustand führen, wobei manche der verschiedenen Kombinationen günstiger sein können. Die verschiedenen Hand lungsschritte können mittels des Simulationsmodells rechner gestützt simuliert werden und jeweils Simulationsdaten ausge geben werden. Die Simulationsdaten können insbesondere Werte der Regelparameter, Zustände, Aktionen und Reaktionen des technischen Systems und physikalische Effekte und Größen des technischen Systems und dessen Umgebung umfassen.

Jeder Handlungsschritt und/oder dessen Auswirkung kann bewer tet werden oder jedem Handlungsschritt kann jeweils eine Be wertung zugeordnet sein. Die maschinelle Lernroutine kann insbesondere anhand der Bewertungen, die jeweils einem Hand lungsschritt zugeordnet sind, trainiert werden, wie z.B. mit tels einer Belohnungsfunktion (englisch: „reward function") . Insbesondere können günstige Handlungsschritte bevorzugt wer den, wobei unter dem Begriff „günstig" in Zusammenhang mit der Erfindung beispielsweise vorteilhaft, brauchbar, geeig- net, sinnvoll, effizient, energieeffizient, schnell, auf kur zem Weg oder ähnliches verstanden werden kann. Die Ermittlung einer Kombination aus günstigen Handlungsschritten kann bei spielsweise durch einen Vergleich der Gesamtbewertung der verschiedenen Kombinationen aus Handlungsschritten erfolgen, wobei diejenige Kombination mit einer günstigen Gesamtbewer tung selektiert werden kann.

In einer vorteilhaften Ausführungsform des Verfahrens kann die maschinelle Lernroutine trainiert werden, sobald Simula tionsdaten von mindestens einer Kombination aus Handlungs schritten verfügbar sind.

Es kann insbesondere vorteilhaft sein, die computergestützte Simulation des technischen Systems sowie das Training der ma schinellen Lernroutine parallel durchzuführen. Insbesondere können mehrere Simulationen parallel berechnet werden. Bei spielsweise kann eine parallele Berechnung auf mehr als einer Recheneinheit, wie z.B. Grafikprozessoren, durchgeführt wer den. Damit kann beispielsweise eine schnelle und effiziente Ermittlung einer günstigen Kombination aus Handlungsschritten erzielt werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann die Simulation des technischen Systems und das Training der maschinellen Lernroutine für mehr als einen Zielzustand und/oder für mehr als einen Ausgangszustand durchgeführt werden und jeweils eine Kombination aus Hand lungsschritten mit einer günstigen Bewertung ermittelt und in einer Speichereinheit gespeichert werden.

Beispielsweise kann mehr als eine maschinelle Lernroutine mittels Simulationsdaten zu verschiedenen Ausgangszuständen und in Bezug auf verschiedene Zielzustände trainiert werden und jeweils eine Kombination aus Handlungsschritten, der eine günstige Bewertung zugeordnet ist, gespeichert werden. Somit kann vorzugsweise für verschiedene Zustände des technischen Systems eine entsprechende trainierte maschinelle Lernroutine abgespeichert werden, so dass auf diese schnell zugegriffen werden kann, wenn z.B. ein entsprechender Ausgangszustand des technischen Systems detektiert wird. Es ist auch möglich, ähnliche Aktionen zu simulieren, eine entsprechende maschi nelle Lernroutine zu trainieren und diese für künftige Trai nings zu nutzen, so dass die Berechnungszeit verkürzt werden kann. Eine Speichereinheit kann insbesondere eine Datenbank sein .

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können Regelparameter für eine optimierte Kombination aus Handlungsschritten mit einer günstigen Bewertung in Ab hängigkeit eines Zielzustandes in einer Speichereinheit ge speichert werden.

Vorzugsweise kann anhand einer trainierten maschinellen Lern routine eine Kombination aus Handlungsschritten, der eine günstige Bewertung zugeordnet ist, ermittelt werden und die entsprechenden Regelparameter für das technische System, die diese Handlungsschritte regeln, können in einer Datenbank ab gelegt werden. So können diese beispielsweise für eine künf tige Aktion mit einem gleichen Ausgangs- und Zielzustand ge nutzt werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können die Regelparameter für eine optimierte Kombinati on aus Handlungsschritten an das technische System übertragen werden .

Die Regelparameter können zum Steuern des technischen Systems an das technische System übertragen werden, so dass das tech nische System die Kombination aus Handlungsschritten ausfüh ren kann. Vorzugsweise können lediglich Regelparameter zum Steuern einer Kombination aus Handlungsschritten, der eine günstige Bewertung zugeordnet ist, an das technische System übertragen werden. In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann der Zielzustand abhängig vom erfassten Anfangszu stand und/oder der erfassten Umgebung des technischen Systems ermittelt werden.

Vorzugsweise kann mittels mindestens eines Sensors ein An fangszustand ermittelt werden und abhängig davon ein Zielzu stand bestimmt werden. Beispielsweise kann ein Zielzustand einem Anfangszustand zugeordnet sein oder ein Zielzustand kann aus einer Menge an vorgegebenen Zielzuständen selektiert werden. Als Beispiel kann die Detektion eines Objekts mittels einer Kamera genannt werden, wobei abhängig von der Detektion der Zielzustand, z.B. „Greifen des Objekts", vorgegeben wird.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann die Bewertung eines Handlungsschrittes abhängig von einem Ergebnis eines Handlungsschrittes und/oder in Bezug auf den Zielzustand ausgeführt werden.

Ein Handlungsschritt des technischen Systems, wie z.B. eine Aktion eines Endeffektors, kann abhängig vom Ergebnis, oder auch einer Auswirkung, der Aktion bewertet werden. Insbeson dere kann die Bewertung dem Handlungsschritt zugeordnet wer den. Eine Bewertung kann insbesondere abhängig von einem er mittelten Zielzustand erfolgen.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens kann das physikalische Simulationsmodell abhängig vom Zielzustand und/oder von der Umgebung und/oder von einer Art des technischen Systems konstruiert werden.

Vorzugsweise kann die Komplexität und/oder die Dimension des Simulationsmodells und der rechnergestützten Simulation ab hängig vom Zielzustand und/oder von der Umgebung und/oder von der Art des technischen Systems gewählt werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können die Umgebung und der Ausgangszustand des techni- sehen Systems fortlaufend mittels eines Sensors erfasst wer den und das physikalische Simulationsmodell kann mittels der Sensordaten fortlaufend aktualisiert werden.

Vorzugsweise werden ein aktueller Ausgangszustand und die Um gebung des technischen Systems kontinuierlich oder zu vorge gebenen Zeitpunkten mittels eines Sensors überwacht, so dass das physikalische Simulationsmodell entsprechend angepasst werden kann.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können die physikalischen Eigenschaften eines Objektes in der Umgebung des technischen Systems als Parameterdaten erfasst, in einer Speichereinheit gespeichert und im physika lischen Simulationsmodell integriert werden.

Zusätzlich zur Objekterkennung können physikalische Eigen schaften oder Parameter eines Objektes in z.B. einer Daten bank abgefragt werden. Beispielsweise können physikalische Größen, wie z.B. Gewicht oder Materialeigenschaften, eines Objekts in der Umgebung des technischen Systems vorab erfasst und in einer Speichereinheit gespeichert werden. Die physika lischen Eigenschaften können insbesondere als Parameterdaten, oder auch als Eingabedaten, für das Simulationsmodell genutzt werden. Somit können beispielsweise physikalische Effekte, wie z.B. das Fallen eines Objektes im Gravitationsfeld der Erde, detailliert simuliert werden.

In einer weiteren vorteilhaften Ausführungsform des Verfah rens können verschiedene Kombinationen aus Handlungsschritten des technischen Systems zeitlich parallel auf mehr als einer Recheneinheit simuliert werden.

Vorzugsweise kann die rechnergestützte Simulation und/oder das Trainieren einer maschinellen Lernroutine parallel, wie z.B. auf Grafikprozessoren (englisch: „graphics processing units", kurz GPUs) , durchgeführt werden. Damit kann insbeson- dere eine schnelle und effiziente Berechnung einer Kombinati on aus günstigen Handlungsschritten erfolgen.

Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems, umfassend:

- mindestens einen Sensor zum Erfassen eines Ausgangszustands und einer Umgebung des technischen Systems,

- ein Generierungsmodul zum Generieren eines physikalischen Simulationsmodells des technischen Systems und dessen Umge bung,

- ein Zielmodul zum Ermitteln eines Zielzustandes für das technische System,

- ein Simulationsmodul zum Simulieren verschiedener Kombina tionen aus Handlungsschritten des technischen Systems mittels des physikalischen Simulationsmodells, ausgehend vom Aus gangszustand und in Bezug auf den Zielzustand, wobei Regelpa rameter des technischen Systems zum Ausführen der Handlungs schritte variiert werden, und Ausgeben von jeweiligen resul tierenden Simulationsdaten,

- ein Trainingsmodul zum Trainieren einer maschinellen Lern routine anhand der jeweiligen resultierenden Simulationsdaten mittels einer Bewertung eines Ergebnisses eines jeweiligen Handlungsschrittes ,

- ein Optimierungsmodul zum Ermitteln einer optimierten Kom bination aus Handlungsschritten anhand der trainierten ma schinellen Lernroutine, wobei der optimierten Kombination aus Handlungsschritten eine günstige Bewertung zugeordnet ist, und

- ein Ausgabemodul zum Ausgeben der Regelparameter der opti mierten Kombination aus Handlungsschritten zum Steuern des technischen Systems.

Die Vorrichtung kann insbesondere in einem technischen System integriert oder mit diesem gekoppelt sein. In einer vorteilhaften Ausführungsform umfasst die Vorrich tung ein Übertragungsmodul zum Übertragen der Regelparameter an das technische System.

In einer weiteren vorteilhaften Ausführungsform umfasst die Vorrichtung eine Speichereinheit und/oder mindestens eine Re cheneinheit .

Eine Speichereinheit kann beispielsweise eine Datenbank sein. Eine Recheneinheit kann insbesondere ein Prozessor oder ein Grafikprozessor sein.

Des Weiteren umfasst die Erfindung ein Computerprogrammpro dukt, das direkt in einen programmierbaren Computer ladbar ist, umfassend Programmcodeteile, die dazu geeignet sind, die Schritte des erfindungsgemäßen Verfahrens durchzuführen.

Ausführungsbeispiele des erfindungsgemäßen Verfahrens und der Vorrichtung sind in den Zeichnungen beispielhaft dargestellt und werden anhand der nachfolgenden Beschreibung näher erläu tert. Es zeigen in schematischer Darstellung:

Fig. 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfah rens zum rechnergestützten Ermitteln von Regelpara metern für eine günstige Handlung eines technischen Systems ;

Fig. 2 eine schematische Darstellung eines erfindungsgemä ßen Verfahrens zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems; und

Fig. 3 eine schematische Darstellung einer erfindungsgemä ßen Vorrichtung zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems. Einander entsprechende Gegenstände sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Figur 1 zeigt schematisch ein Ablaufdiagramm eines erfin dungsgemäßen Verfahrens zum rechnergestützten Ermitteln von Regelparametern für eine günstige Handlung eines technischen Systems umfassend die folgenden Verfahrensschritte.

Ein technisches System kann im Folgenden insbesondere ein au tonomes technisches System, wie z.B. ein autonomer Roboter in einer Industrieumgebung sein. Das technische System kann ein zelne Handlungsschritte einer Handlung ausführen, um, ausge hend von einer Ausgangssituation, einen ermittelten Zielzu stand zu erreichen. Die Handlungsschritte werden mittels Re gelparametern vorgegeben, d.h. das technische System wird mittels der Regelparameter gesteuert.

Im Schritt 1 des erfindungsgemäßen Verfahrens werden mittels mindestens eines Sensors Daten eines Ausgangszustands des technischen Systems und dessen Umgebung erfasst. Der mindes tens eine Sensor kann Teil des technischen Systems, mit die sem gekoppelt oder diesem zugeordnet sein. Beispielsweise kann das technische System ein Industrieroboter in einer Pro duktionsanlage sein, dessen aktuelle Position, Ausrichtung und Umgebung mittels einer Kamera erfasst wird. Die Umgebung kann beispielsweise die direkte Umgebung in einem vorgegebe nen Aktionsradius des technischen Systems sein. Eigenschaften und/oder Zustandsgrößen der Umgebung können insbesondere dort befindliche Gegenstände oder physikalische Größen wie Raum höhe oder Temperatur sein.

Im Schritt 2 wird ein physikalisches Simulationsmodell des technischen Systems und dessen Umgebung anhand der vom min destens einen Sensor erfassten Daten generiert. Insbesondere kann bereits vorab ein physikalisches Simulationsmodell des technischen Systems erstellt werden, welches lediglich mit tels der erfassten Daten als Eingabedaten angepasst wird. Das Simulationsmodell ist insbesondere ein physikalisches Simula- tionsmodell, wobei Naturgesetze, wie z.B. Gravitation, imple mentiert sind.

Die Komplexität und/oder die Domäne und/oder Dimension des physikalischen Simulationsmodells kann abhängig vom Zielzu stand und/oder von der Umgebung und/oder von der Art des technischen Systems gewählt werden. Beispielsweise ist es denkbar, dass eine Simulation der Starrkörpermechanik einge setzt wird, um das Greifen eines festen Gegenstandes durch einen Roboter zu simulieren. Je nach Einsatzgebiet des tech nischen Systems kann die Simulation aus anderen physikali schen Domänen aufgesetzt sein. Beispielsweise kann ein auto nomes technisches System einen chemischen, hydrodynamischen oder finanzwirtschaftlichen Prozess durchführen, so dass eine entsprechende domänenspezifische Simulation konstruiert wer den kann, um die Auswirkungen der Aktionen des technischen Systems zu prognostizieren.

Im Schritt 3 werden Daten eines Zielzustandes ermittelt und eingelesen. Der Zielzustand kann beispielsweise als ein Para meterdatensatz oder ein Vektor vorliegen und beschreibt ins besondere den Ergebniszustand einer Handlung. Insbesondere kann der Zielzustand vorgegeben sein und/oder anhand der er fassten Ausgangssituation ermittelt werden. Ein Zielzustand kann beispielsweise angeben, dass ein Objekt vom technischen System mit einem Endeffektor gegriffen sein soll, wobei ein Ausgangszustand beispielsweise das Objekt in der Umgebung des technischen Systems beschreibt.

Im Schritt 4 wird, beispielsweise auf einem oder mehreren Prozessoren, eine computergestützte physikalische Simulation des technischen Systems durchgeführt. Dazu werden die Daten des Ausgangszustands, Daten der Umgebung und Daten des Ziel zustands eingelesen und davon ausgehend eine Simulation auf gesetzt. Insbesondere wird mindestens eine Kombination aus Handlungsschritten des technischen Systems simuliert, wobei die Simulation ausgehend vom Ausgangszustand startet und die Handlungsschritte derart gewählt werden, dass der vorgegebene Zielzustand vom technischen System erreicht wird.

Es können des Weiteren physikalische Eigenschaften von Objek ten in der Umgebung, die z.B. als Parameterdaten in einer Da tenbank gespeichert sind, eingelesen werden und im Simulati onsmodell berücksichtigt werden. Beispielsweise kann mittels eines Sensors die Größe eines zu greifenden Objektes erfasst werden. Dazu kann mittels einer Sammlung von physikalischen Eigenschaften des Objektes beispielsweise die Beschaffenheit der Oberfläche oder das Gewicht ermittelt und in der Simula tion genutzt werden.

Es ist auch möglich, dass verschiedene Kombinationen aus Handlungsschritten, ausgehend von einem Ausgangszustand, den Zielzustand erreichen können. Beispielsweise kann ein autono mer Roboter einen beweglichen Roboterarm um verschiedene Ach sen drehen und damit auf verschiedenen Pfaden eine Zielposi tion erreichen. Vorzugsweise werden die verschiedenen Kombi nationen aus Handlungsschritten mittels der physikalischen Simulation simuliert, wobei Regelparameter zum Steuern der verschiedenen Handlungsschritte entsprechend variiert werden. Anschließend werden die Simulationsdaten der jeweiligen Kom bination aus Handlungsschritten ausgegeben. Die Simulations daten können als Trainingsdaten zum Trainieren eines maschi nellen Lernverfahrens genutzt werden.

Die Simulationsdaten können insbesondere auch Informationen über die Wechselwirkung mit der Umgebung beinhalten. Bei spielsweise kann es beim Fangen eines Objektes von einem Ro boter sinnvoll sein, das Objekt zunächst abprallen zu lassen, bevor es aufgefangen und gegriffen wird. Die Wechselwirkung mit einer Wand, d.h. der Umgebung, und die daraus resultie renden Handlungsschritte können mittels der physikalischen Simulation berechnet werden.

Im Schritt 5 wird eine maschinelle Lernroutine anhand der je weiligen Simulationsdaten trainiert. Eine Lernroutine kann beispielsweise ein Neuronales Netz sein, welches mittels Reinforcement Learning trainiert wird. Das Training kann mit tels einer Bewertung eines jeweiligen Handlungsschrittes er folgen. Beispielsweise kann ein Handlungsschritt abhängig von einem Ergebnis eines Handlungsschrittes und/oder in Bezug auf den Zielzustand bewertet werden. Eine Bewertung kann insbe sondere angeben, ob ein Handlungsschritt günstig ist.

Die maschinelle Lernroutine kann insbesondere trainiert wer den, sobald erste Simulationsdaten einer Kombination aus Handlungsschritten berechnet vorliegen. Die Simulation und das Training der maschinellen Lernroutine können vorzugsweise nahezu parallel berechnet werden.

Im Schritt 6 kann mittels der trainierten maschinellen Lern routine eine optimierte Kombination aus Handlungsschritten, denen eine günstige Bewertung zugeordnet ist, ermittelt wer den, wobei unter „optimiert" auch „nahe an einem Optimum" verstanden werden kann. In anderen Worten, es kann eine Ab folge aus Handlungsschritten ermittelt werden, die beispiels weise besonders günstig ist. Die Ermittlung kann beispiels weise anhand eines Vergleichs der Gesamtbewertung einer Kom bination aus Handlungsschritten mit den Gesamtbewertungen an derer Kombination aus Handlungsschritten erfolgen. Insbeson dere kann mittels der trainierten maschinellen Lernroutine eine günstige Handlung für das technische System ermittelt werden, wobei dazu ein Zielzustand vorgegeben wird und Sen sordaten eines Ausgangszustands und einer Umgebung des tech nischen Systems ermittelt werden.

Im Schritt 7 können die Regelparameter, die der optimierten Kombination aus Handlungsschritten zugeordnet sind, zum Steu ern des technischen Systems ausgegeben werden. Die Regelpara meter können an das technische System übermittelt werden, da mit dieses die günstige Kombination aus Handlungsschritten ausführen kann. Figur 2 zeigt schematisch eine erfindungsgemäße Vorrichtung 100 in Blockdarstellung. Die Vorrichtung 100 kann beispiels weise in einem technischen System integriert oder mit diesem über eine Kommunikationsverbindung C gekoppelt sein.

Die Vorrichtung 100 umfasst mindestens einen Sensor 101 und/oder ist mit mindestens einem Sensor des technischen Sys tems gekoppelt. Des Weiteren umfasst die Vorrichtung 100 ein Generierungsmodul 102 zum Generieren eines physikalischen Si mulationsmodells SIM des technischen Systems und dessen Umge bung, ein Zielmodul 103, ein Simulationsmodul 104, ein Trai ningsmodul 105 zum Trainieren einer maschinellen Lernroutine, ein Optimierungsmodul 106 zum Ermitteln einer optimierten Kombination aus Handlungsschritten anhand der maschinellen Lernroutine, ein Ausgabemodul 107, ein Übertragungsmodul 108, mindestens eine Speichereinheit 109 und mindestens Rechenein heit 110. Vorzugsweise sind die Module und/oder Einheiten miteinander gekoppelt. Insbesondere können die einzelnen Ein heiten einer erfindungsgemäßen Vorrichtung 100 einzeln in verschiedenen Systemen verbaut und miteinander gekoppelt sein, wie z.B. mehrere Sensoren, die in der Umgebung des technischen Systems TS installiert und mit der den anderen Einheiten kommunizieren.

Mittels des Generierungsmoduls 102 wird ein physikalisches Simulationsmodell SIM des technischen Systems generiert, wo bei eine Komplexität, eine Domäne und eine Dimension des Si mulationsmodells abhängig vom erfassten Ausgangszustand und/oder der Umgebung sein kann. Mittels des Zielmoduls 103 wird ein Zielzustand für das technische System eingelesen.

Der Zielzustand soll durch eine Kombination aus Handlungs schritten ausgehend von einem Ausgangszustand und abhängig von der Umgebung des technischen Systems erreicht werden. Die Steuerung des technischen Systems erfolgt über Regelparame ter, wobei mindestens ein Regelparameter einen Handlungs schritt definiert. Im Simulationsmodul 104 werden anhand des Simulationsmodells SIM verschiedene Kombinationen aus Handlungsschritten, ausge hend vom Ausgangszustand und in Bezug auf den Zielzustand, simuliert. Es können beispielsweise auch mehrere Simulationen parallel auf mehr als einer Recheneinheit 110 durchgeführt werden. Es ist auch möglich, für verschiedene Ausgangszustän de und/oder verschiedene Zielzustände jeweils mindestens eine Simulation durchzuführen und die jeweiligen Simulationsdaten auszugeben .

Im Trainingsmodul 105 wird anhand der Simulationsdaten als Trainingsdaten eine maschinelle Lernroutine trainiert, güns tige Kombinationen von Handlungsschritten zu ermitteln. Dazu werden die einzelnen simulierten Handlungsschritte einer Kom bination aus Handlungsschritten bewertet, wie z.B. abhängig vom jeweiligen Ergebnis eines Handlungsschrittes. Daraus ergibt sich eine mittels der Simulationsdaten trainierte ma schinelle Lernroutine, die eine Kombination aus Handlungs schritten mit einer günstigen Bewertung ausgeben kann. Die trainierte maschinelle Lernroutine kann vom Trainingsmodul 105 an das Optimierungsmodul 106 ausgegeben werden. Das Er mitteln einer günstigen Kombination aus Handlungsschritten erfolgt im Optimierungsmodul 106. Im Optimierungsmodul 106 wird die trainierte maschinelle Lernmethode, z.B. auf Sensor daten des Ausgangszustands und der Umgebung, angewandt, um eine günstige Kombination aus Handlungsschritten zu ermit teln .

Durch das Ausgabemodul 107 werden die Regelparameter zum Steuern der selektierten Kombination aus Handlungsschritten an das technische System ausgegeben und durch das Übertra gungsmodul 108 an dieses zum Ausführen der Handlungsschritte übertragen .

In der Speichereinheit 109 können Simulationsdaten und/oder Regelparameter gespeichert werden. Beispielsweise können für verschiedene Ausgangszustände und/oder Zielzustände verschie dene Simulationen durchgeführt werden. Ausgehend von diesen Simulationsdaten kann mindestens eine maschinelle Lernroutine trainiert und anhand der trainierten maschinellen Lernroutine können günstige Kombinationen aus Handlungsschritten ermit telt werden.

Die mindestens eine Recheneinheit 110 kann beispielsweise ein Prozessor oder ein Grafikprozessor sein, auf dem beispiels weise ein erfindungsgemäßes Computerprogrammprodukt Schritte eines erfindungsgemäßen Verfahrens durchführen kann. Insbe sondere können mehrere Recheneinheiten (nicht dargestellt) für eine parallele Simulation und/oder Training der maschi nellen Lernroutine genutzt werden.

Die Vorrichtung 100 kann insbesondere dazu genutzt werden, ein autonomes technisches System zu steuern, wobei günstige Handlungsschritte zum Erreichen eines vorgegebenen Zielzu standes mittels einer maschinellen Lernroutine und einer phy sikalischen Simulation ermittelt werden.

Figur 3 zeigt schematisch ein Ausführungsbeispiel eines er findungsgemäßen Verfahrens. Als technisches System TS ist ein autonomer Roboter dargestellt, welcher mittels einer erfin dungsgemäßen Vorrichtung 100 derart gesteuert wird, dass er eine optimierte Kombination aus günstigen Handlungsschritten durchzuführen kann. Der autonome Roboter umfasst einen Sensor 101, wie z.B. eine Kamera, mit der die Position und Ausrich tung des autonomen Roboters und dessen Umgebung UM erfasst werden kann. Die Kamera ist vorzugsweise mit der Vorrichtung 100 gekoppelt. Beispielsweise erfasst die Kamera 101 ledig lich einen vorgegebenen Bereich der Umgebung des Roboters TS, wie z.B. dessen Aktionsbereich. Die erfassten Daten der Umge bung UM und der Ausrichtung des Roboters TS werden für die computergestützte Simulation als Eingabedaten bereitgestellt. Des Weiteren kann in der Umgebung des Roboters ein Objekt OBJ detektiert werden. Die Daten eines Ausgangszustands AZ umfas sen beispielsweise das Objekt OBJ und die Position des Robo terarms . Es wird ein Zielzustand ZZ vorgegeben, wie z.B. die Aufnahme und das Greifen des Objektes OBJ durch den Roboterarm.

In der Vorrichtung 100 wird ausgehend vom Ausgangszustand AZ und in Bezug auf den Zielzustand ZZ eine computergestützte physikalische Simulation des Roboters und dessen Umgebung durchgeführt, siehe Schritt 4. Dazu werden die erfassten Da ten des Ausgangszustands AZ und der Umgebung UM und die Daten des Zielzustands ZZ eingelesen und ein Simulationsmodell er stellt. Insbesondere umfasst das Simulationsmodell physikali sche Eigenschaften des technischen Systems TS und dessen Um gebung UM. Zusätzlich können für ein detektiertes Objekt OBJ physikalische Eigenschaften, wie z.B. Gewicht, aus einer Da tenbank abgerufen und im Simulationsmodell verwendet werden.

Die Simulationsdaten werden an das Trainingsmodul 105 der Vorrichtung 100 übermittelt, um eine maschinelle Lernroutine derart zu trainieren, eine Kombination aus günstigen Hand lungsschritten zu ermitteln, siehe Schritt 5 und 6. Die ma schinelle Lernroutine wird anhand der Simulationsdaten als Trainingsdaten trainiert. Dazu werden die einzelnen simulier ten Handlungsschritte jeweils bewertet. Beispielsweise wird ein Handlungsschritt anhand seines Ergebnisses bewertet. An hand der trainierten maschinellen Lernroutine kann eine güns tige Kombination aus Handlungsschritten ermittelt werden. Ei ne günstige Kombination aus Handlungsschritten kann bei spielsweise ein schnelles und energieeffizientes Greifen des Objektes OBJ durch den Roboter TS als Resultat aufweisen.

Die ermittelte Kombination aus günstigen Handlungsschritten wird an den Roboterarm übertragen und mittels der entspre chenden Regelparameter von diesem ausgeführt. Der Roboterarm führt die einzelnen Handlungsschritte durch, so dass der vor gegebene Zielzustand ZZ erreicht wird.

Alle beschriebenen und/oder gezeichneten Merkmale können im Rahmen der Erfindung vorteilhaft miteinander kombiniert wer- den. Die Erfindung ist nicht auf die beschriebenen Ausfüh rungsbeispiele beschränkt.