Die vorliegende Erfindung betrifft ein Verfahren zur Steuerung eines Roboters zur Erzeugung einer Kraftrückkopplung zur Simulation eines Fluids sowie ein entsprechendes System.

In vergangenen Jahren lag der Fokus bei der Interaktion mit virtuellen Umge bungen in der haptischen Darstellung von Festkörpern durch Kraftrückkopplung. In der Erkundung realer Umgebungen, zum Beispiel durch Teleoperation, spielt allerdings auch die Interaktion mit anderen Medien, wie Flüssigkeiten bzw. Flu iden eine Rolle. Mithilfe von kraftrückkoppelnden Systemen ist es bisher ledig lich möglich, Viskosität ungenau darzustellen, was einem Benutzer die Wahr nehmung von virtuellen Flüssigkeiten nur unzureichend ermöglicht. Im bisheri gen Stand der Technik wird die Viskosität nur mit haptischen Systemen darge stellt bzw. modelliert, die Kräfte an einem einzelnen Endpunkt berechnen. Dies hat den Nachteil, dass die Interaktionsmöglichkeiten mit Flüssigkeiten zu einfa chen Bewegungen limitiert werden. Dazu gehören zum Beispiel simple Applika tionen wie das Rühren mit einem Stab oder das Schwenken eines gefüllten Be hälters. Zusätzlich wird im Stand der Technik die Viskosität von Flüssigkeiten nur mit einer geringen Updaterate (30-500 Hz) berechnet [1-5]. Mit dieser ge ringeren Updaterate ist es nicht möglich eine Interaktion mit virtuellen Festkör pern zu erhalten, wodurch erhebliche Einschränkungen für den Benutzer auftre- ten.

Aufgabe der vorliegenden Erfindung ist es ein Verfahren sowie System zu schaf fen, welches eine realistische Simulation von Fluiden ermöglicht. Die Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 sowie System gemäß Anspruch 12.

Das erfindungsgemäße Verfahren zur Steuerung eines Roboters umfasst die Schritte: Erfassen eine Kraft und/oder Bewegung eines Benutzers auf mindes tens ein aktuiertes Segment des Roboters, wobei die Kraft und/oder Bewegung vom Roboter erfasst wird zur Steuerung eines Festkörpers in einem Fluid, wobei die Kraft und/oder Bewegung des Benutzers auf den Festkörper übertragen wird. Bei dem aktuierten Segment handelt es sich insbesondere um einen Ak tuator zur Erfassung insbesondere der Kraft und Position des aktuierten Seg ments. Gleichzeitig kann durch das aktuierte Segment eine Kraft und/oder Be wegung erzeugt werden und sodann auf den Benutzer übertragen werden. Da bei ist mindestens eine Gliedmaße des Benutzers mit dem aktuierten Segment verbunden. Bei der Gliedmaße kann es sich um einen Finger, mehrere Finger oder alle Finger einer Hand, einen Arm oder ein Bein handeln. Dabei ist das aktuierte Segment mit der Gliedmaße des Benutzers mittels eines Endpunkts miteinander verbunden. Insbesondere handelt es sich bei dem Festkörper um ein reales Objekt oder ein Objekt in einer virtuellen Realität. Dabei kann es sich um ein einzelnes Objekt handeln oder eine Kombination aus mehreren Objek ten. So kann es sich bei dem Festkörperbeispielsweise um einen Endeffektor eines Roboterarms in eine Teleoperation handeln in Kombination mit oder ohne einem durch den Endeffektor gegriffenen oder sonstwie mit dem Endeffektor verbundenen Objekt. Bei dem Endeffektor kann es sich dabei um eine robotische Hand handeln, also eine robotische Replikation der menschlichen Hand. Andere Möglichkeiten zur Ausgestaltung des Endeffektors sind jedoch ebenfalls um fasst. Alternativ hierzu handelt es sich bei dem Festkörper um eine Hand bzw. Gliedmaße eines Avatars in einer virtuellen Realität in Kombination mit oder ohne ein Objekt, welches durch die Hand des Avatars gegriffen oder sonstwie mit der Hand bzw. Gliedmaße des Avatars verbunden ist.. Dabei ist der Festkör per zumindest teilweise in einem Fluid angeordnet, weist ein Fluid auf (beispiels weise als Gefäß mit Flüssigkeit) oder zumindest ist die Bewegung bzw. Kinematik des Festkörpers durch das Fluid beeinflusst und insbesondere durch die Viskosität und Strömungseigenschaften des Fluids. Durch den Roboter wird somit die Kraft und oder Bewegung des Benutzers erfasst und zur Steuerung eines Festkörpers beispielsweise in einer virtuellen Realität oder alternativ als Teleoperation zur Steuerung eines weiteren Roboters genutzt.

Erfindungsgemäß wird durch das aktuierte Segment eine Bewegung und/oder Kraft erzeugt in Abhängigkeit vom Festkörper als haptische Rückkopplung, wel che auch als Force- Feedback bezeichnet wird. Dabei wird zur Bestimmung der vom aktuierten Segment erzeugten Kraft und/oder Bewegung als haptische Rückkopplung ein Fluidvektor bestimmt, welche den Einfluss des Fluids auf den Festkörper beinhaltet. Ebenso wird ein Festkörper-Kraft-Vektor bestimmt, wel cher den Einfluss auf die haptische Rückkopplung des Festkörpers an sich bein haltet. Die dabei bestimmte Kraft und/oder Bewegung wird sodann vom aktu ierten Segment über den mindestens einen Endpunkt auf die Gliedmaße des Benutzers übertragen zur Erzeugung der haptischen Rückkopplung. Somit ist eine komplexe Interaktion mit und in Flüssigkeiten ermöglicht, die es erlaubt unbekannte Umgebungen in Teleoperations-Szenarien oder virtuellen Realitäten besser zu untersuchen. Es kann eine Umgebung simuliert werden, in der sowohl Reaktionskräfte von Festkörpern dargestellt werden können, als auch die Visko sität eines Mediums erfassbar und fühlbar für den Benutzer gemacht wird. Somit ist nicht nur die Interaktion mit starren Objekten möglich, sondern auch Medien mit verschiedenen Viskositäten, wie Wasser oder Schlamm, können mithilfe ei nes Slave-Systems in einer Teleoperation identifiziert und untersucht werden.

Vorzugsweise wird der Fluidkraftvektor mit einer Frequenz von mehr als 500 Hz, insbesondere mehr als 1000 Hz ermittelt. Insbesondere wird der Fluidkraftvek- tor mit derselben Rate bestimmt wie der Festkörper-Kraft-Vektor. Durch die ho hen Update-Frequenzen ist es möglich eine präzise Simulation der Kräfte für die haptische Rückkopplung zu erreichen und so ein genaues Gefühl für die Umge bung des gesteuerten Festkörpers zu erlangen. Vorzugsweise werden durch den Roboter eine Vielzahl von Kräften und/oder Bewegungen insbesondere mehrere Gliedmaßen des Benutzers erfasst zur Übertragung an den Festkörper. Insbesondere wird dabei die Kraft und/oder Bewegung eines oder mehrerer Finger der Hand als Gliedmaße des Benutzers erfasst. Insbesondere ist für jede erfasste Gliedmaße mindestens ein aktuiertes Segment des Roboters vorhanden zur Erfassung der Kraft und/oder Bewegung der jeweiligen Gliedmaße. Dabei wird durch jedes aktuierte Segment ein End punkt definiert, an dem die Bewegung und/oder Kraft der jeweiligen Gliedmaße erfasst wird und gleichzeitig im Rahmen der Kraftrückkopplung auf die Glied maßen des Benutzers übertragen wird. Durch die Verwendung mehrerer End punkte, welche durch die aktuierten Segmente des Roboters dargestellt werden, lassen sich neben den Eigenschaften des Festkörpers auch Umgebungsviskosi täten darstellen und durch den Benutzer wahrnehmen. In einer solchen Anwen dung kann nicht nur eine Approximation der Viskosität anhand dere Wider standskraft auf den Festkörper selbst dargestellt werden, sondern auch zusätz liche Störungen, wie z.B. Wellen, simuliert werden. Eine solche Simulation könnte für das Training von Tauchern oder Astronauten (zum Beispiel auch in der virtuellen Realität) genutzt werden und so Kosten aufwendiger Trainings reduzieren. Somit kann durch die jeweiligen Endpunkte, realisiert durch die ak tuierten Segmente die einzelnen Gliedmaßen des Benutzers, ein individuelles Kraftfeedback gegeben werden.

Vorzugsweise wird für jede Gliedmaße durch den Roboter die Position und/oder Geschwindigkeit und/oder Orientierung erfasst als Bewegungsparameter. Ins besondere zur Erfassung der Orientierung kann eine zusätzliche Verbindung mit der Handfläche und/oder dem Arm des Benutzers erfolgen, um eine relative Position der Finger zur Handfläche bzw. der Finger zum Arm zu erfassen. Hierbei wird insbesondere verwiesen auf die Realisierung durch ein Exoskelett, be schrieben in der deutschen Anmeldung DE 10 2017 220 996.8 vom selben An melder. Vorzugsweise werden aus den Bewegungsparametern, insbesondere für jede Gliedmaße separat, eine charakteristische Länge bestimmt. Dabei handelt es sich bei der charakteristischen Länge um die Projektion des Festkörpers auf die relative Strömungsgeschwindigkeit zwischen Festkörper und Fluid.

Vorzugsweise wird aus den erfassten Bewegungsparametern und/oder Anwen dungsparametern und/oder der jeweiligen charakteristischen Länge eine Ge sa mtfluidkraft bestimmt. Dabei kann es sich bei den Anwendungsparameter um die Viskosität des Fluid, Materialeigenschaften, Form und dergleichen des Fest körpers handeln. Durch die Gesamtfluidkraft wird eine Widerstands- und Auf triebskraft bestimmt.

Vorzugsweise wird aus den Bewegungsparametern eine anteilig Kraftaufteilung der Gesamtfluidkraft auf die einzelnen Gliedmaßen bestimmt. Somit wird die zuvor bestimmte Gesamtfluidkraft verwendet und sodann aufgeteilt, sodass die haptische Rückkopplung auf mehrere Endpunkte bzw. Gliedmaßen des Benut zers verteilt werden kann, um eine präzise Modellierung des Festkörpers im Fluid zu gewährleisten und ebenso eine präzise Manipulation des Festkörpers im Fluid zu ermöglichen.

Vorzugsweise werden aus den Sensordaten Richtungsvektoren für jede der Gliedmaße bestimmt, welche die Wirkungsrichtung der Kraft angeben. Durch die aktuierten Segmente können somit nicht nur Kraftbeträge, sondern auch eine dedizierte Kraftrichtung insbesondere für jede Gliedmaße als haptisches Feedback auf die jeweilige Gliedmaße und insbesondere jeden einzelnen Finger der Hand übertragen werden. Somit können die für einzelne Gliedmaßen unter schiedlichen Kraftrichtungen verwendet werden, um eine realistische Simulation der Umgebung des Festkörpers zu erhalten. Vorzugsweise wird zumindest ein Anteil der Gesamtfluidkraft auf den Arm un mittelbar übertragen. Hierzu ist es erforderlich, dass mindestens ein aktuiertes Segment mit dem Arm und/oder der Handfläche verbunden ist zur Übertragung des Anteils der Gesamtfluidkraft. Hierdurch ist es möglich Umgebungsviskositä ten darzustellen und somit die Viskosität des Fluids durch die Bewegung des Arms in den Fluid wahrgenommen wird.

Vorzugsweise wird der Festkörperkraftvektor ausschließlich auf die einzelnen Finger übertragen und nicht auf den Arm. Somit wird die haptische Rückkopp lung/Erfahrung des Festkörpers ausschließlich auf die Finger übertragen. Dies schließt selbstverständlich nicht aus, dass Anteile der Gesamtfluidkraft ebenfalls auf die Finger übertragen werden. So kann beispielsweise die Berührungshaptik des Festkörpers auf die Finger übertragen werden. Bei einer Bewegung des Fest körpers im Fluid werden zusätzlich die viskosen Kräfte auf die Finger übertragen. Beispielsweise bei einer Drehung des Festkörpers.

Vorzugsweise wird eine zusätzliche Vibration erzeugt durch den Roboter und insbesondere die aktuierten Segmente zur Übertragung auf die Gliedmaßen des Benutzers, wobei durch die Vibration einer haptischen Simulation von Granula ten oder Fest/Flüssig-Gemischen erzeugt wird. Dabei kann Amplitude und Fre quenz der Vibration angepasst werden an die Korngröße der Granulate oder dergleichen.

Weiterhin betrifft die vorliegende Erfindung ein System zur Erfassung und Über tragung einer Kraft und/oder Bewegung mit einem Roboter mit mindestens ei nem aktuierten Segment. Das mindestens ein Segment weist somit ein Aktuator auf zur Erzeugung einer Kraft und/oder Bewegung. Insbesondere handelt es sich um einen Sechsachsen-Roboterarm. Weiterhin können die aktuierten Seg mente als Exoskelett ausgebildet sein wie in DE 10 2017 220096.8 beschrieben. Weiterhin ist mindestens ein Verbindungspunkt zwischen dem mindestens einen aktuierten Segment und der mindestens eine Gliedmaße des Benutzers als End punkt vorgesehen, sodass eine Kraft und/oder Bewegung des Benutzers auf den Roboter übertragen wird. Gleichzeitig ist es durch die Verbindung am Endpunkt möglich, dass eine Kraft und/oder Bewegung vom Roboter auf die Gliedmaße des Benutzers übertragen wird als haptische Rückkopplung oder Force-Feed back. Erfindungsgemäß ist der Roboter verbunden mit einer Steuerungsvorrich tung wobei die Steuerungsvorrichtung ausgebildet ist zur Durchführung des Ver fahrens wie vorstehend beschrieben.

Vorzugsweise weist das mindestens ein Segment und insbesondere alle Seg mente eine Positionserfassung und bevorzugt eine Krafterfassung auf zur Erfas sung von Kräften und/oder Bewegungen.

Vorzugsweise ist mindestens ein Finger mit einem aktuierten Segment verbun den. Insbesondere ist jeder Finger einer Hand des Benutzers mit jeweils einem aktuierten Segment verbunden, sodass für jeden Finger einer Hand ein eigener Endpunkt definiert wird.

Vorzugsweise weist der Roboter ein Exoskelett auf zur Verbindung der Hand des Benutzers und insbesondere zur Verbindung des Arms des Benutzers. Dabei kann bevorzugt das Exoskelett ausgebildet sein wie in der Anmeldung DE 10 2017 220 096.8 desselben Anmelders beschrieben.

Vorzugsweise ist ein aktuiertes Segment des Roboters mit der Handfläche und/oder ein aktuiertes Segment mit dem Arm des Benutzers verbunden zur Erfassung der Position relativ zu den Fingern und zur Erfassung einer Kraft und/oder Bewegung.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsform unter Be zugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:

Figur 1 eine Ausführungsform des erfindungsgemäßen Systems,

Figur 2 eine Detailansicht des Exoskeletts sowie der Hand des Benutzers aus Figur 1 und

Figur 3 ein schematisches Ablaufdiagramm des erfindungsgemäßen Verfahrens.

Figur 1 zeigt den Roboter 10 mit einem Sechsachsen-Roboterarm 12. Am Ende des Roboterarms 12 ist ein Exoskelett 14 angeordnet wie aus der Anmeldung DE 10 2017 220 096.8 bekannt. Dabei weist das Exoskelett 14 mehrere aktu- ierte Segmente 16 auf. Dabei ist mit jedem aktuierten Segment 16 ein Finger 18 des Benutzers an einem jeweiligen Endpunkt 20 des Exoskelett 14 verbind bar, sodass eine Kraft und/oder Bewegung des Fingers 18 des Benutzers auf das Exoskelett übertragen werden kann, von diesem erfasst wird und an ein zusteuerndes Objekt/Festkörper im Rahmen einer Teleoperation oder innerhalb einer virtuellen Realität zur Steuerung übertragen wird. Gleichzeitig werden durch die aktuierten Segmente 16 Kräfte und/oder Bewegungen auf die jewei ligen Finger 18 des Benutzers am Endpunkt 20 übertragen zur Erzeugung eines haptischen Feedbacks, sodass Einflüsse auf das zusteuernde Objekt an den Be nutzer zurückgekoppelt und somit erfahrbar werden. Weiterhin ist aus Figur 1 und 2 ersichtlich, dass das Exoskelett 14 aktuierte Segmente 20 aufweist, die mit der Handfläche bzw. dem Arm 22 des Benutzers verbunden ist. Somit ist es möglich, dass eine Position und Orientierung der Finger 18 des Benutzers und insbesondere der gesamten Hand vollständig durch den Roboter 10 erfassbar ist. Weiterhin ist erfindungsgemäß der Roboter 10 mit einer Steuerungsvorrichtung 24 verbunden zur Steuerung des Roboters. Dabei ist die Steuerungsvorrichtung 24 ausgebildet um insbesondere Einflüsse eines Fluids auf das zu steuernde Objekt und/oder Festkörper durch eine Rückkopplung als Force-Feedback er fahrbar zu machen. Dabei wird durch die Steuerungsvorrichtung 24 für jeden Endpunkt 20 eine anteilige und individuelle Kraft berechnet, welche auf den je weiligen Finger 18 übertragen wird und durch Einflüsse des Fluids auf den Fest körper erzeugt werden. Durch die aktuierten Segmente 20, welche mit dem Arm 22 verbunden sind, kann eine Umgebungsviskosität auf den Arm übertragen werden, welche beispielsweise erfahren wird beim durchziehen des Arms durch ein Fluid. Die individuellen Kräfte am jeweiligen Endpunkt 20 sind exemplarisch in der Figur 2 für den Mittelfinger anhand des Pfeils 26 dargestellt. In gleicher Weise erfolgt dies für alle anderen Finger der Hand, die mit einem jeweiligen aktuierten Segment verbunden sind.

Figur 3 zeigt exemplarisch das erfindungsgemäße Verfahren. Dabei vom Robo ter Sensordaten hinsichtlich der Kraft und/oder Bewegung/Position des Arms, der Hand und/oder der Finger bzw. einer anderen Gliedmaße des Benutzers er fasst S10. Hieraus werden Position, Geschwindigkeit und/oder Orientierung der jeweiligen Gliedmaße ermittelt S20. Aus dem so ermittelten Bewegungspara metern wird eine charakteristische Länge der jeweiligen Gliedmaße berechnet S30.

Weiterhin sind Anwendungsparameter bekannt, welche die Viskosität bzw. Gra- nularität des Fluids, die Form des Festkörpers bzw. des zusteuernden Objekts und dergleichen enthalten. Aus den Anwendungsparametern und den Bewe gungsparametern wird eine Gesamtfluidkraft berechnet S40. Die Gesamtfluid kraft sowie die Bewegungsparameter und die charakteristische Länge der jewei ligen Gliedmaßen werden herangezogen zur Richtungsdefinition, also der Wir kungsrichtung der Kraft auf die einzelnen Gliedmaßen S50. Weiterhin wird aus der Gesamtfluidkraft eine anteilige Kraftaufteilung auf die einzelnen Gliedmaßen bestimmt S60. Somit ist es möglich für jeden Endpunkt bzw. für jede Gliedma ßen individuell eine erfahrbare Kraft zu bestimmen, um eine präzise Simulation des Behaltens des Festkörpers im Fluid zu erreichen. Aus der Richtungsdefinition der Kraft und der anteiligen Kraftaufteilung wird ein Fluidkraftvektor berechnet für jede Gliedmaße separat, wobei der Fluidkraftvektor an den jeweiligen End punkt 20 auf die jeweilige Gliedmaße übertragen wird S70.

Parallel zur Fluidberechnung findet eine Festkörperberechnung S80 statt, wel che den Einfluss des Festkörpers auf die zu erfahrene Kraft im Rahmen des haptischen Feedbacks zu ermitteln. Hieraus wird ein Festkörper- Kraft- Vektor bestimmt S90. Fluidkraftvektor und Festkörper- Kraft- Vektor werden zusam mengeführt S100 und als haptische Kraftrückkopplung auf die aktuierten Seg mente übertragen.

Somit ist eine einfach und schnell auszuführende Simulation des Einflusses eines Fluids auf ein zusteuerndes Objekt einer Teleoperationsanwendung oder in einer virtuellen Realität gewährleistet. Insbesondere können die Update-Frequenzen für die Fluidberechnung größer als 500 Hz gewählt werden, sodass eine präzise Simulation ermöglicht wird.