Gestensteuerung

Die Erfindung betrifft eine Steuervorrichtung zum Steuern eines Robotersystems mit wenigstens einem Roboterarm, an dem ein chirurgisches Instrument mit einem Endeffektor befestigt ist, sowie ein Verfahren zum Steuern eines solchen

Robotersystems mittels Gestensteuerung.

Chirurgische Eingriffe am menschlichen Körper werden heute in zunehmendem Maße in minimal invasiven Verfahren mit Unterstützung von Chirurgie-Robotern durchgeführt. Je nach Art des Eingriffs können die Chirurgie-Roboter mit verschiedenen chirurgischen Instrumenten, wie z. B. Endoskopen, Schneid-, Greifoder Nähinstrumenten bestückt sein. Bei einer Operation werden die Instrumente mittels eines oder mehrerer Roboter über eine Schleuse in den Körper des

Patienten eingeführt. Während der Operation wird das chirurgische Instrument dann von einem Chirurgen über eine Eingabevorrichtung des Robotersystems, wie z. B. ein Bildverarbeitungssystem zur Gestensteuerung, gesteuert.

Für den chirurgischen Einsatz werden verschiedenste Instrumente verwendet, wie z. B. Endoskope, laparoskopische Instrumente, Schneid-, Greif-, Halte-, Verbindeoder Nähinstrumente sowie andere chirurgische Werkzeuge. Am distalen Ende der chirurgischen Instrumente bzw. Werkzeuge befindet sich der eigentliche Endeffektor, wie z. B. ein Skalpell, eine Schere, eine Nadel, ein Schaber, eine Feile, ein Greifer, eine Kamera, etc.. Die Endeffektoren können z. B. mittels eines Seilantriebs oder mit Hilfe eines im Schaft des Instruments integrierten

Manipulators betätigt werden.

Bei einem Robotersystem mit einer Eingabevorrichtung zur Gestensteuerung kann der Benutzer das chirurgische Instrument und dessen Endeffektor durch manuelle Steuervorgaben steuern. Die Eingabevorrichtung des Robotersystems umfasst in diesem Fall eine Kamera, die innerhalb eines vorgegebenen

Bilderfassungsbereichs die von einem Benutzer ausgeführten Gesten erfasst. Die von der Kamera aufgezeichneten Bilddaten werden von einer Bildverarbeitungseinheit (Software) verarbeitet und in entsprechende

Steuerbefehle für die gesteuerten Komponenten des Robotersystems umgesetzt. Bei bekannten Gestensteuerungen kann der Benutzer in der Regel dynamische Gesten, wie z. B. Bewegungen, oder statische Gesten, wie z. B. Handzeichen, vorgeben, um eine bestimmte Komponente des Robotersystems zu steuern. Die gesteuerte Komponente wird dem Benutzer in der Regel auf einem Bildschirm angezeigt, so dass er die Reaktion des Robotersystems auf seine Steuervorgaben beobachten kann. Aus der US 6 424 885 B1 ist ein Robotersystem für die minimal invasive Chirurgie bekannt, das mehrere manuelle Eingabegeräte umfasst, mit denen die

chirurgischen Instrumente gesteuert werden. In Zusammenhang mit der

Steuerung stellt sich das Problem, dass die Orientierung des Eingabegeräts mit der Orientierung eines Endeffektors eines chirurgischen Instruments in

Übereinstimmung gebracht werden soll. Hierzu wird in der US 6,424,885 A ein Verfahren angewendet, das„mapping" genannt wird. Wie in Fig. 1 gezeigt ist, umfasst das Eingabegerät 1 zwei an einem Grundkörper 2 gelenkig befestigte Glieder 4, 5, die mit Hilfe der Finger einer Hand zusammengedrückt bzw. geöffnet werden können. Bei einer manuellen Betätigung der Glieder 4, 5 werden die Arbeitselemente 9, 10 des gesteuerten Endeffektors 6, der auf der rechten Seite dargestellt ist, entsprechend bewegt. Die Position des Eingabegeräts 1 wird durch einen Punkt Pi bestimmt. Die Orientierung des Eingabegeräts 1 ist durch eine Längsachse 3 bestimmt, die durch den Punkt Pi und den Grundkörper 2 zwischen den beiden Gliedern 4 und 5 verläuft. Analog dazu ist die Orientierung des

Endeffektors 6 durch eine zwischen den Arbeitselementen 9 und 10 verlaufende Achse 8 festgelegt. Mittels des vorstehend genannten„mapping"-Verfahrens können die Orientierung des Eingabegeräts 1 und die Orientierung des

Endeffektors in Übereinstimmung gebracht werden, so dass die beiden Achsen 3 und 8 in die gleiche Richtung verlaufen.

Das in der US 6 424 885 B1 beschriebene„mapping"-Verfahren ist jedoch nur dazu geeignet, die Orientierung eines Eingabegeräts 1 mit der Orientierung eines Endeffektors abzugleichen. Es ist jedoch nicht geeignet, die Orientierung, Position und/oder den Öffnungsgrad einer Hand mit derjenigen bzw. demjenigen eines Endeffektors abzugleichen.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Robotersystem mit einer Vorrichtung zur Gestensteuerung zu schaffen, bei dem ein Benutzer den Zustand seiner Hand einfach und schnell an den Zustand des gesteuerten Objekts anpassen kann.

Gelöst wird diese Aufgabe gemäß der Erfindung durch die in den unabhängigen Patentansprüchen angegebenen Merkmale. Weitere Ausgestaltungen der

Erfindung ergeben sich aus den Unteransprüchen.

Gemäß der Erfindung wird eine Steuervorrichtung zum Steuern eines

Robotersystems vorgeschlagen, das ein Bilderfassungssystem zur

Gestensteuerung umfasst, welches die Steuervorgabe wenigstens einer Hand aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems umsetzt. Die erfindungsgemäße

Steuervorrichtung umfasst eine Steuereinheit, die die Orientierung und/oder die Position und/oder den Öffnungsgrad eines Endeffektors eines chirurgischen Instruments als eine erste Größe bzw. erste Größen, sowie die Orientierung und/oder die Position und/oder den Öffnungsgrad einer Hand als zweite Größe bzw. zweite Größen ermittelt und die im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe die Gestensteuerung des Endeffektors unterbindet, und die im Falle einer

Übereinstimmung wenigstens einer der zweiten Größen mit der jeweils

entsprechenden ersten Größe bzw. einer davon abhängigen Sollgröße eine Gestensteuerung des Endeffektors freigibt. Gemäß der Erfindung ist es also erforderlich, die Orientierung, die Position oder den Öffnungsgrad der Hand zunächst an die Orientierung, die Position und/oder den Öffnungsgrad des zu steuernden Instruments bzw. dessen Endeffektor anzupassen - also einen Abgleich durchzuführen. Nach einem solchen Abgleich lassen sich das

chirurgische Instrument bzw. dessen Endeffektor dann manuell steuern. Die Aktivierung der Gestensteuerung kann automatisch erfolgen. Sie kann aber auch aktiv geschaltet werden, wenn eine zusätzliche Bedingung erfüllt ist, wie z. B. dass der Benutzer die Gestensteuerung nochmals bestätigt. In diesem Fall wäre die Gestensteuerung erst dann möglich, wenn ein Abgleich zwischen Hand und Endeffektor sowie eine zusätzliche Bestätigung durch den Benutzer stattgefunden hat.

Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Vorrichtung zur Gestensteuerung derart eingerichtet, dass zumindest zwei der Zustände:

Orientierung, Position und Öffnungsgrad der steuernden Hand mit dem

entsprechenden Zustand des Endeffektors übereinstimmen müssen, um die Gestensteuerung zu aktivieren.

Um den Benutzer zum Durchführen eines Abgleichs aufzufordern, ist die erfindungsgemäße Steuervorrichtung vorzugsweise derart ausgelegt, dass im Falle einer Abweichung wenigstens einer der Hand-Zustände von dem

entsprechenden Zustand des Endeffektors ein Signal an den Benutzer

ausgegeben wird. Dieses Signal kann beispielsweise ein optisches, akustisches oder haptisches Signal sein. Mit dem Signal wird der Benutzer dazu aufgefordert, die Orientierung und/oder Position und/oder den Öffnungsgrad der Hand an den entsprechenden Zustand des Endeffektors anzupassen.

Im Falle einer Übereinstimmung wenigstens eines der Zustände wird

vorzugsweise ein Signal an den Benutzer ausgegeben, das dem Benutzer den erfolgreichen Abgleich anzeigt. So kann der Benutzer beispielsweise mittels eines optischen Signals auf den erfolgreichen Abgleich hingewiesen werden.

Um den Abgleich zwischen der Hand und dem Endeffektor zu erleichtern, kann z. B. ein virtuelles Element auf einem Bildschirm eingeblendet werden, dessen Orientierung und/oder Position und/oder Öffnungsgrad derjenigen bzw.

demjenigen der Hand entspricht. Bei dem virtuellen Element kann es sich beispielsweise um eine Nachbildung des gesteuerten Endeffektors handeln. Im Falle einer Schere kann beispielsweise das Bild einer chirurgischen Schere, oder im Falle eines Skalpells das Bild eines Skalpells dargestellt werden. Darüber hinaus kann ein weiteres Referenzelement angezeigt werden, das die Orientierung und/oder Position und/oder den Öffnungsgrad des gesteuerten Endeffektors darstellt und das dem Benutzer als Soll-Vorgabe für den Abgleich zwischen der Hand und dem Endeffektor dient. Der Benutzer kann somit einfach und intuitiv die Orientierung und/oder Position und/oder den Öffnungsgrad der Hand an die Soll-Vorgabe des Referenzelements anpassen. Den

Abgleichungsprozess kann er dabei am Bildschirm verfolgen. Zur Bestimmung der Orientierung, der Position oder des Öffnungsgrades einer Hand gibt es prinzipiell mehrere Möglichkeiten. Gemäß einer Ausführungsform der Erfindung kann die Position einer Hand beispielsweise ermittelt werden, indem auf der Hand oder dem zugehörigen Arm ein charakteristischer Punkt durch das Bilderfassungssystem erkannt und dieser Punkt als Referenzpunkt für die Position der Hand festgelegt wird. Das Bilderfassungssystem kann z. B. einen

Handgelenkspunkt, einen Punkt auf der Fingerspitze, oder einen Punkt an einem Knöchel als Referenzpunkt ermitteln. Die Position dieses Punktes wird von der Steuereinheit vorzugsweise im Koordinatensystem des Bilderfassungssystems ermittelt.

Die Orientierung der Hand kann beispielsweise durch einen Vektor festgelegt werden, dessen Richtung im Koordinatensystem des Bilderfassungssystems ermittelt wird. Der Vektor kann z. B. auf einer Linie zwischen dem Handgelenk und der Fingerspitze des Zeigefingers, oder zwischen dem Handgelenk und der Spitze des Daumens liegen. Er könnte z. B. aber auch auf einer Linie liegen, die zwischen Daumen und Zeigefinger in Richtung des Handgelenks verläuft.

Prinzipiell können beliebige Vektoren ermittelt werden, welche dann als Referenz für die Orientierung der Hand festgelegt werden. Die Erkennung des

Orientierungsvektors bzw. der zugehörigen Linie erfolgt vorzugsweise automatisch durch das Bilderfassungssystem. Die Orientierung der Hand wird vorzugsweise im Koordinatensystem des Bilderfassungssystems bestimmt.

Der Öffnungsgrad der Hand kann beispielsweise ermittelt werden, indem zwei Vektoren festgelegt und der Winkel zwischen den Vektoren im Koordinatensystem des Bilderfassungssystems bestimmt wird. Ein erster Vektor kann beispielsweise von einem Punkt am Handgelenk in Richtung des Daumens, und ein zweiter Vektor von dem Punkt am Handgelenk in Richtung der Zeigefingerspitze zeigen. Die Vektoren bzw. die zugehörigen Linien können automatisch durch das

Bilderfassungssystem ermittelt werden.

Die erfindungsgemäße Steuervorrichtung für das Robotersystem kann ferner ein handbetätigtes Hilfselement umfassen, das dazu dient, die Handbewegung des Benutzers zu führen. Gemäß einer bevorzugten Ausführungsform der Erfindung hat das Hilfselement gleich viele Bewegungs-Freiheitsgrade wie der gesteuerte Endeffektor des chirurgischen Instruments. Im Falle eines Greifers, bei dem sich zwei gegenüberliegend angeordnete Greifbacken um eine Achse aufeinander zu bzw. voneinander weg bewegen können, hat das Hilfselement vorzugsweise genau einen Freiheitsgrad. Es kann aber auch mehr oder weniger Freiheitsgrade aufweisen.

Die Form des handbetätigten Hilfselements entspricht vorzugsweise der Form des gesteuerten Endeffektors. Im Falle einer chirurgischen Schere oder eines Greifers kann das Hilfselement beispielsweise zwei Schenkel aufweisen, die über ein Gelenk miteinander verbunden sind und somit auf und zu bewegt werden können.

Gemäß einer Ausführungsform der Erfindung kann beispielsweise die

Orientierung, die Position und/oder der Öffnungsgrad des Hilfselements durch das Bilderfassungssystem erfasst werden. Die so gewonnenen Informationen können dann als Referenzgrößen für die Orientierung, Position und/oder den

Öffnungsgrad der Hand genutzt werden. Da das handbetätigte Hilfselement klar definierte Elemente aufweist, kann die Orientierung, die Position und/oder der Öffnungsgrad des Hilfselements und damit auch der Hand besonders einfach und genau bestimmt werden. Dieses Verfahren bietet somit Vorteile einer Erfassung von Punkten auf der Hand. Auf dem Hilfselement können gegebenenfalls

Markierungen vorgesehen sein, um die Erkennung weiter zu vereinfachen.

Erfindungsgemäß können durch die Steuerung soviele Punkte auf der Hand oder dem Hilfselement festgelegt werden, wie zur Bestimmung der Orientierung, der Position und des Öffnungsgrades der Hände benötigt werden. Werden für die Gestensteuerung Hilfselemente genutzt, so können auch Punkte auf den

Hilfselementen festgelegt werden. Beispielsweise können weitere Punkte bestimmt werden, die auf den Fingerspitzen oder den Gliedenden der

Hilfselemente liegen.

Diese Punkte können dann auch genutzt werden, einen Vektor festzulegen.

Beispielsweise kann der Vektor so definiert werden, dass er durch zwei Punkte durchlaufen muss. Alternativ können drei Punkte auf einer Hand und / oder auf dem Hilfselement genutzt werden, um eine virtuelle Ebene aufzuspannen, auf welcher der Vektor liegen muss.

Ferner können die auf den Spitzen bzw. auf den Gliedenden des Hilfselements befindlichen Punkte genutzt werden, um den Öffnungsgrad der Hände zu bestimmen, indem der Abstand zwischen den Fingerspitzen ermittelt wird. Je größer der Abstand zwischen zwei Punkten ist, desto größer ist der Öffnungsgrad der Finger.

Wahlweise oder zusätzlich kann das handbetätigte Mittel auch einen Sensor, insbesondere einen Inertialsensor umfassen, der z. B. die Lage im Raum und/oder eine Bewegung in bzw. um drei Raumachsen messen kann. Die Sensordaten können beispielsweise berührungslos an eine Steuereinheit übertragen werden. Die vom Sensor gelieferten Daten können wiederum dazu genutzt werden, die Orientierung, Position und/oder den Öffnungsgrad der Hand zu bestimmen.

Gemäß einer bevorzugten Ausführungsform der Erfindung werden die

Orientierung, die Position und/oder der Öffnungsgrad der Hand durch wenigstens zwei der vorstehend genannten Methoden redundant ermittelt, d. h. durch optische Erkennung der Hand, optische Erkennung des Hilfselements und/oder mit Hilfe eines im Hilfselement integrierten Sensors. Dadurch kann die Fehleranfälligkeit der Gestensteuerung deutlich reduziert und die Zuverlässigkeit des Systems verbessert werden. Eine Steuervergabe der Hand wird vorzugsweise mit einem vorgegebenen

Skalierungsfaktor in eine entsprechende Bewegung des Endeffektors umgesetzt. Bei einem Skalierungsfaktor von eins bewegt sich der Endeffektor im selben Maßstab wie die Hand. Der Skalierungsfaktor kann aber auch größer oder kleiner eingestellt werden. So kann beispielsweise eine Handbewegung eine um den Faktor 2 reduzierte Bewegung des Endeffektors bewirken; d. h., dass eine

Reduzierung des Öffnungsgrades der Finger um 20° eine Reduzierung des Öffnungswinkels der Arbeitsglieder um 10° bewirken würde. Für unterschiedliche Bewegungsarten oder Freiheitsgrade können auch unterschiedliche

Skalierungsfaktoren definiert werden. Z. B. könnte für jede Bewegung entlang und / oder um die Achsen x, y, z ein separater Skalierungsfaktor für die

Handbewegungen sowie für das Verhältnis Öffnungswinkel und Öffnungsgrad gewählt werden. Auch bezüglich der Umsetzung der Strecke, der Geschwindigkeit und der Beschleunigung können jeweils unterschiedliche Skalierungsfaktoren definiert werden. Die Skalierungsfaktoren sind also erfindungsgemäß beliebig einstellbar. Sie können daher auch in Abhängigkeit vom Ort, an dem sich der Endeffektor befindet, variieren.

Wie eingangs erwähnt wurde, umfasst die Gestensteuerung ein

Bilderfassungssystem, das die vom Benutzer ausgeführten manuellen Gesten aufzeichnet und auswertet. Die Steuerung des chirurgischen Instruments bzw. des Endeffektors ist vorzugsweise aktiv, solange sich die steuernde Hand innerhalb eines vorgegebenen Bilderfassungsbereichs befindet. Verlässt die Hand den Bilderfassungsbereich, wird die Steuerung vorzugsweise deaktiviert.

Die erfindungsgemäße Steuervorrichtung umfasst auch eine Kamera, die das gesteuerte Objekt aufzeichnet, und einen Bildschirm, auf dem das aufgezeichnete Bild dargestellt wird. Gemäß einer bevorzugten Ausführungsform der Erfindung wird das gesteuerte Objekt am Bildschirm so dargestellt, dass die Bewegung des Objekts am Bildschirm mit der entsprechenden Bewegung der Hand

übereinstimmt. Das am Bildschirm abgebildete Objekt bewegt sich also in Bezug auf ein Koordinatensystem der Bildschirmanzeige in dieselbe Richtung wie die Bewegung der Hand in Bezug auf das Koordinatensystem des

Bilderfassungssystems. Bewegt der Benutzer seine Hand beispielsweise nach oben (in z-Richtung des Koordinatensystems des Bilderfassungssystems), so bewegt sich das auf dem Bildschirm dargestellte Bild des Endeffektors ebenfalls nach oben (in z-Richtung des Koordinatensystems der Bildschirmanzeige). Die reale Bewegung des Endeffektors verläuft dagegen in der Regel in eine andere Richtung. Auf dem Bildschirm wird die Bewegung des Endeffektors jedoch in der derselben Richtung wie die Bewegung der Hand dargestellt. Eine solche

Darstellung hat den wesentlichen Vorteil, dass ein Benutzer, wie z. B. ein Chirurg, das Robotersystem sehr einfach und intuitiv steuern kann. Es ist daher keine lange Einarbeitungszeit oder gar ein Umdenken erforderlich.

Um diese Art der Darstellung zu realisieren, ist der Kamera, die den Endeffektor aufnimmt, ein Koordinatensystem zugeordnet, das an den Bildachsen des von der Kamera aufgenommenen Bildes ausgerichtet ist. Das Koordinatensystem der Kamera hat in der Regel eine andere Orientierung als das Koordinatensystem des Bilderfassungssystems. Bezüglich der Kamera hat es aber vorzugsweise die gleiche Orientierung wie das Koordinatensystem des Bilderfassungssystems bezüglich des Erfassungsbereichs oder das Koordinatensystem der

Bildschirmanzeige bezüglich des Bildschirms. Bei einer Handbewegung innerhalb des Bilderfassungsbereichs wird der

Endeffektor vorzugsweise so gesteuert, dass er sich im Koordinatensystem der Kamera in dieselbe Richtung bewegt wie im Koordinatensystem des

Bilderfassungssystems. Führt der Benutzer beispielsweise eine Bewegung in z- Richtung im Koordinatensystem des Bilderfassungssystems durch, bewegt sich der Endeffektor ebenfalls in z-Richtung, aber im Koordinatensystem der Kamera. Die z-Koordinate der Kamera wird wiederum als z-Koordinate im

Koordinatensystem des Bildschirms dargestellt. Entsprechendes gilt analog auch für die anderen Koordinaten. Die erfindungsgemäße Steuereinheit ist also so ausgelegt, dass eine Steuervorgabe einer Hand im Koordinatensystem des Bilderfassungssystems in eine entsprechende Aktion des Endeffektors im

Koordinatensystem der Kamera umgesetzt wird.

Die Orientierung, die Position und/oder der Öffnungsgrad des Endeffektors sind bekannte Größen, da das Robotersystem üblicherweise eine Vielzahl von Sensoren aufweist, mit denen die genannten Größen gemessen werden können. Zur Erkennung der Orientierung, der Position und/oder des Öffnungsgrades des Endeffektors können somit die im System vorhandenen Informationen genutzt werden. Da die Steuereinheit die Steuerbefehle für den Endeffektor generiert, sind somit auch der Steuereinheit die genannten Größen bekannt.

Der Steuereinheit sind zudem alle Koordinatensysteme bekannt, so dass mittels einer Koordinatentransformation eine Größe von einem Koordinatensystem in eine entsprechende Größe des anderen Koordinatensystems umgerechnet werden kann. Somit können die Endeffektoren stets im Kamerakoordinatensystem betätigt werden, unabhängig davon, wie das Kamerakoordinatensystem zu einem anderen Koordinatensystem ausgerichtet ist.

Alternativ könnte die Orientierung, Position und/oder der Öffnungsgrad des

Endeffektors aber auch aus den von einer Kamera aufgezeichneten Bilddaten gewonnen werden, analog zur Bilderfassung der Hand oder des Hilfselements.

Die Erfindung betrifft auch ein Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung. Gemäß der Erfindung werden die Orientierung und/oder die Position und/oder der Öffnungsgrad eines Endeffektors eines chirurgischen Instruments als eine erste Größe bzw. als erste Größen sowie die Orientierung und/oder die Position und/oder der Öffnungsgrad wenigstens einer Hand eine zweite Größe bzw. zweite Größen ermittelt. Im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe wird eine manuelle Steuerung des Endeffektors automatisch unterbunden. Sobald eine oder mehrere der korrespondierenden Größen übereinstimmen, wird die

Gestensteuerung vorzugsweise automatisch freigegeben. Im letzteren Fall war der Abgleich zwischen Hand und dem gesteuerten Endeffektor erfolgreich - d. h. die Orientierung, die Position und/oder der Öffnungsgrad von Hand und Endeffektor stimmen überein. Nach dem Abgleich kann der Endeffektor durch

Gestensteuerung gesteuert werden. Es kann aber auch vorgesehen sein, dass der Benutzer die Gestensteuerung nochmals bestätigen muss, um sie vollständig zu aktivieren. Kurze Beschreibung der Zeichnungen

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:

Fig. 1 eine Darstellung eines aus dem Stand der Technik bekannten

Eingabegeräts und einen damit gesteuerten Endeffektor;

Fig. 2 eine perspektivische Ansicht eines Robotersystems für die minimal invasive Chirurgie mit zwei Roboterarmen und einer Steuervorrichtung zur Durchführung einer Gestensteuerung;

Fig. 3 eine Seitenansicht mehrerer chirurgischer Instrumente, die in den

Körper eines Patienten eingeführt sind;

Fig. 4 eine Darstellung zweier Hände und verschiedener Bezugspunkte und ^■

Linien zur Bestimmung der Orientierung, der Position und des Öffnungswinkels der Hände; Fig. 5 eine Darstellung zweier Hände ähnlich Fig. 4, wobei jede Hand ein

Hilfselement zur Führung der Handbewegungen hält;

Fig. 6 einen Bildschirm, an dem die mittels Gestensteuerung gesteuerten

Endeffektoren sowie zwei virtuelle Endeffektoren dargestellt sind; und

Fig. 7 eine schematische Darstellung verschiedener Verfahrensschritte eines

Verfahrens zum Steuern eines Robotersystems mittels

Gestensteuerung. Bezüglich der Erläuterung von Fig. 1 wird auf die Beschreibungseinleitung verwiesen.

Fig. 2 zeigt eine schematische Darstellung eines Robotersystems 1 1 für die minimal invasive Chirurgie mit zwei Roboterarmen 14, 18 und einer Steuervorrichtung 25, 28, 29 zum Steuern der verschiedenen Komponenten des Robotersystems 1 1 mittels Gestensteuerung. Die Roboterarme 14, 18 sind hier über eine Schiene 24 an einem OP-Tisch 12 befestigt. Die Roboterarme 14, 18 können dabei gleichartig oder unterschiedlich aufgebaut sein. Auf dem OP-Tisch 12 liegt ein Patient 13, an dem ein chirurgischer Eingriff vorgenommen werden soll.

Die Roboterarme 14 und 18 sind jeweils mit einem chirurgischen Instrument 15 bzw. 19 bestückt. Chirurgische Instrumente können prinzipiell alle Instrumente sein, die für einen chirurgischen Eingriff geeignet sind, wie z. B. ein Skalpell, ein Greifer, eine Schere, elektrochirurgische Instrumente, Endoskope, eine Kamera, Stapler, usw.. Das Instrument 15 kann beispielsweise als Schere, und das

Instrument 19 als Greifer ausgebildet sein. Die Instrumente 15, 19 verfügen typischerweise über einen Schaft 16, 20, an dessen distalem Ende ein der Funktion des Instruments entsprechender Endeffektor 17, 21 angebracht ist (siehe Fig. 3).

Die Instrumente 15, 19 werden durch die Roboterarme 14 und 18 bewegt und über kleine künstliche Öffnungen in den Körper des Patienten 13 eingeführt. Durch eine Betätigung der Endeffektoren 17 bzw. 21 kann dann der eigentliche chirurgische Eingriff durchgeführt werden.

Zur Steuerung der Endeffektoren 17, 21 - hierunter soll im Folgenden die

Positionierung und Orientierung im Raum als auch die Betätigung der eigentlichen Arbeitselemente verstanden werden - ist eine Steuervorrichtung mit einem

Bildverarbeitungssystem 25, 28 vorgesehen. Das Bilderfassungssystem umfasst eine Kamera 28, die einen kubischen Erfassungsbereich 36 überwacht. Das Bilderfassungssystem ist dabei in der Lage, manuell ausgeführte Gesten zu erkennen und zu interpretieren. Die von der Kamera aufgezeichneten Bilddaten werden an eine Steuereinheit 25 weitergeleitet und von einer darin enthaltenen Auswerteeinheit (Software) ausgewertet. Die Steuereinheit 25 generiert dann entsprechend der erkannten Gesten Steuerbefehle, mit denen die Aktuatoren der gesteuerten Komponenten 14, 15, 17, 18, 19, 21 angesteuert werden. Dabei können die Roboterarme 14, 18, die Instrumente 15, 19 und/oder die Endeffektoren 17, 21 jeweils einzeln oder alle gleichzeitig betätigt werden.

Gemäß einem Ausführungsbeispiel kann z. B. mit der linken Hand 30L des

Benutzers der linke Endeffektor 21 , und mit der rechten Hand 30R der rechte Endeffektor 17 betätigt werden. Unter dem Begriff„Betätigung" des Endeffektors wird dabei verstanden, dass der Endeffektor 17, 21 im dreidimensionalen Raum positioniert bzw. orientiert sowie eine bestimmte Funktion, wie z. B. Schneiden, Greifen, oder Koagulieren, ausgeführt werden kann. Die Endeffektoren 17, 21 können wahlweise positions- und/oder geschwindigkeitsgesteuert bzw. -geregelt werden.

Die Roboterarme 14 und 18 stehen hier über jeweils ein Kabel 26 bzw. 27 mit der Steuereinheit 25 in Verbindung. Alternativ könnte auch eine drahtlose Steuerung vorgesehen sein.

Wie vorstehend erwähnt wurde, steht dem Benutzer ein vorgegebener

Erfassungsbereich 36 zur Verfügung, in dem er manuelle Gesten ausführen kann, um das Robotersystem 1 1 zu steuern. Die Steuervorrichtung 25, 28, 29 ist vorzugsweise so ausgelegt, dass nur Gesten, die innerhalb dieses Bereichs 36 ausgeführt werden, von der Steuereinheit 25 in entsprechende Steuerbefehle umgesetzt werden. Außerhalb des Erfassungsbereichs 36 durchgeführte Gesten werden dagegen nicht in entsprechende Steuerbefehle umgesetzt. Der Erfassungsbereich 36 hat ein erstes Koordinatensystem K _G , in dem die Positionen der Hände 30L, 30R sowie deren Orientierung im dreidimensionalen Raum eindeutig bestimmbar sind. So kann beispielsweise die Richtung bestimmt werden, in der die Hand 30L, 30R oder deren Finger zeigen, sowie die Abstände der Hände 30L, 30R oder Finger zueinander. Darüber hinaus kann auch die Bewegung der Hände 30L, 30R bzw. deren Finger bestimmt werden, wie z. B. die zurückgelegte Strecke, die Bewegungsgeschwindigkeit und/oder die

Bewegungsrichtung. Um die Position einer Hand 30L, 30R ZU bestimmen, können mit Hilfe des

Bilderfassungssystems 25, 28, ein oder mehrere Punkte auf einer Hand 30L, 30R und/oder dem zugehörigen Arm erkannt und als Referenzpunkt für die Position der jeweiligen Hand 30L, 30R verwendet werden. Wie in Fig. 4 gezeigt ist, können beispielsweise die Punkte PIL der linken Hand 30L und PI R der rechten Hand 30R, die jeweils auf dem Handgelenk der Hände 30L, 30R liegen, bestimmt werden. Die Position der beiden Hände 30L, 30R kann somit eindeutig im Koordinatensystem K _G beschrieben werden. Darüber hinaus können auch weitere Punkte auf den Händen, wie z. B. die Punkte P2L, P2R und P3L, P3R auf den Fingerspitzen von Daumen und Zeigefinger der linken und rechten Hand 30L, 30R als Referenzpunkte definiert werden. Um die Orientierung der Hände 30L, 30R ZU bestimmen, kann zwischen jeweils zwei Punkten der Hand 30L bzw. 30R eine Linie 31 , 32, 33 oder 34 gelegt werden. Die Orientierung einer Hand 30L, 30R kann z. B. als Vektor definiert werden, der auf einer der genannten Linien 31 bis 34 liegt. Alternativ könnte aber auch ein Vektor VIL, VI R definiert werden, der zwischen den genannten Linien 31 und 32 bzw. 33 und 34 liegt. Ein solcher Vektor könnte in einer Ebene liegen, die durch die Punkte Punkte PIL, P2i_ und P3L der linken Hand 30L bzw. durch die drei Punkte PIL, P2R und P3R der rechten Hand 30R aufgespannt wird. Dieser Vektor Vi _L , VI R wird dann als Referenz für die Orientierung der Hand 30L bzw. 30R herangezogen.

Alternativ könnten die Vektoren Vi _L und VI R aber auch jeden beliebigen anderen Winkel einnehmen und z. B. direkt auf die Fingerspitze des Zeigefingers (Punkt P ₃ L bzw. P ₃ R) zeigen.

Der Öffnungsgrad einer Hand 30L, 30R zwischen dem Daumen und dem

Zeigefinger kann beispielsweise durch den Winkel aL bzw. OIR zwischen den Linien 31 und 32 bzw. 33 und 34 definiert werden. Dieser Winkel OIR, aL ist abhängig vom Abstand zwischen Daumen und Zeigefinger. Der Öffnungsgrad einer Hand 30L, 30R kann aber auch durch den Abstand von zwei Punkten P ₂ L, P2R, P3L, P3R auf der Hand 30L, 30R bestimmt werden, z. B. durch den Abstand von der Spitze des Zeigefingers P3L und der Spitze des Daumens P ₂ L- Die Position, Orientierung und der Öffnungsgrad einer Hand 30L, 30R sind somit eindeutig im Koordinatensystem K _G bestimmbar. Darüber hinaus kann zu jeder Veränderung der Position, Orientierung und des Öffnungsgrades eine zugehörige Geschwindigkeit oder Beschleunigung bestimmt werden.

Wie in Fig. 4 gezeigt, nehmen die Vektoren Vi _L bzw. VI R vorteilhafterweise stets den halben Öffnungswinkel αι_ bzw. O,R zwischen den Linien 31 und 32 bzw. 33 und 34 ein. Neben der vorstehend beschriebenen Erkennung von Hand- bzw. Armpunkten gibt es aber noch verschiedene weitere Möglichkeiten zur Bestimmung der Position, der Orientierung oder des Öffnungsgrades einer Hand. Wie in Fig. 5 gezeigt ist, kann die Steuervorrichtung 25, 28, 29 des Robotersystems 1 1 auch handbetätigte Hilfselemente 35L, 35R umfassen, die dazu dienen, eine Öffnungs- und Schließbewegung der Hand zwischen Daumen und Zeigefinger zu führen. Im dargestellten Ausführungsbeispiel ist für jede Hand 30L, 30R ein eigenes

Führungselement 35L, 35R vorgesehen.

Jedes Hilfselement 35L, 35R umfasst zwei gelenkig miteinander verbundene Glieder, die in ihrer Form und Anordnung einem Greifer oder einer chirurgischen Schere entsprechen. Die Hilfselemente 35L, 35R haben jeweils genau einen Freiheitsgrad, d. h. es ist nur das aufeinander zu- bzw. auseinander Bewegen von Daumenspitze und Zeigefingerspitze um eine definierte Achse 37 möglich. Durch diese Limitierung der Bewegungsfreiheit von Daumen und Zeigefinger können daher Fehlinterpretationen bei der Gestenerkennung ausgeschlossen werden, da sich die Fingerspitzen nur entlang einer fest definierten Bahn bewegen können. Die beweglichen Glieder der Hilfselemente 35L, 35R können beispielsweise

Schlaufen 36L, 36R aufweisen, in die der Benutzer seinen Daumen bzw.

Zeigefinger stecken kann.

In analoger Weise zur Bestimmung markanter Punkte auf den Händen 30L, 30R können auch Punkte auf den Hilfselementen 35L, 35R ermittelt und daraus die Position, Orientierung und/oder der Öffnungsgrad der zugehörigen Hand 30L bzw. 30R bestimmt werden. Anstelle der Handgelenkspunkte PIL bzw. Pi _R könnten z. B. die Gelenks-Punkte 37 _L bzw. 37 _R des Hilfselements verwendet werden, die in Fig. 5 dargestellt sind. Anstelle der Vektoren Vi _L und VI R könnten z. B. die

Gelenks-Achsen verwendet werden, die durch die Punkte 37 _L bzw. 37 _R verlaufen. Als Referenz für den Öffnungsgrad der Hand könnte z. B. der Winkel zwischen den gelenkig miteinander verbundenen Gliedern eines Hilfselements 35L bzw. 35R oder der Abstand zwischen den beiden Gliedenden (analog zu den Fingerspitzen) herangezogen werden.

Alternativ oder zusätzlich könnten die Hilfselemente 35L und 35R jeweils mit einer Sensorik 38L und 38R ausgerüstet sein. Diese Sensorik kann ebenfalls zur Bestimmung der Position, der Orientierung und/oder des Öffnungsgrades der Hand genutzt werden. Wenn z. B. ein Winkelsensor vorgesehen ist, der den Winkel der beiden gelenkig miteinander verbundenen Glieder misst, kann der Öffnungsgrad der Hand 30L bzw. 30R zwischen Daumen und Zeigefinger ermittelt werden. Darüber hinaus könnten auch magnetische Sensoren, Beschleunigungsoder Inertialsensoren integriert sein, mit denen die Position, die Orientierung, aber auch einen Bewegungsgeschwindigkeit oder Beschleunigung der Hand 30L bzw. 30R erfasst werden können. Die Sensordaten können z. B. berührungslos an die Steuereinheit 25 übertragen werden. Redundante Informationen können miteinander verglichen werden, um mögliche Fehler zu detektieren oder zu beheben. Eine fehlende oder fehlerhafte Information kann z. B. auch durch eine redundant vorliegende Information ersetzt werden.

Bei einer minimal invasiven Operation wird der Ort, an dem der Eingriff stattfindet, durch eine oder mehrere Kameras 22, 23 überwacht. Hierzu sind ein oder mehrere laparoskopische Instrumente durch kleine künstliche Öffnungen in den Körper des Patienten 13 eingeführt, wie auch in Fig. 3 dargestellt ist. Das Bild der Kamera 23 wird auf einem Bildschirm 29 dargestellt, auf dem der Chirurg den Fortgang der Operation beobachten und überwachen kann. Darüber hinaus ist im Robotersystem 1 1 von Fig. 2 eine weitere Kamera 22 vorgesehen, die das

Geschehen außerhalb des Körpers des Patienten 13 aufzeichnet. Diese Kamera 22 kann beispielsweise dazu verwendet werden, die Position und Orientierung der Roboterarme 14, 18 sowie der Instrumente 15 und 19 als auch der Kamera 23 zu erfassen. Das Bild der Kamera 22 und der Kamera 28 kann ebenso am Bildschirm 29 dargestellt werden. Zwischen den Kameras 22 und 23 kann auch automatisch oder manuell hin- und her geschaltet werden, je nachdem ob sich ein Endeffektor innerhalb oder außerhalb des Patienten befindet. Optional kann das Bild am Bildschirm 29 geteilt werden, um einen von der Kamera 22 erfassten Endeffektor und einen von der Kamera 23 erfassten Endeffektor anzuzeigen.

Vorzugsweise sind alle Kameras und / oder Bildschirme 3D-fähig. Hierzu können aus dem Stand der Technik bekannte Geräte verwendet werden, z. B.

Stereoskopische Kameras oder Kameras mit zweifacher Bildaufzeichnung.

Um dem Chirurgen eine möglichst intuitive Steuerung der chirurgischen

Instrumente 15, 19 einschließlich ihrer Endeffektoren 17, 21 zu ermöglichen, sollte wenigstens die Orientierung, vorzugsweise aber auch die Position und der

Öffnungsgrad der steuernden Hand 30L bzw. 30R in Bezug zum

Koordinatensystem K _G mit der Orientierung, der Position bzw. dem Öffnungsgrad des gesteuerten Endeffektors 17 bzw. 21 in Bezug zum jeweiligen

Kamerakoordinatensystem K _K i bzw. K _K 2 übereinstimmen. Bei dem hier

dargestellten Robotersystem 1 1 wird zu diesem Zweck ein Abgleichprozess durchgeführt, in dem der Benutzer die Orientierung und/oder die Position und/oder den Öffnungsgrad seiner Hand an den entsprechenden Zustand des gesteuerten Endeffektors 17 bzw. 21 anpassen kann.

Sobald eine Übereinstimmung wenigstens einer der genannten Zustandsgrößen, vorzugsweise aller Zustandsgrößen, erreicht wurde, wird der gesteuerte

Endeffektor 17, 21 freigegeben bzw. aktiviert und kann danach von Hand gesteuert werden. Die Aktivierung kann automatisch erfolgen oder nochmals eine zusätzliche Bestätigung des Benutzers erfordern.

Um dem Benutzer den Abgleich zwischen seiner Hand 30L, 30R und dem gesteuerten Endeffektor 17, 21 zu erleichtern, wird in diesem Ausführungsbeispiel auf dem Bildschirm 29 ein virtueller Endeffektor 17' eingeblendet, dessen

Orientierung, Position und Öffnungsgrad der Orientierung, Position und dem Öffnungsgrad der steuernden Hand, z. B. 30R, entspricht. Der virtuelle Endeffektor 17' repräsentiert somit den Zustand der steuernden Hand, z. B. 30R. Darüber hinaus wird im Fenster 40 ein weiterer Endeffektor 17" abgebildet, der den

Zustand des gesteuerten Endeffektors 17 darstellt. Der erste virtuelle Endeffektor 17' zeigt dem Benutzer somit einen Ist-Zustand seiner Hand 30R und der weitere Endeffektor 17" den Soll-Zustand der Hand 30R an.

Wie in Fig. 6 gezeigt ist, differieren die Orientierung der Hand 30R und die

Orientierung des Endeffektors 17 um einen Winkel Δω. Um die Orientierung der rechten Hand 30R in Übereinstimmung mit der Orientierung des Endeffektors 17 zu bringen, muss der Benutzer lediglich die Orientierung seiner Hand verändern. Das Robotersystem 1 1 kann dem Benutzer auch zusätzlich anzeigen, wie er seine Hand zu bewegen hat, z. B. durch Einblendung von Pfeilen. Wenn die

Orientierung der Hand 30R mit der Orientierung des Endeffektors 17

übereinstimmt, kann ebenfalls eine Rückmeldung an den Benutzer erfolgen, wie z. B. durch Anzeigen eines Symbols am Bildschirm 29 oder durch farbliches

Hervorheben des virtuellen Endeffektors 17'. Je nach Auslegung des

Robotersystems 1 1 können für die Übereinstimmung der Orientierung Toleranzen angegeben sein. Eine exakte Übereinstimmung ist nicht unbedingt erforderlich.

In analoger Weise kann auch die Orientierung der linken Hand 30L in

Übereinstimmung mit dem linken Endeffektor 21 gebracht werden. Nach dem

Abgleich der Orientierung wird die Gestensteuerung der beiden Endeffektoren 17, 21 freigegeben. Zudem kann das Fenster 40 ausgeblendet werden. Als

Voraussetzung für eine Aktivierung der Gestensteuerung kann vorgesehen sein, dass neben der Orientierung ein oder mehrere weitere Zustände der Hand 30R, 30L mit dem jeweils gesteuerten Endeffektor 17, 21 in Übereinstimmung gebracht werden müssen. So kann beispielsweise vorgesehen sein, dass die

Öffnungsgrade αι_ und oi _R der beiden Hände 30L und 30R in Übereinstimmung mit den Öffnungswinkeln φι_ und >R der beiden Endeffektoren 17, 21 gebracht werden müssen. Der Abgleich der Öffnungsgrade kann analog zum Abgleich der

Orientierung erfolgen, wie vorstehend beschrieben wurde. Demnach wird ermittelt, ob der Öffnungsgrad einer Hand 30L, 30R vom Öffnungsgrad des gesteuerten Endeffektors 17, 21 abweicht. Im Falle einer Abweichung kann der Benutzer wiederum aufgefordert werden, den Öffnungsgrad αι_, O,R seiner Hand 30L, 30R ZU verändern. Nach erfolgter Anpassung kann die Gestensteuerung wiederum automatisch freigegeben werden. Bei dem Abgleich kann zwischen den

Öffnungsgraden αι_ und a _R der beiden Hände 30L und 30R und den

Öffnungswinkeln φι_ und >R der beiden Endeffektoren 1 7, 21 ein Offset definiert werden. Dieser Offset kann z. B. bewirken, dass die Finger nicht ganz

geschlossen werden müssen, um einen Endeffektor zu schließen. Dies ist insbesondere dann hilfreich, wenn mit den Händen ein Hilfselement 35L und 35R geführt wird, und sich dadurch die Finger nicht vollständig schließen lassen.

Voraussetzung für die Aktivierung der Gestensteuerung kann aber auch sein, dass zusätzlich noch die Position Pi _L bzw. Pi _R der steuernden Hand 30L bzw. 30R in Übereinstimmung mit der Position Qi _L bzw. Qi _R des gesteuerten Endeffektors 1 7 bzw. 21 gebracht wird. Das Verfahren zum Abgleich der Position kann wiederum analog zum Abgleich der Orientierung bzw. des Öffnungsgrades erfolgen. Wie in Fig. 6 gezeigt ist, ist die Position des Punktes QI R' des virtuellen Endeffektors 1 7' gegenüber dem Punkt QI R des Endeffektors 1 7 versetzt. Der Versatz kann z. B. durch einen Vektor 39 angezeigt werden. Der Benutzer kann nun die Position seiner Hand verändern, bis sie mit der Position des virtuellen Endeffektors 1 7" übereinstimmt. Die Übereinstimmung kann dem Benutzer wiederum angezeigt werden. Nach dem Abgleich stimmt dann die relative Position der Hände 30L und 30R sowie der Endeffektoren 1 7, 21 zueinander. D. h. wenn sich die Fingerspitzen der linken Hand 30L und der rechten Hand 30R berühren, so sollten sich auch die Spitzen der Endeffektoren 1 7, 21 berühren.

Um die Steuerung des Robotersystems 1 1 so einfach wie möglich zu gestalten und insbesondere eine intuitive Steuerung zu ermöglichen, werden die am

Bildschirm 29 dargestellten Objekte 1 7, 21 , 1 7', 17" vorzugsweise so dargestellt, dass sie einer Handbewegung genau in Richtung der Handbewegung folgen. Bewegt sich eine Hand 30L, 30R beispielsweise in x-Richtung im

Koordinatensystem K _G des Bilderfassungssystems, so bewegt sich das gesteuerte Objekt im Bild, wie z. B. der Endeffektor 1 7 oder der virtuelle Endeffektor 1 7', ebenfalls in x-Richtung im Koordinatensystem K _B des Bildschirms 29.

Entsprechendes gilt für Bewegungen mit einer Komponente in y-Richtung oder z- Richtung. Das Koordinatensystem K _B des Bildschirms 29 ist dabei in der gleichen Richtung orientiert wie das Koordinatensystem K _G des Bilderfassungssystems 25, 28 (die z-Achse zeigt z. B. nach oben und die x-Achse nach rechts). Eine

Handbewegung nach rechts resultiert somit immer auch in einer Bewegung des gesteuerten Objekts 17, 17' am Bildschirm nach rechts, und eine Bewegung nach oben (in z-Richtung), in einer entsprechenden Bewegung des gesteuerten Objekts 17, 17' am Bildschirm nach oben. Die tatsächliche Bewegung des Objekts 17, 21 im Raum unterscheidet sich aber in der Regel von der am Bildschirm 29 angezeigten Bewegung. Um eine solche Darstellung zu realisieren, gibt es grundsätzlich verschiedene Möglichkeiten. Bei dem in den Figuren 1 bis 6 dargestellten Robotersystem 1 1 ist jeder Kamera 22, 23 ein eigenes Koordinatensystem K _K i , K _K 2 zugeordnet. Bei einem Schwenk der Kamera 22 oder 23 schwenkt auch das zugehörige Koordinatensystem K _K i bzw. K _K 2 mit der Kamera mit. Somit kann die Orientierung eines

Kamerakoordinatensystems K _K i bzw. K _K 2 vorgenommen werden, indem die entsprechende Kamera 22 bzw. 23 verstellt wird. Beispielsweise kann Kamera 23 um ihre Achse 42 gedreht werden. Alternativ kann die Orientierung des

Kamerakoordinatensystems K _K i bzw. K _K 2 vom Benutzer mittels der Steuerung 25 durch eine Koordinatentransformation beliebig angepasst werden, so dass die Kamera nicht zwangsweise verstellt werden muss.

Darüber hinaus sollte auch die Ausrichtung der Kamera-Koordinatensysteme K _K i und K _K 2 jeweils in Bezug auf die jeweilige Kamera 22, 23 identisch sein. Die X- Achse des Koordinatensystems K _K i der Kamera 22 und die x-Achse des

Koordinatensystems K _K 2 der in den Patienten 13 eingeführten Kamera 23 können z. B. jeweils in Aufnahmerichtung der jeweiligen Kamera 22, 23 zeigen. Die

Orientierung des Koordinatensystems K _B des Bildschirms 29 stimmt ebenfalls mit der Orientierung der Koordintatensysteme K _K i , K _K 2 überein, wobei das

Koordinatensystem K _B am Bildschirm 29 fix ausgerichtet ist. Beispielsweise zeigt die z-Achse von K _B stets vertikal nach oben und die x-Achse normal zur

Bildschirmfläche in den Bildschirm 29 hinein. Wenn sich ein von der Kamera 23 aufgenommenes Objekt beispielsweise in z-Richtung im Koordinatensystem K _K i bewegt, bewegt sich das Objekt auch am Bildschirm 29 in z-Richtung im

Bildschirm-Koordinatensystem K _B . Das Robotersystem 1 1 erkennt automatisch, wo sich der Endeffektor 17, 21 befindet und steuert diesen entsprechend an. Das für den jeweiligen Endeffektor 17, 21 relevante Koordinatensystem wird

vorzugsweise automatisch geändert, wenn der Endeffektor 17, 21 in den Patienten 13 hinein- oder herausgeführt wird. Dem Erfassungsbereich 36 ist das Koordinatensystem K _G zugeordnet. Dieses Koordinatensystem kann entsprechend dem Koordinatensystem K _B des

Bildschirms 29 ausgerichtet sein, muss aber nicht. Vorzugsweise ist jedoch die y- Achse des Koordinatensystems K _G im Wesentlichen parallel zu der y-Achse des Koordinatensystems K _B des Bildschirms 29 ausgerichtet. Die x-Achse des

Koordinatensystems K _G ist im Wesentlichen in Bezug zum Benutzer frontal nach vorne gerichtet.

Die reale Bewegung eines Endeffektors 17, 21 im Raum stimmt aber in der Regel nicht mit der am Bildschirm 29 angezeigten Bewegungsrichtung und auch nicht mit der Bewegungsrichtung der steuernden Hand 30 _L , 30 _R im Raum überein. Die

Endeffektoren 17, 21 werden nämlich im Kamerakoordinatensystem K _K i bzw. K _K2 gesteuert. Je nachdem, wie die Kamera 22 bzw. 23 ausgerichtet ist, ist auch das Kamerakoordinatensystem K _K i bzw. K _K2 unterschiedlich im Raum ausgerichtet. D. h. eine Handbewegung in z-Richtung des Koordinatensystems K _G bewirkt zwar eine Bewegung des Endeffektors in z-Richtung des jeweiligen

Kamerakoordinatensystems K _K i bzw. K _K2. Die tatsächliche Bewegung des

Endeffektors im Raum hängt dann aber von der Ausrichtung der z-Achse des Kamerakoordinatensystems K _K i bzw. K _K2 im Raum ab. Die Position und Ausrichtung (Orientierung der x-, y- und z-Achsen) der

Koordinatensysteme K _K i und K _K2 sind dem Robotersystem 1 1 bzw. der

Steuereinheit 25 bekannt und können durch eine Koordinatentransformation in ein globales Roboter-Koordinatensystem K _R umgerechnet werden. Folglich können sämtliche physikalischen Größen in jedem der Koordinatensysteme K _K i , K _K2 , K _B , K _G mittels Koordinatentransformation in entsprechende Größen eines anderen

Koordinatensystems umgerechnet werden. Somit könnten z. B. die Positionen der Punkte Qu _. und Q _{I R} durch Vektoren im globalen Roboter-Koordinatensystem K _R beschrieben werden. Ebenso könnten die Positionen der Punkte Qu _. und Q _{I R} vom Roboter-Koordinatensystem K _R in die Koordinatensysteme K _K i und K _K2 der jeweiligen Kameras 22, 23 transformiert werden. Somit kann die Steuerung 25 die Bewegungsgrößen einer Hand 30L, 30R, die im Koordinatensystem K _G erfasst werden, in Steuergrößen für einen Endeffektor 17, 21 umrechnen, der im jeweiligen Kamera-Koordinatensystem K _K i bzw. K _K 2 betätigt wird.

Die Orientierung, Position und der Öffnungswinkel der Endeffektoren 17, 21 können in analoger Weise zur Hand 30L, 30R durch das Bilderfassungssystem 22, 23, 25 ermittelt werden. Der Öffnungswinkel kann beispielsweise durch einen Winkel zwischen den beiden Arbeitselementen festgelegt werden, wie in Fig. 3 dargestellt ist. Die Orientierung der Endeffektoren 17, 21 kann durch die Vektoren V _2L und V ₂ R festgelegt werden und die Position der Endeffektoren 17 und 21 kann durch die Position der Gelenkpunkte Qu _. bzw. Qi _R definiert werden. Wenn, wie zuvor definiert wurde, die Handvektoren Vi _L und VI R jeweils unter dem halben Winkel CIL bzw. CIR zwischen Daumen und Zeigefinger verlaufen, so wird vorteilhafterweise analog dazu definiert, dass die Endeffektor-Vektoren V ₂ L bzw. V ₂ R unter dem halben Öffnungswinkel φι_ bzw. cp _R zwischen den beiden

Arbeitselementen des jeweiligen Hilfselementes 25L bzw. 25R verlaufen. Die einzelnen Größen können in einem beliebigen Koordinatensystem K _K i , K _K2 , K _R beschrieben werden. Auf diese Weise können diversitar redundante Informationen gewonnen werden, die zur Kontrolle miteinander verglichen werden können.

Zur Erkennung der Position, der Orientierung und des Öffnungswinkels eines Endeffektors 17, 21 können die im Robotersystem 1 1 vorhandenen Daten genutzt werden. So kann z. B. die Steuereinheit 25 anhand der Stellung des Roboterarms 14 die Position des Endeffektors 17 bestimmen. Da die Steuereinheit 25 außerdem die Steuerbefehle für die Endeffektoren 17, 21 generiert, sind dieser somit auch die Orientierung und der Öffnungswinkel jedes Endeffektors 17, 21 bekannt. Nach der Aktivierung der Gestensteuerung für einen der Endeffektoren 17, 21 kann der betreffende Endeffektor 17, 21 von Hand betätigt werden. Solange sich die steuernde Hand 30L, 30R im Erfassungsbereich 36 befindet, werden die vom Benutzer ausgeführten Steuervorgaben in entsprechende Steuerbefehle umgesetzt. Bewegt sich jedoch die steuernde Hand 30L bzw. 30R aus dem Erfassungsbereich 36 heraus, wird die Gestensteuerung vorzugsweise

unterbrochen. D. h. der Endeffektor 17, 21 wird gestoppt. Somit kann

ausgeschlossen werden, dass der Endeffektor 17, 21 eine nicht gewünschte Aktion ausführt.

Der betreffende Endeffektor 17, 21 kann wieder aktiviert werden, nachdem ein neuer Abgleichprozess ausgeführt wurde.

Fig. 7 zeigt verschiedene Verfahrensschritte eines Verfahrens zum Steuern des Robotersystems 1 1 der Figuren 1 bis 6. In Schritt S1 werden die Hände 30L, 30R in den Erfassungsbereich 36 hinein bewegt und in Schritt S2 mittels der Kamera 28 erfasst. In Schritt S3 erfolgt die Bestimmung der Orientierung der Hände, wobei die Vektoren Vi _L , VI R festgelegt werden. In Schritt S4 wird die Orientierung der Endeffektoren 17, 21 ermittelt, und die Vektoren V ₂ L, V ₂ R werden festgelegt. In Schritt S5 folgt dann ein Soll-Ist-Vergleich der Orientierungen.

In Schritt S6 wird die Position der Hände 30L und 30R bestimmt, und es werden entsprechende Punkte PI L, PI R festgelegt. Danach folgt in Schritt S7 das

Bestimmen der Position der Endeffektoren, wobei die Punkte P ₂ L und P ₂ R festgelegt werden. In Schritt S8 folgt schließlich ein Soll-Istwert-Vergleich der Positionen.

Schritt S9 beschreibt das Bestimmen des Öffnungsgrades der Finger, wobei die Winkel ai_ und OIR ermittelt werden. Entsprechend werden dann in Schritt S10 die Öffnungswinkel der Endeffektoren 17, 21 ermittelt. In Schritt S1 1 folgt schließlich der Soll-Istwert-Vergleich der Öffnungsgrade bzw. Öffnungswinkel.

Im Falle einer Abweichung der Orientierungen, der Positionen und / oder der Öffnungsgrade wird in Schritt S12 eine Anweisung an den Benutzer ausgegeben, einen Abgleich durchzuführen. Sobald eine Übereinstimmung zumindest eines Ist- Werts mit dem jeweils zugehörigen Soll-Wert erreicht wurde, wird die

Gestensteuerung aktiviert. Das Robotersystem 1 1 erkennt danach die vom

Benutzer ausgeführten manuellen Steuervorgaben und steuert die Endeffektoren 17, 21 entsprechend der Vorgaben. Wenn ein Parameter der Hand 30L oder 30R nicht mehr mit dem jeweiligen

Parameter des Endeffektors 17, 21 übereinstimmt, wird die Steuerung dieses Endeffektors 17, 21 vorzugsweise deaktiviert (Schritt S15). Eine Deaktivierung des Endeffektors 17, 21 erfolgt vorzugsweise auch, wenn sich die steuernde Hand 30L, 30R aus dem Erfassungsbereich 36 heraus bewegt hat.

Der Endeffektor 17, 21 kann wieder aktiviert oder betätigt werden, wenn die Prozedur zur Übereinstimmung der jeweiligen Größen erneut durchlaufen wird. Wurde eine Hand aus dem Erkennungsbereich 36 bewegt, so muss sie zuerst wieder in den Erkennungsbereich 36 hinein bewegt werden (siehe Schritt S1 ). Sofern eine Nicht-Übereinstimmung von zumindest einer Größe der Auslöser der Unterbrechung war, während sich die Hände im Erfassungsbereich 36 befanden, kann unmittelbar mit der erneuten Bestimmung der jeweiligen Größe fortgefahren werden (siehe Schritt S2, S3, S6 und S9).

Die in Fig. 7 gezeigten Schritte können auf einem Speichermedium in der

Steuerung 25 abgelegt sein, so dass die Steuerung 25 es jederzeit ausführen kann.