BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung.

Einige Elektronikhersteller bieten Stifte für elektronische Geräte wie Tablets und Displays an, mit denen der Nutzer auf seinem Gerät zeichnen oder schreiben kann. Im Speziellen beschäftigen sich einige Hersteller schon lange mit der akkuraten Abnahme von Position, Haltung und Bewegung des Stifts als Eingabegerät gegenüber dem elektronischen Gerät. Dadurch können virtuelle Pinselspitzen als 3D-0bjekt simuliert werden, wodurch ein realitätsnahes Verhalten des Zeichengeräts beim Zeichnen ermöglicht wird. Die besagten Systeme basieren dabei auf induktiven Verfahren oder anderweitigen Hardwarelösungen (Accelerometer, Gyrosensor, optisch und magnetisch) und benötigen spezielle Hardware.

Bei dem besagten induktiven Verfahren wird über eine Bildschirm- oder Zeichenoberfläche ein Magnetfeld erzeugt und ein Eingabegerät umfassend zumindest drei Spulen in dem Magnetfeld bewegt. Auf Basis der Ausrichtung der jeweiligen Spulen im Magnetfeld oberhalb der Bildschirm- oder Zeichenoberfläche kann eine Ausrichtung des Eingabegeräts erkannt werden. Beispielsweise ist mit dem Finger als Eingabegerät derzeit keine erweiterte Erfassung von Roll-, Kipp- und Neigeachse und damit von einer Ausrichtung des Fingers gegenüber der Bildschirm- oder Zeichenfläche möglich. Als eine Bewegung um eine Roll-, Kipp- und Neigeachse wird entspricht dabei einer Bewegung und/oder einer Rotation um eine der jeweiligen Achsen eines dreidimensionalen Koordinatensystems, dessen Ursprung sich auf der Bildschirmoberfläche befindet.

Aus folgenden Veröffentlichungen sind verschiedene Eingabeverfahren mittels eines speziellen Eingabegeräts oder einem Finger bekannt.

Aus der DE 11 2013 003647 T5 ist eine Anzeigevorrichtung mit einer Recheneinheit zur Erfassung von Gesten- und Berührungseingaben über einen Berührbildschirm mittels einer Kraftabtastung bekannt. Die .Anzeigevorrichtung weist dabei einen Berührbildschirm mit einem Kraftsensor auf, welcher dazu eingerichtet ist, eine Kraft und einen Kraftschwerpunkt auf der Bildschirmoberfläche zu messen. Wenn sich der Kraftschwerpunkt innerhalb einer Begrenzung befindet, beispielsweise innerhalb der Bildschirmoberfläche, kann bei Überschreiten der Eingabekraft über einen Schwellenwert eine Krafteingabe und eine Berührgeste erkannt und von einer Recheneinheit eine Funktion angesteuert werden.

Aus der DE 10 2011 084 809 A1 sind eine Benutzerschnittstelle und ein Verfahren zur rechnergestützten Ansteuerung der Benutzerschnittstelle bekannt. Dabei werden mittels eines Tokens, welches die Form eines Pucks aufweist und auf der Unterseite einen Barcode aufgedruckt hat, über eine Benutzerschnittstelle beliebige Parameterwerte mittels einer Drehbewegung des Tokens eingestellt. Auf einer Oberfläche eines Berührbildschirms kann das besagte Token aufgelegt werden, wobei auf der dem Benutzer abgewandten Seite der Bildschirmoberfläche eine Aufnahmevorrichtung die Unterseite des Tokens mit dem Barcode erfasst und dabei eine Position und Ausrichtung des Tokens auf dem Berührbildschirm ermittelt. Mittels einer Rotationsbewegung des Tokens kann ein Parameter durch einen Benutzer eingestellt werden. Nachteilig bei den bekannten Verfahren zur Ansteuerung ist, dass eine Benutzereingabe auf ein spezielles Eingabemedium, nämlich das Token, beschränkt ist.

Aus der DE 10 2017 004 860 A1 ist ein System zur Handschrifterkennung in einem Fahrzeug über eine Eingabeoberfläche eines Touchpads mittels einer Kamera und einer Recheneinheit bekannt. Mittels der Kamera wird eine Hand beziehungsweise eine auf das berührungssensitive Eingabeelement gerichtete Handbewegung eines Benutzers erfasst. Die Recheneinheit bestimmt das eingegebene Schriftzeichen dabei mittels eines Formvergleichs zwischen einem in der Datenbank abgelegten Referenzschriftzeichen und dem durch die Kameraeinheit erfassten drehtransformierten Schriftzeichen. Nachteilig bei dem bekannten Verfahren ist, dass nur eine Ausrichtung in einer Kipprichtung der Hand und bezüglich des Touchpads erfasst wird und nicht eine Objektausrichtung in einer Rollrichtung oder in einer Neigerichtung, daher in allen drei Dimensionen.

Nachteilig bei den Lösungen in den oben genannten Veröffentlichungen ist, dass keine dreidimensionalen Berührgesten erfasst werden.

Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug eine Bewegung umfassend eine Rotation und/oder eine Translation eines Eingabegegenstands bezüglich einer Bildschirmoberfläche bereitzustellen.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.

Durch die Erfindung ist ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung umfassend folgende Schritte bereitgestellt: a) Erfassen von Bildern einer Bildfolge einer Oberflächenstruktur eines Eingabeobjekts in einem Eingabebereich an einer benutzerzugewandten Seite einer Bildschirmoberfläche der Anzeigevorrichtung durch eine Aufnahmevorrichtung, wobei der Eingabebereich aus Richtung einer benutzerabgewandten Seite der Bildschirmoberfläche durch die Bildschirmoberfläche hindurch optisch erfasst wird; b) Erkennen durch die Aufnahmevorrichtung, dass eine Oberflächenstruktur in einem Fokus auf der benutzerzugewandten Seite der Bildschirmoberfläche der Aufnahmevorrichtung ist; c) Durchsuchen des ersten Bildes der Bildfolge nach einem Muster in der Oberflächenstruktur des Eingabeobjekts durch eine Recheneinheit; d) Falls ein Muster der Oberflächenstruktur des Eingabeobjekts in den jeweiligen Bildern der Bildfolge erkannt wird, Bestimmen einer Ausrichtung und/oder einer Position des Musters der Oberflächenstruktur des Eingabeobjekts im Eingabebereich durch die Recheneinheit; e) Bestimmen eines Bewegungsvektors des Musters zwischen der jeweiligen Ausrichtung und Position der Oberflächenstruktur zwischen einem Bild und einem dem Bild (4) folgenden Bild der Bildfolge durch die Recheneinheit; f) Steuern der Anzeigefunktion der Anzeigevorrichtung mittels des Bewegungsvektors.

Die Erfindung ist dadurch gekennzeichnet, dass verfolgt wird, wenn das Eingabeobjekt gekippt und/oder geneigt und/oder abgerollt wird, indem durch die Recheneinheit eine beim Kippen und/oder Neigen und/oder Abrollen entstehende Veränderung des Musters in den Bildern der Bildfolge in dem Bewegungsvektor als Kippen und/oder Rollen und/oder Neigen des Eingabeobjekts abgebildet wird.

Mit anderen Worten, die Oberflächenstruktur kann der für die Aufnahmevorrichtung sichtbare Teil des Eingabeobjektes sein. Dabei kann die Oberflächenstruktur ein Muster beinhalten. Wenn das Eingabeobjekt beispielsweise ein Finger ist, kann die Oberflächenstruktur der für die Aufnahmevorrichtung bezüglich der Bildschirmoberfläche sichtbare Teil des Fingers, daher ein Fingerumriss oder die Hautoberfläche des der Bildschirmoberfläche zugewandten Teils des Fingers, sein. Das Muster kann dann ein Abbild eines Tiefenprofils der Hautoberfläche des Fingers sein, wie beispielsweise die Papillarleisten des Fingerkuppe, welche einen Fingerabdruck hinterlassen können. Bei einer Roll-, Kipp- oder Neigbewegung des Fingers auf der Bildschirmoberfläche kann die Aufnahmevorrichtung eine Veränderung des sichtbaren Abbilds des Musters, daher des Fingerabdrucks, erkennen. Die Recheneinheit der Aufnahmevorrichtung kann aus der Veränderung des für die Aufnahmevorrichtung sichtbaren Fingerabdrucks der Papillarleisten und/oder aus einer Veränderung des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur einen Bewegungsvektor des Fingers zum Steuern einer Anzeigefunktion bestimmen.

Die jeweilige Kipp-, Neig- oder Rollbewegung kann eine Rotationsbewegung um eine Koordinatenachse eines dreidimensionalen kartesischen Koordinatensystems umfassen, welches seinen Ursprung auf der Bildschirmoberfläche haben kann. Dabei kann beispielsweise die x-Achse auf der Bildschirmoberfläche der Anzeigevorrichtung in einer Längsrichtung liegen, die y-Achse in einer Querrichtung zur Bildschirmoberfläche und die z-Achse des Koordinatensystems senkrecht auf der Bildschirmoberfläche zur benutzerzugewandten Seite zeigend liegen. Eine Neigbewegung kann beispielsweise eine Rotation des Eingabeobjekts um die y-Achse, eine Kippbewegung kann eine Rotation des Eingabeobjekts um die x-Achse und eine Rollbewegung kann eine Rotation um die z-Achse sein. Beim Durchführen der jeweiligen Bewegung kann nach dem besagten Verfahren ein Bewegungsvektor durch die Recheneinheit bestimmt werden und anhand des Bewegungsvektors auf die jeweilige Kipp-, Neig- oder Rollbewegung des Eingabeobjekts zurückgeschlossen werden.

Ebenfalls kann die jeweilige Kipp-, Neig- oder Rollbewegung eine Kombination mit einer weiteren Kipp-, Neig- oder Rollbewegung oder eine Kombination mit einer Translationsbewegung des Eingabeobjekts auf der Bildschirmoberfläche umfassen.

Die Anzeigevorrichtung kann einen Bildschirm mit einer Bildschirmoberfläche umfassen, über welche eine Berühreingabe mittels des Eingabeobjekts vorgenommen werden kann. Die Bildschirmoberfläche des Berührbildschirms der Anzeigevorrichtung kann dabei eine benutzerzugewandte Seite und eine benutzerabgewandte Seite aufweisen. Auf der benutzerzugewandten Seite der Bildschirmoberfläche kann sich ein Benutzer, welcher beispielsweise mittels eines Fingers als Eingabeobjekt eine Benutzereingabe auf dem Berührbildschirm vornimmt, befinden. Die Anzeigevorrichtung kann ein Berührbildschirm eines mobilen Gerätes, wie beispielsweise ein Smartphone, ein Tablet oder ein Computer, oder ein Berührbildschirm eines Kraftfahrzeugs sein. Das Eingabeobjekt kann dabei beispielsweise ein beliebiger Gegenstand, wie beispielsweise ein Finger einer Hand des Benutzers oder ein Radiergummi, sein. Eine Aufnahmevorrichtung kann sich auf der benutzerabgewandten Seite der Bildschirmoberfläche der Anzeigevorrichtung befinden und optisch die Benutzereingabe auf dem Berührbildschirm durch das Eingabeobjekt erfassen. Die Aufnahmevorrichtung kann dabei im oder hinter dem Display des Berührbildschirms angebracht sein und beispielsweise ein holografisch-optisches Element, eine Displaykamera oder eine Kamera hinter einem transluzentem Display sein.

Durch die Aufnahmevorrichtung wird nun eine Folge von Bildern der benutzerabgewandten Seite der Bildschirmoberfläche aufgenommen. Die Kameravorrichtung der Aufnahmevorrichtung kann dabei einen Fokus aufweisen, welcher sich auf der benutzerzugewandten Seite der Bildschirmoberfläche oder in einem Bereich in der Nähe der benutzerzugewandten Seite der Bildschirmoberfläche eingestellt sein kann. Ein Eingabeobjekt mit einer Oberflächenstruktur, beispielsweise ein Finger mit einem Tiefenprofil, insbesondere ein Papillarleistenmuster für einen Fingerabdruck, kann zum Vornehmen einer Benutzereingabe in den Fokus der Aufnahmevorrichtung in der Nähe der Bildschirmoberfläche auf der benutzerzugewandten Seite geführt werden. Die Oberflächenstruktur kann der für die Aufnahmevorrichtung sichtbare Teil eines beliebigen Eingabeobjekts sein. Dabei kann die Oberflächenstruktur ein Muster umfassen, wobei das Muster auch ein Tiefenprofil, wie beispielsweise das Tiefenprofil des Fingerabdrucks, aufweisen kann.

Dabei ist die Aufnahmevorrichtung dazu eingerichtet, die Oberflächenstruktur des Eingabeobjekts, daher die Oberflächenstruktur des Fingers zu erkennen. Das Erkennen des Musters in der Oberflächenstruktur des Fingers kann durch die Recheneinheit in einem Initialbild als erstes Bild der Bildfolge, ab welchem das sich Eingabeobjekt im Fokus der Aufnahmevorrichtung befin- det, vorgenommen werden. In einem Initialbild als ein erstes Bild der Bildfolge, in welchem eine Oberflächenstruktur des Eingabeobjekts für die Aufnahmevorrichtung sichtbar werden kann, kann durch die Recheneinheit nach einem Muster in der Oberflächenstruktur gesucht werden. Dies kann beispielsweise mittels einer Interpolation oder einer Vektorisierung des jeweiligen Bildes in der Bildfolge erfolgen. Das Initialbild kann ein erstes Bild sein, welches die Aufnahmevorrichtung von der Oberflächenstruktur aufnimmt, und kann als ein Referenzbild für die Bestimmung einer Veränderung des Musters bei einer Roll- und/oder Neig- und/oder Kippbewegung des Eingabeobjekts verwendet werden. Dabei kann die jeweilige Roll-, Kipp- oder Neigebewegung mit einer Translationsbewegung des Eingabeobjekts in einer Ebene parallel zur benutzerzugewandten Bildschirmoberfläche kombiniert werden. Aus der jeweiligen Veränderung des Musters in einem Bild der Bildfolge im Vergleich zum Referenzbild und/oder zu einem vorherigen Bild in der Bildfolge kann die Recheneinheit einen Bewegungsvektor zur der jeweiligen Bewegung berechnen.

Ebenfalls kann die Recheneinheit für die Berechnung des Bewegungsvektors sich im Vergleich zum Referenzbild und/oder zu einem vorherigen Bild in der Bildfolge verändernde Bildgrößen, wie beispielsweise Kontrast, Bildschärfe oder Skalierung, verwenden.

Dabei kann für die Kameravorrichtung die Oberflächenstruktur, welche sich gegenüber der benutzerzugewandten Seite der Bildschirmoberfläche befindet, ebenfalls ein Tiefenprofil der Oberflächenstruktur sichtbar sein. Die Kameravorrichtung der Aufnahmevorrichtung kann dazu eingerichtet sein, das Tiefenprofil der Oberflächenstruktur zu erkennen, wie beispielsweise der Fingerabdruck eines Fingers oder eine raue Oberfläche eines Eingabestiftes.

Das Muster kann dabei markante Punkte oder eine Verbindung der markanten Punkte der Oberflächenstruktur aufweisen. Beispielsweise kann das Muster eine Anzahl von markanten Leisten des Fingerabdrucks des jeweiligen Fingers umfassen. Wird beispielsweise ein Finger seiner Länge nach auf die Bildschirmoberfläche gelegt, kann das erkannte Muster beispielsweise der Fingerabdruck und die Oberflächenstruktur der für die Aufnahmevorrichtung sichtbare Teil des Körpers des Fingers sein. Falls ein Muster in der Oberflächenstruktur des einen Objekts, beispielsweise die markanten Leisten, erfasst wird, kann eine Ausrichtung und/oder eine Position des Musters und damit des Eingabeobjekts im Eingabebereich des Berührbildschirms durch die Recheneinheit erkannt werden.

Liegt beispielsweise zu dem erkannten Muster ein gespeichertes Muster in einem Speicher der Recheneinheit vor, so kann anhand der Differenz zwischen dem erkannten Muster und dem gespeicherten Muster ein Bewegungsvektor durch die Recheneinheit bestimmt werden und damit eine Ausrichtung des Eingabeobjekts im Eingabebereich des Berührbildschirms. Dabei kann das gespeicherte Muster ein vor der Eingabe abgespeichertes Muster oder ein in einem Initialbild der Bildfolge angelerntes Muster sein. Ebenfalls kann anhand des Musters eine Position des Eingabeobjekts im Eingabebereich erfasst werden. Ebenfalls kann unabhängig von dem Muster eine Position des Eingabeobjekts im Eingabebereich bestimmt werden. Die Aufnahmevorrichtung kann dazu ausgelegt sein, aus einer optisch erfassten Oberflächenstruktur eines beliebigen, nicht reflektierenden oder transparenten Eingabeobjekts, zu erfassen. Das Muster kann beispielsweise aus einem Umfang oder einem Umriss des Teils der Oberflächenstruktur des Eingabeobjekts sein, welcher für die Aufnahmevorrichtung sichtbar ist.

Aus der Veränderung der Ausrichtung und/oder Position des Musters zwischen zumindest einem ersten Bild der Bildfolge nach dem Initialbild und einem auf das erste Bild folgende zweite Bild der Bildfolge kann die Recheneinheit einen Bewegungsvektor des Eingabeobjekts bestimmen. Mittels des Bewegungsvektors kann die Recheneinheit eine Anzeigefunktion der Anzeigevorrichtung steuern.

Alternativ kann aus der Ausrichtung des Musters eine Rotation des Musters um eine Normalachse des Eingabeobjekts bezüglich der Bildschirmoberfläche und damit eine Rotation des Eingabeobjekts zum Steuern der Anzeigefunktion bestimmt werden. Hierdurch ergibt sich der Vorteil, dass ein beliebiger Gegenstand als Eingabeobjekt für eine Eingabe über einen Berührbildschirm verwendet werden kann, sofern der Gegenstand einen entsprechende Lichtundurchlässigkeit und eine nicht reflektierende Oberflächenstruktur aufweist. Beispielsweise kann dies ein Finger oder ein Stift sein. Dazu wird eine 3D-Eingabe mit allen Freiheitsgraden (Rotation, Translation, gegebenenfalls Druck und Höhe) und damit neue Bedienansätze ermöglicht. Des Weiteren ist kein weiteres Eingabegerät mitzuführen und ein eventueller Verlust des Eingabegeräts unerheblich, da als Eingabegerät auch beispielsweise ein Finger verwendet werden kann und damit Platz gespart werden kann.

Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.

Eine Ausführungsform sieht vor, dass das Muster in einem oder mehreren Initialbildern der Bildfolge angelernt wird. Mit anderen Worten, ist die Oberflächenstruktur des Eingabeobjekts für die Recheneinheit unbekannt, so kann die Recheneinheit in dem durch die Aufnahmevorrichtung erfassten Initialbild der Oberflächenstruktur eine Mustererkennung mittels Bildverarbeitung durchführen. Dies kann beispielsweise mittels einem Initialbild oder mehreren Initialbildern erfolgen, wenn im ersten Bild alleine von der Recheneinheit noch kein Muster erfolgreich erkannt werden konnte. Als Referenzbild zur Bestimmung der sich verändernden Bildgrößen, wie beispielsweise Kontrast, Bildschärfe oder die Skalierung, kann das erste Bild genommen werden, in welchem von der Recheneinheit ein Muster in der Oberflächenstruktur erkannt wurde. Hierdurch ergibt sich der Vorteil, dass beliebige Objekte, welche optisch erfasst werden können, als Eingabegeräte verwendet werden können.

Die Recheneinheit kann dazu eingerichtet sein, aus einer beliebigen Oberflächenstruktur ein Muster zu erkennen und anhand der Veränderung des Musters einen Bewegungsvektor des Eingabegeräts zu bestimmen. So sieht eine Ausführungsform vor, dass eine Bestimmung des Bewegungsvektors ein Auswerten einer Veränderung einer Bildschärfe und/oder eines Kontrasts und/oder einer Skalierung des Musters und/oder eines für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur des Eingabeobjekts in den Bildern der Bildfolge umfasst. Mit anderen Worten, die Recheneinheit kann in der Berechnung des Bewegungsvektors eine Veränderung des Musters in den jeweiligen Bildern der Bildfolge berücksichtigen. Die Bildgrößen können dabei eine Veränderung des Kontrasts und/oder eine Veränderung der Bildschärfe und/oder der Skalierung des Musters in einem Bild der Bildfolge im Vergleich zum vorherigen Bild in der Bildfolge und/oder zum Referenzbild sein.

Ergänzend oder alternativ zur Muster kann die Recheneinheit eine Bewegung aus einer Veränderung des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur für das jeweilige Bild der Bildfolge im Vergleich zum vorherigen Bild in der Bildfolge und/oder zum Referenzbild ermitteln.

Wird beispielsweise der auf der Bildschirmoberfläche aufliegende Finger aufgerichtet, so dass der Finger die Bildschirmoberfläche nur mit der Fingerspitze berührt, so kann an der Stelle, an der vor der Aufrichtung des Fingers der Körper des Fingers auf der Bildschirmoberfläche auflag, eine Veränderung des Kontrasts und/oder der Bildschärfe des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur des Fingers im Vergleich zum Referenzbild entstehen. Beispielsweise kann die Aufnahmevorrichtung eine Kontrastveränderung beim Aufrichten des Fingers erkennen und daraus einen Bewegungsvektor des Fingers ergänzend oder alternativ zur entsprechenden Veränderung des Musters, wie beispielsweise ein Fingerabdruck, bestimmen. Wenn beispielsweise ein auf der Bildschirmoberfläche liegender Finger aufgerichtet wird, so dass der Finger nach dem Aufrichten nur noch mit der Fingerspitze die Bildschirmoberfläche berührt, kann die Recheneinheit den Bewegungsvektor des Fingers mittels der Veränderung der Bildwerte des von der Recheneinheit erkannten Fingerabdrucks als Muster in den jeweiligen Bildern und/oder in der Veränderung des sichtbaren Teils der Oberflächenstruktur während der Bewegung des Aufrichtens berechnen. Die beim Aufrichten des Fingers entstehenden Veränderung des Musters und/oder des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur kann von der Recheneinheit mittels einer Veränderung der Bildgrößen der jeweiligen Bilder des sichtbaren Teils der Oberflächenstruktur umfassend den Kontrast und/oder die Bildschärfe und/oder die Skalierung bestimmt werden. Aus der Veränderung der jeweiligen Bildgröße oder einer Kombination der Bildgrößen der jeweiligen Bilder der Bildfolge kann die Recheneinheit einen Bewegungsvektor des Eingabeobjekts bestimmen.

Hierdurch ergibt sich der Vorteil, dass auf eine Bewegung in Richtung der Freiheitsgrade bezüglich der Rotation um die Achsen des jeweiligen dreidimensionalen Koordinatensystems durch die Recheneinheit bestimmt werden kann. Ebenfalls kann durch die Verwendung der Veränderung besagen Bildwerte in Kombination eine redundante Bestimmung der jeweiligen 3D- Eingabe durch das Eingabeobjekt erfolgen.

Nach der erfolgreichen Erkennung des Musters durch die Recheneinheit der Aufnahmevorrichtung kann durch die Recheneinheit ein Bewegungsvektor bestimmt werden. Eine Ausführungsform sieht nun vor, dass das Steuern der Anzeigefunktion der Anzeigevorrichtung nur nach einem Erkennen eines gespeicherten, autorisierten Musters der Oberflächenstruktur des Eingabeobjekts in einem Bild aus der Bildfolge erfolgt. Mit anderen Worten, nur nach einem Erkennen eines bestimmten, gespeicherten und autorisierten Musters durch die Recheneinheit kann das Steuern der Anzeigefunktion ausgelöst werden. Beispielsweise kann nach einem Erkennen eines Fingerabdrucks, welcher vorher in einem Speicher der Recheneinheit als ein autorisierender Fingerabdruck gespeichert wurde, das Steuern der Anzeigefunktion durch die Recheneinheit autorisieren. Daher kann beispielsweise nur ein Benutzer mit seinem spezifischen Fingerabdruck eine Anzeigefunktion der Anzeigevorrichtung steuern. Hierdurch ergibt sich der Vorteil, dass eine Codierung der Eingabe mittels eines Fingerabdrucks oder eines spezifischen Merkmals einer Oberflächenstruktur erfolgen kann. Ebenfalls ergibt sich hierdurch der Vorteil, dass bestimmte Anzeigefunktionen von einem bestimmten, erkannten Muster ausgelöst werden können. Eine Ausführungsform sieht nun vor, dass zumindest eine Anzeigefunktion jeweils zumindest einem Muster des Eingabeobjekts zugeordnet wird. Mit anderen Worten, einem bestimmten, zuvor gespeicherten Muster kann eine bestimmte Anzeigefunktion zugeordnet werden. Beispielsweise kann mittels des Fingerabdrucks des Zeigefingers eine Funktion eines Malens oder Zeichnens ausgelöst werden und bei Erkennen des Fingerabdrucks des kleinen Fingers eine Funktion eines virtuellen Radierens. Hierdurch ergibt sich der Vorteil, dass nach einem Muster eine Codierung der Anzeigefunktion vorgenommen werden kann.

Ebenfalls kann die 3D-Eingabe durch das Eingabeobjekt mit einem weiteren Parameter erweitert werden. So sieht eine Ausführungsform vor, dass das Erfassen des jeweiligen Bildes der Bildfolge in Kombination mit einem Drucksensor auf der Bildschirmoberfläche erfolgt, wobei der Drucksensor einen Druck einer Eingabe durch das Eingabeobjekt misst und das Erfassen des jeweiligen Bildes der Bildfolge bei Überschreiten des Drucks über einen Schwellenwert ausgelöst wird oder zumindest eine Ansagefunktion einem Wert des gemessenen Drucks zugeordnet wird. Mit anderen Worten, der Berührbildschirm der Anzeigevorrichtung kann einen Drucksensor umfassen, welcher einen Druck und/oder einen Druckschwerpunkt messen kann. Wenn eine Eingabe mittels des Eingabeobjekts auf der Bildschirmoberfläche vorgenommen wird, so kann die Eingabe mit einem Druck verbunden werden. Beispielsweise kann es bei Überschreiten des durch den Drucksensor gemessenen Drucks der Eingabe eine Anzeigefunktion ausgelöst werden. Hierdurch ergibt sich der Vorteil, dass beispielsweise eine Fehleingabe, welche beispielsweise durch eine Fliege auf der Bildschirmoberfläche ausgelöst werden könnte, vermieden werden kann. Ebenfalls kann eine Anzeigefunktion mit einem Wert des Drucks verbunden und dieser zugeordnet werden. Beispielsweise kann bei Überschreiten des Drucks der Eingabe über einen ersten Schwellenwert das Zeichnen eines dünnen Strichs ausgelöst werden und bei Überschreiten des Drucks über einen zweiten Schwellenwert, welcher größer ist als der erste Schwellenwert, das Zeichen eines fetten, vom dünnen Strich verschiedenen Strichs erfolgen. Hierdurch ergibt sich der Vorteil, dass mittels der Kombination der 3D-Eingabe mit einem Druck ein erweitertes Spektrum von Anzeigefunktionen zugeordnet werden kann.

Ebenfalls kann eine Anzeigefunktion einem optischen Marker zugeordnet werden. So sieht eine Ausführungsform vor, dass das Muster des Eingabeobjekts zumindest einen optischen Marker umfassend zumindest ein Muster zum Steuern jeweils einer Anzeigefunktion umfasst. Mit anderen Worten, als Eingabeobjekt kann beispielsweise einen Eingabestift für die Bedienung eines Tabletcomputers verwendet werden. Der Stift kann dabei einen Marker umfassen, welcher beispielsweise als ein QR-Code ausgeführt sein kann. Wird ein spezifischer QR-Code durch die Recheneinheit der Aufnahmevorrichtung auf der Bildschirmoberfläche erkannt, so kann beispielsweise eine Radierfunktion durch den QR-Code ausgelöst werden. Ebenfalls kann einem ersten QR-Code eine Radierfunktion als Anzeigefunktion zugeordnet, einem zweiten QR-Code ein Zeichnen von dünnen Linien und einem dritten QR- Code ein Zeichnen von fetten Linien zugeordnet werden. Ebenfalls kann durch einen QR-Code eine Veränderung eines fahrzeugspezifischen Parameters zugeordnet werden. Beispielsweise kann eine Veränderung einer Klimaanlagentemperatur einem bestimmten QR-Code zugeordnet werden.

Dabei können die optischen Marker auch anatomische Merkmale eines Körpergegenstandes, wie beispielsweise eines Fingerabdrucks eines spezifischen Fingers, wie beispielsweise den eines Mittelfingers, verwendet werden. So kann beispielsweise nur mittels des Fingerabdrucks des Mittelfingers eine Klimaanlagentemperatur eingestellt werden und mittels des Fingerabdrucks eines Zeigefingers eine Navigationsfunktion bedient werden. Hierdurch ergibt sich der Vorteil, dass eine Anzeigefunktion ebenfalls durch bestimmte optische Marker des Eingabeobjekts erweitert werden kann.

Eine Ausführungsform sieht eine Recheneinheit vor, welche dazu eingerichtet ist, das oben beschriebene Verfahren zur Erkennung einer Bewegung eines Eingabegegenstandes gegenüber einer Anzeigevorrichtung durchzuführen. Eine Ausführungsform sieht eine Aufnahmevorrichfung mit einer Recheneinheit vor, welche dazu eingerichtet ist, das oben beschriebene Verfahren durchzuführen.

Ebenfalls sieht eine weitere Ausführungsform eine Anzeigevorrichtung mit der besagten Aufnahmevorrichfung und der Recheneinheit vor. Die Anzeigevorrichtung kann ein Berührbildschirm eines mobilen Gerätes, wie beispielsweise ein Smartphone, ein Tablet oder ein Computer, oder ein Berührbildschirm eines Kraftfahrzeugs sein.

Eine Ausführungsform sieht ein Kraftfahrzeug mit der Recheneinheit oder der Aufnahmevorrichfung und der Recheneinheit vor.

Die Erfindung umfasst auch die Kombinationen und Merkmale der beschriebenen Ausführungsformen.

Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

Fig. 1 eine schematische Darstellung eines Längsschnitts der Anzeigevorrichtung,

Fig. 2 eine schematische Darstellung des Verfahrens zum Steuern der Anzeigefunktion der Anzeigevorrichtung,

Fig. 3 eine Perspektive der Aufnahmevorrichtung auf das Eingabeobjekt von einer benutzerabgewandten Seite der Bildschirmoberfläche, und

Fig. 4 eine Zuordnung einer Anzeigefunktion zu einer Gestik.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.

Fig. 1 zeigt eine Seitenansicht der Anzeigevorrichtung 1 . Die Anzeigevorrichtung 1 weist dabei einen Berührbildschirm mit einer benutzerzugewandten Bildschirmoberfläche 2 und einer benutzerabgewandten Bildschirmoberfläche 2‘ auf. Die Anzeigevorrichtung 1 kann dabei beispielsweise ein Berührbildschirm sein. Die Anzeigevorrichtung 1 weist zwei optische Trägermedien 21 und 23 auf, wobei das optische Trägermedium 21 das benutzerseitige Trägermedium und das Trägermedium 23 das benutzerabgewandte Trägermedium ist. Zwischen den Trägermedien 21 und 23 befindet sich ein holografisch-optische Schicht 22.

Die Anzeigevorrichtung 1 umfasst weiterhin einen Erfassungsbereich 13 und eine Aufnahmevorrichtung 3 bestehend aus einem Aufnahmebereich 32, einer Kameravorrichtung 31 und einer Recheneinheit 5. Der Erfassungsbereich 13 kann beispielsweise eine Bildschirmfläche sein, auf welcher Berühreingaben durch den Benutzer vorgenommen werden können. Die Aufnahmevorrichtung ist dabei derart ausgelegt, dass die Kameravorrichtung der Aufnahmevorrichtung in einem vorher eingestelltem, zeitlichen Abstand jeweils ein Bild von der benutzerzugewandten Seite der Bildschirmoberfläche 2 aufnimmt. Dabei wird in der Recheneinheit jeweils ein Bild 4 der Bildfolge 14 verarbeitet. Die Bildfolge 14 besteht dabei aus einem Initialbild 4’ als ein erstes Bild der Bildfolge und einem auf das Initialbild folgende zumindest eine Bild 4.

Die Aufnahmevorrichtung 3 nimmt ein Bild der Oberflächenstruktur 7 des Eingabeobjekts 6 auf, welches sich in dem Eingabebereich 13 der Aufnahmevorrichtung 3 in dem Fokus 15 oberhalb oder auf der Bildschirmoberfläche 2 befindet. Das Eingabeobjekt 6 ist hier der Finger eines Benutzers. Der Finger des Benutzers weist dabei eine Oberflächenstruktur 7, wie beispielsweise die der Bildschirmoberfläche 2 zugewandten Seite des Eingabeobjekts 6, und einem Fingerabdruck als Muster 11 in der Oberflächenstruktur 7 auf. Zur Orientierung befindet sich neben der Aufnahmevorrichtung 3 ein kartesisches Koordinatensystem, wobei sich die x-Achse in der Längsrichtung der Anzeigevorrichtung 1 , die y-Achse in der Querrichtung der Anzeigevorrichtung 1 und die z-Achse vertikal zur Anzeigevorrichtung 1 befinden. Analog dazu sind in dem Eingabeobjekt 6 eine Längsachse 17 und eine Querachse 18 zur Beschreibung der Bewegung des Eingabeobjekts 6 gezeichnet. Dabei bewegt sich die Längsachse 17 parallel zur x-Achse des kartesischen Koordinatensystems und die Querachse 18 parallel zur y-Achse.

Die Aufnahmevorrichtung 3 ist derart bezüglich der Anzeigevorrichtung 1 eingerichtet, dass diese ein Bild von der benutzerzugewandten Seite der Bildschirmoberfläche 2 mittels der holographisch-optischen Schicht aus der Perspektive einer an der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ angeordneten Kameravorrichtung aufnimmt. In der Fig. 1 ist dies dabei als eine holografisch-optische Erfassungseinrichtung dargestellt. Über den Erfassungsbereich 13 wird ein Bild der Oberflächenstruktur 7 des Eingabeobjekts 6 gezeigt und das Licht 28 mittels des Bildes des Eingabeobjekts 6 durch die holografisch-optische Schicht 22 mittels einer jeweiligen Gitterstruktur im Erfassungsbereich 13 und im Aufnahmebereich 32 der Aufnahmevorrichtung 3 gebrochen und durch das Trägermedium 21 und 23 jeweils durch interne Reflexion zur Kameravorrichtung 31 der Aufnahmevorrichtung 3 geleitet. Die holografisch-optische Schicht bricht dabei das Licht 28 und leitet es aus dem Trägermedium 23 in die Kameravorrichtung 31 der Aufnahmevorrichtung 3.

Die Kameravorrichtung 31 ist nun dazu eingerichtet, in zumindest einem bestimmten zeitlichen Abstand jeweils ein Bild 4 einer Bildfolge 14 des Erfassungsbereichs 13 fortlaufend aufzunehmen. Dabei betrachtet die Kameravorrichtung 31 den Eingabebereich 13 über die Trägermedien 21 und 23 analog zu der Weise eines Periskops, mit welchem man von unten die benutzerzugewandte Seite der Bildschirmoberfläche sehen kann. Das Blickfeld in der Kameravorrichtung 31 ist dabei der gesamte Erfassungsbereich 13, welcher beispielsweise eine Bildschirmoberfläche 2 eines Bedienbereichs der Anzeigevorrichtung 1 sein kann. Ergänzend oder alternativ kann der Erfassungsbereich 13 auch eine Zeichenfläche, wie beispielsweise ein Touchpad, sein.

Die Kameravorrichtung 31 ist nun dazu ausgelegt, in zumindest einem vorbestimmten zeitlichen Abstand jeweils ein Bild 4 einer Bildfolge 14 aufzunehmen. Dabei werden die jeweiligen Bilder 4‘ und 4 der Bildfolge 14 der Kameravorrichtung 31 durch die Recheneinheit 5 ausgewertet und ein Initialbild 4‘ und/oder ein Bild 4 gespeichert. Erkennt die Recheneinheit 5 der Aufnahmevorrichtung 3 in einem Initialbild 4‘ der Kameravorrichtung 31 eine Oberflächenstruktur im Bereich des Fokus 15, so ist das erste Bild 4, in welchem die Oberflächenstruktur 7 des Eingabeobjekts 6 erkannt wird, das Initialbild 4‘ der Bildfolge 14. Das Erkennen der Oberflächenstruktur 7 durch die Kameravorrichtung 31 erfolgt dabei durch ein erstes Auflegen des Eingabeobjekts 6, also des Fingers, auf die benutzerzugewandte Bildschirmoberfläche 2 im Eingabebereich 13. Die Recheneinheit 5 durchsucht das Initialbild 4‘ nach einem Muster 11 in der Oberflächenstruktur 7.

Als das Muster 11 kann im dargestellten Fall der Fingerabdruck des Fingers von der Recheneinheit 5 erkannt werden und das Initialbild 4‘ mit dem erkannten Fingerabdruck als Referenzbild gespeichert werden. Anhand des Musters 11 im Initialbild 4‘ kann nun eine Ausrichtung und eine Position des Eingabeobjekts 6 im Eingabebereich 13 erfolgen, beispielsweise ob der Finger unten rechts oder oben links im Eingabebereich positioniert ist. Nun wird in den folgenden Bildern 4 der Bildfolge 14 eine Veränderung des Musters 11 durch die Recheneinheit 5 bezüglich des Initialbildes 4‘ und/oder bezüglich eines zu einem Bild 4 in der Bildfolge 14 vorangegangenen Bildes 4 bestimmt. Aus der Differenz der Ausrichtung und Position bei einer Bewegung des Eingabeobjekts 6 in den jeweiligen Bildern 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor des Eingabeobjekts 6 bestimmen. Der Bewegungsvektor 16 kann in dem dargestellten Fall beispielsweise eine Kippbewegung sein, welches ein Rotieren des Eingabeobjekts 6um die y-Achse, daher um seine Querachse 18, entspricht. Aus der Perspektive der Kameravorrichtung 31 , welche sich auf der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ befindet, wird als ein Verschwinden der unteren Hälfte 11 ' des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' wahrgenommen, woraus die Recheneinheit 5 bestimmen kann, dass eine Kippbewegung des Eingabeobjekts 6 analog zu dem Bewegungsvektor 16 vorliegt. Dabei kann das Verschwinden der unteren Hälfte 11 ' des Musters 11 über mehrere Bilder 4 der Bildfolge 14 verteilt aufgenommen werden. Aus der Veränderung des Musters 11 in den jeweiligen Bildern 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 bestimmen.

Ergänzend oder alternativ kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 mittels einer Veränderung des Kontrasts und/oder der Bildschärfe des für die Aufnahmevorrichfung sichtbaren Teils der Oberflächenstruktur des Fingers in den Bildern 4 im Vergleich zum Referenzbild und/oder zu einem zum Bild 4 in der Bildfolge vorangegangenen Bild 4 bestimmen. Im Bild 4 kann die Aufnahmevorrichtung 3 eine Kontrastveränderung in der unteren Hälfte 1 T des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' beim Aufrichten des Fingers erkennen und daraus den Bewegungsvektor 16 des Fingers bestimmen.

Ergänzend oder alternativ zur Kontrastveränderung der unteren Hälfte 1 T des Musters 11 im Bild 4 kann die Recheneinheit 5 eine Veränderung der Bildschärfe und/oder die Skalierung des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' und/oder zu einem zum Bild 4 in der Bildfolge vorangegangenen Bild 4 zur Bestimmung des Bewegungsvektors 16 verwenden. Aus der Veränderung der jeweiligen Bildgröße oder einer Kombination der Bildgrößen der jeweiligen Bilder 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 bestimmen.

In Fig. 2 ist das Verfahren zum Steuern der Anzeigefunktion schrittweise dargestellt. In einem ersten Schritt S1 werden Bilder 4' und 4 einer Bildfolge 14 durch die Aufnahmevorrichtung 3 der benutzerzugewandten Seite der Bildschirmoberfläche 2 der Anzeigevorrichtung 1 aufgenommen. Es wird nun in einem zweiten Schritt S2 eine Oberflächenstruktur 7 des Eingabeobjekts 6 in einem Fokus 15 auf der benutzerzugewandten Seite der Bildschirmoberfläche 2 der Aufnahmevorrichtung 3 erkannt. Dies kann beispielsweise durch das Erkennen eines Umrisses der Oberflächenstruktur 7 oder eines Schwellenwertes für einen Kontrastabfall des für die Aufnahmevorrichtung 3 sichtbaren Teils der Oberflächenstruktur 7 in einem Bild 4 der Bildfolge 14 als Auslöser für das Erkennen einer Benutzereingabe von der Recheneinheit 5 verwendet werden. Wird nun die Oberflächenstruktur 7 des Eingabeobjekts 6 erkannt, so sucht die Recheneinheit 5 in dem ersten Bild 4 der Bildfolge 14, dem sogenannten Initialbild 4‘, nach einem Muster 11 in der Oberflächenstruktur 7. Wird in dem Initialbild 4‘ von der Recheneinheit 5 kein Muster 11 in der Oberflächenstruktur 7 erkannt, kann die Suche nach dem Muster 11 im nächsten Bild 4 bis zu einer geeigneten maximalen Anzahl von Bildern 4 fortgesetzt werden. Das Initialbild 4‘ wird als Referenzbild von der Recheneinheit 5 gespeichert.

Falls in dem zweiten Schritt S2 die Recheneinheit 5 kein Muster 11 in der Oberflächenstruktur 7 oder keine geeignete Oberflächenstruktur 7, beispielsweise wenn die Kontrastveränderung des sichtbaren Teils der Oberflächenstruktur 7 einen Schwellenwert unterschreitet, erkennt, so geht die Recheneinheit 5 zu Schritt S1 zurück. Wenn jedoch die Recheneinheit 5 ein Muster 11 in der Oberflächenstruktur 7 erkennt oder der sichtbare Teil der Oberflächenstruktur 7 einen Schwellenwert für eine Kontrastveränderung überschreitet, so geht das Verfahren in dem dritten Schritt S3 weiter.

Für das Muster 11 wird nun durch die Recheneinheit 5 in dem Schritt S3 eine Ausrichtung 8 und/oder eine Position 9 des Eingabeobjekts 6 im Eingabebereich 13 bestimmt. Beispielsweise kann dies zunächst eine bestimmte Position im Eingabebereich 13 auf der benutzerzugewandten Bildschirmoberfläche 2 sein. Im Rahmen des Schrittes S3 werden nun weitere Bilder 4 der Oberflächenstruktur 7 durch die Aufnahmevorrichtung 3 aufgenommen, welche von der Recheneinheit 5 mit dem Initialbild 4‘ und/oder mit einem zum Bild 4 in der Bildfolge 14 vorangegangenen Bild 4 verglichen werden. Aus der Differenz des Musters 11 und/oder der Differenz der Bildwerte wie beispielsweise Kontrast, Bildschärfe und oder Skalierung des Musters und/oder des sichtbaren Teils der Oberflächenstruktur 7 der jeweiligen Bilder 4 und 4‘ wird durch die Recheneinheit 5 ein Bewegungsvektor 16 des Eingabeobjekts 6 bestimmt.

Aus dem berechneten Bewegungsvektor 16 wird nun in einem vierten Schritt S4 eine Anzeigefunktion der Anzeigevorrichtung 1 gesteuert. Beispielsweise kann, wenn der Bewegungsvektor 16 eine Kippbewegung darstellt, also wenn beispielsweise der Finger mit der Fingerspitze auf die Bildschirmoberfläche der Anzeigevorrichtung 1 gesetzt wird und dabei die Hand nun entgegen der Anzeigeoberfläche kippt, eine Einstellung für ein Zeichnen verändert werden, die das Zeichnen beispielsweise von einer anfangs dünnen Linie zu einer fetten Linie verändert.

Fig. 3 zeigt nun eine Ansicht der Bildschirmoberfläche 2 aus der Perspektive der Kameravorrichtung 31 der Aufnahmevorrichtung 3, wobei die Kameravorrichtung 31 die benutzerzugewandte Seite der Bildschirmoberfläche 2 aus Sicht der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ sieht. Zu sehen ist nun die Bildschirmoberfläche 2, das Eingabeobjekt 6 mit der Oberflächenstruktur 7 und dem Muster 11 . Zur Orientierung ist auch weiterhin das entsprechend in der Perspektive gedrehte kartesische Koordinatensystem dargestellt. Die Kameravorrichtung 31 blickt von unten durch ein Display der Anzeigevorrichtung 1 auf den Finger als Eingabeobjekt 6. Ferner sind die Längsachse 17 und die Querachse 18 des Eingabeobjekts 6 dargestellt.

Nun soll gezeigt werden, wie aus einer Veränderung des Musters 11 der Oberflächenstruktur 7 ein Bewegungsvektor 16 des Eingabeobjekts 6 durch die Recheneinheit 5 bestimmt werden kann. Ab dem Initialbild 4‘ nimmt die Kameravorrichtung 31 der Aufnahmevorrichtung 3 ein Initialbild 4‘ der Oberflächenstruktur 7 auf und durchsucht diese nach einem Muster 11 . Zu dem Initialbild 4‘ als Referenzbild wird dabei ein Wert einer Bildschärfe, einer Skalierung, eines Kontrastes sowie des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur 7 gespeichert. Dies kann beispielsweise der Umriss des Fingers 6 im Bild a) sein. Die Bildwerte werden dabei durch die Kameravorrichtung 31 für jeden Bildpunkt des Initialbilds 4‘ erfasst.

Für die jeweiligen Bewegungen des Fingers werden nun drei beispielhafte Möglichkeiten gezeigt:

Im Bild a) wird eine Rollbewegung des Eingabeobjekts 6 durchgeführt. Der Finger rotiert dabei um die z-Achse. Wird nun das Eingabeobjekt 6 um die z- Achse gedreht, so findet keine Veränderung des Kontrastes und der Bildschärfe statt, da sich der Finger als Eingabeobjekt 6 im selben Fokus 15 der Kameravorrichtung 31 befindet, also sich nicht von einer Ebene parallel zur Bildschirmoberfläche 2 entfernt. Ebenfalls verändert sich die Skalierung des Musters 11 und des sichtbaren Teils 6‘ der Oberflächenstruktur 7, hier der Umriss des Fingers, nicht. Dabei kann die Recheneinheit 5 erkennen, ob das Eingabeobjekt 6 in derselben Ebene bezüglich der Bildschirmoberfläche bleibt. Aus der Veränderung der Ausrichtung des Musters 11 , ergänzend einem unveränderten Kontrast, einer unveränderten Bildschärfe des Musters 11 und/oder ergänzend des sichtbaren Teils 6‘ der Oberflächenstruktur 7 kann die Recheneinheit 5 eine Rotation des Eingabeobjekts 6 in einem Bild 4 im Vergleich zum Initialbild 4‘ erkennen.

Im Bild a) wird die Textur des Eingabeobjekts 6 im Uhrzeigersinn rotiert. Es findet keine Skalierung oder Kontraständerung statt. Die Fingerkuppe rotiert um ihre Hochachse z.

Im Bild b) soll nun eine Kippbewegung des Eingabeobjekts 6, daher eine Rotation um die y-Achse, dargestellt werden. Für die Kameravorrichtung 31 ist nun die Oberflächenstruktur 7 als Fingerspitze erkennbar, welche das Muster 11 als Fingerabdruck aufweist. Die Hand 19 zur Orientierung kann dabei für die Kameravorrichtung 31 eigentlich sichtbar sein oder auch nicht. Die Kameravorrichtung 31 nimmt nun die in Bild b) dargestellte Ansicht als ein Bild 4 auf und kann eine Differenz zu dem Initialbild 4‘ berechnen. Dabei kann die Recheneinheit 5 eine Veränderung des Musters 11 und des für die Kameravorrichtung 31 sichtbaren Teils Oberflächenstruktur 7 erkennen. Durch eine Veränderung des Kontrastes des sichtbaren Teils der Oberflächenstruktur 7‘ kann die Recheneinheit 5 erkennen, dass sich der besagte Teil der Oberflächenstruktur 7‘ von einer Ebene parallel zur Bildschirmoberfläche 2 entfernt. Es dabei eine Kontraständerung in den besagten Bereichen statt, wobei das Muster 11 linear transformiert wird. Aus den entsprechenden Veränderungen des Musters 11 und des Kontrastes sowie der Bildschärfe des Musters 11 und des sichtbaren Teils der Oberflächenstruktur 7‘ kann die Recheneinheit 5 einen Bewegungsvektor 16 bestimmen, welcher eine Kippbewegung anzeigt.

Im Bild b) wird die Textur linear transformiert, tonnenförmig verzerrt und es gibt einen Kontrastabfall am Rand. Die Fingerkuppe rotiert um ihre Querachse 18.

Im Bild c) wird nun eine Neigbewegung des Eingabeobjekts 6, daher eine Rotation des Eingabeobjekts 6 um die x-Achse, dargestellt. Dabei findet als Differenz zu dem Initialbild 4‘ aus Bild a) nun ebenfalls eine Kontraständerung des Musters 11 , jedoch keine Veränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7 statt. Aus der jeweiligen Richtung der Veränderung des Kontrastes des Musters 11 und ergänzend des sichtbaren Teils 6‘ der Oberflächenstruktur 7 kann die Recheneinheit 5 einen Bewegungsvektor 16 für eine Neigbewegung bestimmen. Dabei wird die Oberflächenstruktur 7 linear transformiert, jedoch um 90° versetzt bezüglich zu Bild b). Die Fingerkuppe rotiert um ihre Längsachse 17.

Zwar nicht skizziert, aber es sind translatorische Bewegungen (Textur bleibt gleich, bewegt sich aber in eine Richtung) sowie Bewegung hin und weg vom Display (Kontrast nimmt ab/zu) sowie Berührung des Displays oder Druck auf das Display (über Touch, 3D-Touch und Veränderung der Textur selbst), möglich.

Aus dem Bewegungsvektor 16 kann die Recheneinheit 5 nun auf eine Rotationsbewegung des Eingabeobjekts 6 schließen. Je nach der Position des Eingabeobjekts 6 auf der Bildschirmoberfläche 2 kann auch eine Position des Eingabeobjekts 6 zum Eingabebereich 13 bestimmt werden. Aus der Veränderung der Position sind translatorische Bewegungen bestimmbar. Ebenfalls ist es dadurch möglich, die rotatorische und die translatorische Bewegung miteinander zu kombinieren, beispielsweise wenn der Finger als Eingabeobjekt 6 über der Bildschirmoberfläche analog zu einer Walze abgerollt wird, die quer über das Display rollt. Dabei erfolgt die Veränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7, der Bildschärfe und des Kontrastes zusammen mit einer Positionsveränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7.

In Fig. 4 sind nun Anwendungsformen zum Steuern einer Anzeigefunktion anhand des bestimmten Bewegungsvektors 16 dargestellt. Hierzu ist in Fig. 4 eine Abfolge von Bewegungen in Bild a), b) und c) gezeigt. In der Folge im Bild a) wird durch einen Benutzer mit dem Finger als Eingabeobjekt 6 eine Rotationsbewegung auf der Bildschirmoberfläche 2 durchgeführt. Der Finger rotiert daher um seine Längsachse 17 oder Querachse. Hierzu kann in Bild a) unten als Anzeigefunktion ein Zeichnen mit einer fetten Linie analog zu einem Textmarker 25 mit einer Spitze 24 dargestellt sein. Wird der Finger nun in einem geringen Winkel 27, beispielsweise unter 45°, analog zum Teil a) im Bild a) auf die Bildschirmoberfläche 2 gelegt, so kann ein Zeichnen mit einer fetten Linie analog zu einem Halten eines Textmarkers im gleichen Winkel 27 als Anzeigefunktion ausgeführt werden. Ein Rotieren des Fingers als Eingabeobjekt 6 um die Längsachse 17 kann dabei ebenfalls eine Rotation des virtuellen Textmarkers 25 im gleichen Winkel 27 bezüglich der Bildschirmoberfläche 2 dargestellt werden. Hierzu verdreht sich die Spitze analog zum Winkel 27. Wird der Winkel 27 über das Bild b) weiter vergrößert, sodass das Eingabeobjekt 6 wie schließlich in Bild c) im Winkel 27 senkrecht auf der Bildschirmoberfläche 2 steht, so kann nun die Anzeigefunktion das Zeichnen einer dünnen Linie vorsehen, analog zum Betrachten der Spitze 24 des virtuellen Textmarkers 25 bezüglich der Bildschirmoberfläche 2. Wird der Finger als Eingabeobjekt 6 bezüglich der Längsachse 17 rotiert, kann dies einem Rotieren des Textmarkers 25 bezüglich der Bildschirmoberfläche 2 entsprechen. Über eine Aufnahmevorrichtung, hinter dem Display (Holocam, Pixel im Display, Kamera hinter transparentem Display) mit oder ohne Touch- Funktionalität wird der Raum direkt über den Bildschirm aufgenommen. Der Fokus sollte hierbei möglichst nahe an der Bildschirmoberfläche liegen und das Erkennen relevanter Textur und auch höheren Kontrast ermöglichen.

Die hintereinander aufgenommenen Bilder werden nach wiedererkennbaren Bildinhalten (Texturen, Fingerabdrücke, Marker, Bildschärfe) durchsucht. Diese Bildinhalte werden nun Bild für Bild analysiert, wobei die Bewegung der Pixel, als auch die Verzerrung sowie der Kontraste genutzt werden können, um die Bewegungsart und -richtung abzuschätzen.

Nicht skizziert, aber möglich sind translatorische Bewegungen (Textur bleibt gleich, bewegt sich aber in eine Richtung), sowie Bewegungen hin und weg vom Display (Kontrast nimmt ab/zu), sowie Berührung des Displays oder Druck auf das Display (über Touch, 3D-Touch und Veränderung der Textur selbst).

Diese zusätzlichen Achsen können, wie die Illustration mit dem Stift rechts unten zeigt, für das Bewegen einer virtuellen Stiftspitze genutzt werden oder für Menüparameter.

Die Hintergrundbeleuchtung des Displays, im Falle eines OLED-Displays, das Display selbst oder aber speziell verbaute IR-Pixel (Infrarot) kann zur Beleuchtung des Objekts dienen.

Das System kann mit speziellen optischen Markern erweitert werden (zum Beispiel QR-Code - fix am Eingabeobjekt montiert, aufklebbar oder per Display anzeigbar), denen spezielle Eigenschaften zugewiesen werden können. Zum Beispiel eine Radierfunktion, eine Farbänderung. Die Marker können auch unsichtbar sein, beispielsweise über IR. Die Positionserkennung erfolgt über das aufgenommene Bild oder aber in Kombination mit einem Touch-Sensor (Druck, resistiv, kapazitiv, induktiv, IR, Ultraschall).

Der Gegenstand aus der DE 10 2011 084 809 A1 nutzt ein Verfahren zur rechnergestützten Ansteuerung einer Benutzerschnittstelle mittels einer hochauflösenden Kamera, einer Tastschirmberührung durch ein Objekt oder einer Hand, wobei zur Ansteuerung ein Barcode auf der Unterseite des Gegenstands benutzt wird. Im Gegensatz dazu nutzt die Idee Objektmerkmale, wie zum Beispiel den Fingerabdruck, die Hautbeschaffenheit oder die Oberflächenstruktur. Dadurch ist das System auf keine speziellen Eingabemedien beschränkt.

Die Idee betrifft ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung mittels eines beliebigen Eingabeobjekts über einen Berührbildschirm. Dazu erstellt eine Kameravorrichtung einer Aufnahmevorrichtung eine Bildfolge von der benutzerzugewandten Bildschirmoberfläche der Anzeigevorrichtung. In den Bildern der Bildfolge wird von einer Recheneinheit der Aufnahmevorrichtung verfolgt, wenn des Eingabeobjekt bezüglich der Bildschirmoberfläche gekippt, geneigt oder abgerollt wird. Dazu wird von der Recheneinheit nach einem Muster umfassend ein Tiefenprofil in der Oberflächenstruktur des Eingabeobjekts gesucht und eine Veränderung der Bildwerte zum Kontrast, der Bildschärfe des Musters oder ergänzend oder alternativ des sichtbaren Teils der Oberflächenstruktur in der Bildfolge ausgewertet. Die Recheneinheit bestimmt aus der Veränderung des Musters oder des für die Kameravorrichtung sichtbaren Teils der Oberflächenstruktur einen Bewegungsvektor des Eingabeobjekts zum Steuern einer Anzeigefunktion.

Insgesamt zeigt das Beispiel, wie ein Verfahren zur Erkennung einer Bewegung eines Eingabegegenstandes gegenüber einer Anzeigevorrichtung über optische Merkmale bereitgestellt werden kann.