Recheneinheit zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille

Die Erfindung betrifft eine Recheneinheit zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille. Zusätzlich betrifft die Erfindung ein optisches System zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille und eine Datenbrille mit dem optischen System. Außerdem betrifft die Erfindung ein Verfahren zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille.

Stand der Technik

Aus dem Dokument US10852817B1 ist ein optisches System bekannt, welches ein Kamerasystem verwendet, um mehrere Bilder des Auges des Nutzers der Datenbrille zu erzeugen und daraus beispielsweise den Blickvektor des Nutzers zu ermitteln.

Der Erfindung liegt davon ausgehend die Aufgabe zugrunde, eine Recheneinheit zu entwickeln, welche ein energiesparenderes Ermitteln des Blickvektors ermöglicht.

Offenbarung der Erfindung

Zur Lösung der Aufgabe wird eine Recheneinheit zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille gemäß Anspruch 1 vorgeschlagen. Zusätzlich wird ein optisches System zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille gemäß Anspruch 11 und eine Datenbrille gemäß Anspruch 17 vorgeschlagen. Zusätzlich wird ein Verfahren zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille gemäß Anspruch 18 vorgeschlagen.

Die Recheneinheit zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille ist hierbei dazu ausgebildet, mittels einer ersten Sensoreinheit in einem ersten zeitlichen Abstand erfasste erste Bilddaten zu empfangen und in Abhängigkeit der erfassten ersten Bilddaten jeweils wenigstens ein Bild eines Auges

BERICHTIGTES BLATT (REGEL 91) ISA/EP des Nutzers zu erzeugen. Mit dem ersten zeitlichen Abstand ist insbesondere ein erstes zeitliches Intervall oder auch in anderen Worten eine sample rate oder Zeitpunkte gemeint, zu denen die Recheneinheit die empfangenen Bilddaten empfängt. Zu einem ersten Zeitpunkt werden also die zuerst erfassten Bilddaten und zu einem zweiten Zeitpunkt die darauf folgend erfassten Bilddaten mittels der Recheneinheit empfangen. Die beiden Zeitpunkte weisen hierbei den ersten zeitlichen Abstand zueinander auf. Zusätzlich ist die Recheneinheit dazu ausgebildet, mittels einer zweiten Sensoreinheit in einem zweiten zeitlichen Abstand erfasste erste Drehgeschwindigkeitsdaten des Auges des Nutzers zu empfangen. Mit den ersten Drehgeschwindigkeitsdaten des Nutzerauges sind insbesondere Augenoberflächengeschwindigkeiten des Auges gemeint. Diese Winkelgeschwindigkeiten werden insbesondere unter Verwendung der Oberflächenschnittpunkte und einer Verknüpfung zwischen dem kopffesten Koordinatensystem und dem Brillenkoordinatensystem bestimmt. Der zweite zeitliche Abstand ist hierbei kleiner, insbesondere wesentlich kleiner, als der erste zeitliche Abstand. Die bildgebende, energieintensive erste Sensoreinheit kann also prinzipiell in einer Art Stromsparmodus betrieben werden, während die energiesparende zweite Sensoreinheit in kurzen Zeitabständen Sensordaten erfasst. Mit dem zweiten zeitlichen Abstand ist insbesondere ein zweites zeitliches Intervall oder auch in anderen Worten eine sample rate oder Zeitpunkte gemeint, zu denen die Recheneinheit die ersten Drehgeschwindigkeitsdaten empfängt. Mit dem ersten zeitlichen Abstand ist insbesondere ein erstes zeitliches Intervall oder auch in anderen Worten eine sample rate oder Zeitpunkte gemeint, zu denen die Recheneinheit die empfangenen Bilddaten empfängt. Zu einem dritten Zeitpunkt werden also die zuerst erfassten ersten Drehgeschwindigkeitsdaten und zu einem vierten Zeitpunkt die darauf folgend erfassten ersten Drehgeschwindigkeitsdaten mittels der Recheneinheit empfangen. Die beiden Zeitpunkte weisen hierbei den zweiten zeitlichen Abstand zueinander auf. Die Recheneinheit ist weiterhin dazu ausgebildet, in Abhängigkeit der erzeugten Bilder des Nutzerauges wenigstens eine erste Blickvektorinformation des Nutzers der Datenbrille und in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln. Mit den ersten und/oder zweiten Blickvektorinformationen sind jegliche Informationen bzw. jegliche Daten gemeint, die Rückschlüsse über den Blickvektor des Nutzers geben und/oder zur Ermittlung des Blickvektors verwendet werden können. Wei-

BERICHTIGTES BLATT (REGEL 91) ISA/EP terhin ist die Recheneinheit dazu ausgebildet, den Blickvektor des Nutzerauges in Abhängigkeit der ermittelten ersten und/oder zweiten Blickvektorinformation zu ermitteln. Die Verwendung von Blickvektorinformationen zweier unterschiedlicher Sensoreinheiten macht die Ermittlung des Blickvektors weniger anfällig für Sensorfehler. Zudem ermöglichen die gegenüber den ersten zeitlichen Abständen relativ kurzen zweiten zeitlichen Abstände ein energiesparendes Ermitteln des Blickvektors.

Vorzugsweise ist die Recheneinheit dazu ausgebildet, mittels der zweiten Sensoreinheit in dem zweiten zeitlichen Abstand zusätzlich erfasste erste Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge zu empfangen. Mit den erste Abstandsinformationen sind insbesondere erste Abstandswerte der zweiten Sensoreinheit relativ zu dem Nutzerauge gemeint. Die Recheneinheit ist dazu ausgebildet, in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten und der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge die wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln.

Bevorzugt ist die Recheneinheit dazu ausgebildet ist, die ersten Blickvektorinformationen zusätzlich in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge zu ermitteln. Mit den ersten Blickvektorinformationen kann auch ein 3D-Augenmodell gemeint sein.

Aus den empfangenen ersten Drehgeschwindigkeitsdaten und/oder den empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit können geometrische Eigenschaften des Augenmodells ermittelt werden, wie beispielsweise der Durchmesser des Augapfels. Dadurch lässt sich das 3D-Augenmodell auf den jeweiligen Träger einer Datenbrille adaptieren und die Genauigkeit der ersten Blickvektorinformation verbessern.

Vorzugsweise ist die Recheneinheit dazu ausgebildet, den Blickvektor des Nutzerauges in Abhängigkeit eines Vergleichs der ersten Blickvektorinformationen mit den zweiten Blickvektorinformationen zu ermitteln. In diesem Zusammenhang sieht der Vergleich der ersten Blickvektorinformationen mit den zweiten Blickvektorinformationen insbesondere vor, zu prüfen, ob es zu Abweichungen der ersten

BERICHTIGTES BLATT (REGEL 91) ISA/EP Blickvektorinformationen von den zweiten Blickvektorinformationen kommt. Falls es zu keiner Abweichung kommt, ist von aktuell fehlerfreien Sensordaten auszugehen. Bei dem Vergleich der Blickvektorinformationen können auch in der Vergangenheit empfangene Sensordaten und/oder ermittelte Blickvektorinformationen berücksichtigt werden. Falls es gegenüber den in der Vergangenheit ermittelten Blickvektorinformationen zu einer Abweichung kommt, kann auch von einem Fehler oder einer Zustandsänderung des Auges ausgegangen werden. Insbesondere ist die Recheneinheit weiterhin dazu ausgebildet, einen jeweiligen Gütewerte der empfangenen ersten Bilddaten und/oder der empfangenen ersten Drehgeschwindigkeitsdaten des Auges des Nutzers zu ermitteln und diese bei dem Vergleich der ermittelten Blickvektorinformationen zu berücksichtigen. So kann bei einer Kameraeinheit als erste Sensoreinheit zum Beispiel immer die Güte ausgegeben werden, mit der die Pupillenellipse gefunden wird. Bei einem Laser Feedback Interferometrie-Sensor als zweite Sensoreinheit lässt sich beispielsweise. über die Klassifikationssicherheit der Laserpunkte auf dem Auge eine ähnliche Güte oder die Güte aus den Messbereichen bestimmen, in denen sich das System befindet. So deuten zum Beispiel sehr hohe absolute Drehgeschwindigkeitsdaten und/oder unrealistische Abstandswerte auf fehlerhafte Messwerte hin.

Bevorzugt repräsentieren die ersten Blickvektorinformationen einen ersten Blickvektor des Nutzerauges und die zweiten Blickvektorinformationen einen zweiten Blickvektor des Nutzerauges. Das Ermitteln des zweiten Blickvektors als zweite Blickvektorinformation in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges erfolgt insbesondere durch Bestimmung der Augenoberflächengeschwindigkeit für alle Sensorwerte als Projektion der gemessenen Geschwindigkeit in Laserstrahlrichtung. Die Bestimmung des Blickvektors erfolgt anschließend beispielsweise über die Integration der Oberflächengeschwindigkeit.

Bevorzugt ist die Recheneinheit dazu ausgebildet ist, die ersten zeitlichen Abstände zur Erfassung der ersten Bilddaten zu verändern, insbesondere zu variieren. Die zweiten zeitlichen Abstände bleiben in diesem Zusammenhang insbesondere unverändert bzw. fix. Vorzugsweise ist die Recheneinheit dazu ausgebildet ist, die ersten zeitlichen Abstände in Abhängigkeit der empfangenen ersten

BERICHTIGTES BLATT (REGEL 91) ISA/EP Drehgeschwindigkeitsdaten des Nutzerauges und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge zu verändern bzw. zu variieren. In diesem Zusammenhang ist die Recheneinheit weiterhin dazu ausgebildet, die ersten zeitlichen Abstände in Abhängigkeit einer mittels der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge detektierten Zustandsänderung des Nutzerauges zu verkürzen. Bei der detektierten Zustandsänderung des Nutzerauges handelt es sich insbesondere um ein blinzelndes Nutzerauge. Die Recheneinheit ist in diesem Zusammenhang weiterhin vorzugsweise dazu ausgebildet, eine solche Zustandsänderung des Nutzerauges in Abhängigkeit eines Vergleichs der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges und/oder der empfangenen ersten Abstandsinformationen mit einem ersten unteren und/oder einem zweiten oberen Signalschwellenwert zu detektieren. Im Falle des Blinzelns des Nutzerauges werden beispielsweise die Abstandsmesswerte als erste Abstandsinformationen eines LFI-Sensors als zweite Sensoreinheit reduziert, sodass sie unter den ersten unteren Signalschwellenwert fallen. In einem solchen Fall kann ein LFI-Sensor als zweite Sensoreinheit keine sicheren Messergebnisse zur Ermittlung des Blickvektors erfassen. Die Recheneinheit ist in diesem Zusammenhang dazu ausgebildet, die ersten zeitlichen Abstände der ersten Sensoreinheit zu verkürzen, sodass die bildgebende, erste Sensoreinheit in kürzeren Zeitabständen Messergebnisse zur optimierten Ermittlung des Blickvektors liefern kann. Die Recheneinheit ermöglicht entsprechend ein redundantes und somit möglichst fehlerfreies Ermitteln des Blickvektors.

Bevorzugt ist die Recheneinheit weiterhin dazu ausgebildet, mittels einer weiteren zweiten Sensoreinheit in dem zweiten zeitlichen Abstand erfasste zweite Drehgeschwindigkeitsdaten des Auges des Nutzers zu empfangen und in Abhängigkeit der empfangenen zweiten Drehgeschwindigkeitsdaten des Nutzerauges die wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln. Die Recheneinheit empfängt die zweiten Drehgeschwindigkeitsdaten also simultan zu den ersten Drehgeschwindigkeitsdaten und ermittelt daraus die zweite Blickvektorinformation. Hierbei wird beispielsweise geprüft, ob die Drehgeschwindigkeitsdaten der unterschiedlichen zweiten Sensoreinheiten voneinander abweichen. Auch Gütewerte der empfangenen Drehgeschwindigkeitsdaten kön-

BERICHTIGTES BLATT (REGEL 91) ISA/EP nen dabei berücksichtigt werden. Alternativ ist die Recheneinheit dazu ausgebildet, mittels der weiteren zweiten Sensoreinheit in einem dritten zeitlichen Abstand, insbesondere in einem dritten zeitlichen Intervall, erfasste zweite Drehgeschwindigkeitsdaten des Auges des Nutzers zu empfangen und in Abhängigkeit der empfangenen zweiten Drehgeschwindigkeitsdaten des Nutzerauges die wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln. In diesem Fall werden die Drehgeschwindigkeitsdaten des Nutzerauges entsprechend in zueinander unterschiedlichen Zeiträumen empfangen. Durch das Empfangen und Verarbeiten von Drehgeschwindigkeitsdaten einer weiteren zweiten Sensoreinheit wird das Ermitteln des Blickvektors noch einmal optimiert.

Vorzugsweise ist die Recheneinheit dazu ausgebildet, in Abhängigkeit der erzeugten Bilder des Nutzerauges eine zu den mittels der zweiten Sensoreinheit erfassten ersten Drehgeschwindigkeitsdaten des Auges zugehörige erste Augenposition zu ermitteln und in Abhängigkeit des ermittelten Blickvektors, sowie der ermittelten ersten Augenposition, den Betriebszustand der zweiten Sensoreinheit zu verändern. Mit dem Betriebszustand ist insbesondere ein Einschaltzustand oder ein Ausschaltzustand der zweiten Sensoreinheit gemeint. Die Recheneinheit prüft also mittels der Bilder des Nutzerauges, an welcher Augenposition und in welchem Augenzustand die zweite Sensoreinheit aktuell die ersten Drehgeschwindigkeitsdaten erfasst. Wird hierbei beispielsweise festgestellt, dass das Nutzerauge aktuell auf den Boden blickt und die zweite Sensoreinheit somit aktuell nicht die Retina, sondern die die Iris des Nutzerauges erfasst, kann diese zweite Sensoreinheit von der Recheneinheit ausgeschaltet werden. Alternativ oder zusätzlich ist die Recheneinheit dazu ausgebildet, in Abhängigkeit der erzeugten Bilder des Nutzerauges eine zu den mittels der weiteren zweiten Sensoreinheit erfassten zweiten Drehgeschwindigkeitsdaten des Auges zugehörige zweite Augenposition zu ermitteln und in Abhängigkeit des ermittelten Blickvektors, sowie der ermittelten zweiten Augenposition, den Betriebszustand der weiteren zweiten Sensoreinheit zu verändern. Somit kann Energie eingespart werden.

Ein weiterer Gegenstand der vorliegenden Erfindung ist ein optisches System zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille. Das optische System umfasst hierbei eine erste Sensoreinheit, welche dazu ausgebildet ist, in einem ersten zeitlichen Abstand, insbesondere in einem ersten zeitlichen Inter-

BERICHTIGTES BLATT (REGEL 91) ISA/EP vall, erste Bilddaten zu erfassen. Zusätzlich umfasst das optische System eine zweite Sensoreinheit, welche dazu ausgebildet ist, in einem zweiten zeitlichen Abstand, insbesondere in einem zweiten zeitlichen Intervall, erste Drehgeschwindigkeitsdaten des Auges des Nutzers zu erfassen. Hierbei ist der zweite zeitliche Abstand kleiner, insbesondere wesentlich kleiner, als der erste zeitliche Abstand. Außerdem umfasst das optische System die zuvor beschriebene Recheneinheit.

Vorzugsweise umfasst das optische System eine zweite Lichtquelle, insbesondere eine LED-Einheit, welche dazu ausgebildet ist, das Auge zu beleuchten. Somit können die Sensordaten besser mittels der ersten und der zweiten Sensoreinheit erfasst werden.

Bevorzugt umfasst das optische System eine Projektoreinheit mit wenigstens einer Lichtquelle zum Generieren mindestens eines, insbesondere für ein menschliches Auge unsichtbaren, Lichtstrahls. Zusätzlich umfasst die Projektoreinheit eine ansteuerbare Ablenkeinrichtung für den mindestens einen Lichtstrahl. Die ansteuerbare Ablenkeinrichtung ist insbesondere zur scannenden Projektion des Lichtstrahls ausgebildet. Insbesondere ist die ansteuerbare Ablenkeinrichtung als wenigstens ein drehbar gelagerter Mikrospiegel ausgebildet. Die erste Sensoreinheit ist als ein erster Laser-Feedback-Interferometrie-Sensor mit einem ersten Photodetektor zur Erfassung des von dem Nutzerauge zurückgestreuten Lichts ausgebildet. Der erste Photodetektor ist bevorzugt in die Projektoreinheit integriert. Alternativ ist der erste Photodetektor außerhalb der Projektoreinheit, wie beispielsweise in einem Brillenbügel angeordnet.

Alternativ ist die erste Sensoreinheit vorzugsweise als Kameraeinheit ausgebildet. Die Kameraeinheit ist insbesondere auf einem Brillenglas oder innerhalb eines Brillenglases angeordnet.

Vorzugsweise weist das optische System wenigstens eine weitere zweite Sensoreinheit auf, welche dazu ausgebildet ist, in dem zweiten zeitlichen Abstand, insbesondere in dem zweiten zeitlichen Intervall, und/oder einem dritten zeitlichen Abstand, insbesondere in einem dritten zeitlichen Intervall, zweite Drehgeschwindigkeitsdaten des Auges des Nutzers zu erfassen.

BERICHTIGTES BLATT (REGEL 91) ISA/EP Bevorzugt ist die zweite Sensoreinheit und/oder die wenigstens eine weitere zweite Sensoreinheit als eine zweidimensionale Kameraeinheit ausgebildet Mit solch einer zweidimensionalen Kameraeinheit ist insbesondere eine Event Based Camera oder ein Dynamic Vision Sensor gemeint. Alternativ ist die zweite Sensoreinheit und/oder die wenigstens eine weitere zweite Sensoreinheit bevorzugt als ein zweiter Laser Feedback Interferometrie-Sensor mit, insbesondere integriertem, zweiten Photodetektor ausgebildet. Der integrierte zweite Photodetektor dient insbesondere zur Erfassung des von dem Nutzerauge zurückgestreuten Lichts.

Ein weiterer Gegenstand der Erfindung ist eine Datenbrille, welche das zuvor beschriebene optisches System umfasst. Die Datenbrille kann hierbei als Augmented Reality Brille (A R- Brille) oder als Virtual Reality Brille (V R- Brille) ausgebildet sein.

Weiterhin umfasst die Erfindung ein Verfahren zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille. Das Verfahren wird insbesondere mittels der zuvor beschriebenen Recheneinheit ausgeführt. In einem Verfahrensschritt werden hierbei in einem ersten zeitlichen Abstand, insbesondere in einem ersten zeitlichen Intervall, mittels einer ersten Sensoreinheit erfasste erste Bilddaten empfangen. In Abhängigkeit der erfassten ersten Bilddaten wird dann jeweils ein Bild eines Auges des Nutzers erzeugt. Weiterhin werden in einem zweiten zeitlichen Abstand, insbesondere in einem zweiten zeitlichen Intervall, mittels einer zweiten Sensoreinheit erfasste erste Drehgeschwindigkeitsdaten des Auges des Nutzers empfangen. Hierbei ist der zweite zeitliche Abstand kleiner, insbesondere wesentlich kleiner, als der erste zeitliche Abstand. Außerdem wird wenigstens eine erste Blickvektorinformation des Nutzers der Datenbrille in Abhängigkeit der erzeugten Bilder des Nutzerauges ermittelt. Weiterhin wird wenigstens eine zweite Blickvektorinformation des Nutzers in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges ermittelt. Der Blickvektor des Nutzerauges wird dann in Abhängigkeit der ermittelten ersten und/oder zweiten Blickvektorinformation ermittelt.

BERICHTIGTES BLATT (REGEL 91) ISA/EP Bevorzugt liegt der erste zeitliche Abstand, insbesondere das erste zeitliche Intervall, in einem Bereich von wenigstens 100 ms bis höchstens 1000ms. Alternativ oder zusätzlich liegt der zweite zeitliche Abstand, insbesondere das zweite zeitliche Intervall, in einem Bereich von wenigstens 1 ms bis höchstens 10 ms. Vorzugsweise liegt der dritte zeitliche Abstand, insbesondere das dritte zeitliche Intervall, ebenfalls in einem Bereich von wenigstens 1 ms bis höchstens 10 ms.

Beschreibung der Zeichnungen

Figur 1 zeigt ein optisches System zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille.

Figuren 2a bis 2c zeigen unterschiedliche Beispiele für empfangene Sensordaten.

Figuren 3a bis 3c zeigen Beispiele für mittels zweiter Sensoreinheiten erfasster Drehgeschwindigkeitsdaten des Auges in Abhängigkeit des aktuellen Blickvektors.

Figur 4 zeigt Komponenten einer Datenbrille.

Figur 5 zeigt ein Verfahren zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille.

Beschreibung der Ausführungsbeispiele

Die Figur 1 zeigt schematisch ein optisches System 1 zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille. Das optische System 1 umfasst hierbei eine Recheneinheit 4 zur Ermittlung des Blickvektors des Nutzers der Datenbrille. Die Recheneinheit 4 dient hierbei dazu, mittels einer ersten Sensoreinheit 2 des optischen Systems 1 in einem ersten zeitlichen Abstand, insbesondere in einem ersten zeitlichen Intervall, erfasste erste Bilddaten zu empfangen und in Abhängigkeit der erfassten ersten Bilddaten jeweils wenigstens ein Bild eines Auges des Nutzers zu erzeugen. Zusätzlich dient die Recheneinheit 4 dazu, mittels einer zweiten Sensoreinheit 3a in einem zweiten zeitlichen Abstand, insbe-

BERICHTIGTES BLATT (REGEL 91) ISA/EP sondere in einem zweiten zeitlichen Intervall, erfasste erste Drehgeschwindigkeitsdaten des Auges des Nutzers zu empfangen. Der zweite zeitliche Abstand ist hierbei kleiner, insbesondere wesentlich kleiner, als der erste zeitliche Abstand. Die Recheneinheit 4 ist weiterhin dazu ausgebildet, in Abhängigkeit der erzeugten Bilder des Nutzerauges wenigstens eine erste Blickvektorinformation des Nutzers der Datenbrille und in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln. Insbesondere repräsentieren die ersten Blickvektorinformationen einen ersten Blickvektor des Nutzerauges und die zweiten Blickvektorinformationen einen zweiten Blickvektor des Nutzerauges. Weiterhin dient die Recheneinheit 4 dazu, den Blickvektor des Nutzerauges in Abhängigkeit der ermittelten ersten und/oder zweiten Blickvektorinformation zu ermitteln.

Weiterhin ist die optional Recheneinheit 4 dazu ausgebildet, mittels der zweiten Sensoreinheit 3a in dem zweiten zeitlichen Abstand zusätzlich erfasste erste Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge zu empfangen und in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten und der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit relativ zu dem Nutzerauge die wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln.

Die Recheneinheit 4 ist weiterhin optional dazu ausgebildet, die ersten Blickvektorinformationen zusätzlich in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit 2a relativ zu dem Nutzerauge zu ermitteln.

Weiterhin dient die Recheneinheit 4 optional dazu, den Blickvektor des Nutzerauges in Abhängigkeit eines Vergleichs der ersten Blickvektorinformationen mit den zweiten Blickvektorinformationen zu ermitteln.

Die Recheneinheit 4 dient darüber hinaus optional dazu, die ersten zeitlichen Abstände zur Erfassung der ersten Bilddaten zu verändern, insbesondere zu variieren. In diesem Zusammenhang ist die Recheneinheit 4 dazu ausgebildet, die ersten zeitlichen Abstände in Abhängigkeit der empfangenen ersten Drehge-

BERICHTIGTES BLATT (REGEL 91) ISA/EP schwindigkeitsdaten des Nutzerauges und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit 3a relativ zu dem Nutzerauge zu verändern, insbesondere zu variieren. Weiterhin ist die Recheneinheit 4 dazu ausgebildet, die ersten zeitlichen Abstände in Abhängigkeit einer mittels der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges und/oder der empfangenen ersten Abstandsinformationen der zweiten Sensoreinheit 3a relativ zu dem Nutzerauge detektierten Zustandsänderung des Nutzerauges zu verkürzen.

Optional ist die Recheneinheit 4 weiterhin dazu ausgebildet, mittels einer weiteren zweiten Sensoreinheit 3b des optischen Systems 1 in dem zweiten zeitlichen Abstand, insbesondere in dem zweiten zeitlichen Intervall, und/oder einem dritten zeitlichen Abstand, insbesondere in einem dritten zeitlichen Intervall, erfasste zweite Drehgeschwindigkeitsdaten des Auges des Nutzers zu empfangen und in Abhängigkeit der empfangenen zweiten Drehgeschwindigkeitsdaten des Nutzerauges die wenigstens eine zweite Blickvektorinformation des Nutzerauges zu ermitteln.

In dieser Ausführungsform ist die erste Sensoreinheit 2 als Kameraeinheit ausgebildet. Weiterhin sind die zweite Sensoreinheit 3a und die weitere zweite Sensoreinheit 3b in dieser Ausführungsform als ein zweidimensionale Kameraeinheit ausgebildet. Mit der zweidimensionalen Kameraeinheit ist insbesondere eine Event Based Camera oder als ein Dynamic Vision Sensor gemeint.

In dieser Ausführungsform ist die Recheneinheit 4 dazu ausgebildet, in Abhängigkeit des ermittelten Blickvektors des Nutzerauges eine Bilderzeugungseinheit 5 des optischen Systems 1 derart anzusteuern, dass der mittels der Bilderzeugungseinheit erzeugte Bildinhalt auf die Retina des Nutzerauges gelenkt wird. Eine solche Bilderzeugungseinheit 5 kann bei einer AR-Brille als Projektoreinheit, insbesondere als Laserprojekteinheit ausgebildet sein. Bei einer VR- Brille kann eine solche Bilderzeugungseinheit 5 als Display, insbesondere als ein VR- Display, ausgebildet sein.

Figur 2a zeigt in dem oberen xy-Diagramm 19a das Empfangen von mittels einer hier nicht dargestellten ersten Sensoreinheit erfassten ersten Bilddaten 11a und 11 b in einem ersten zeitlichen Abstand 12a. Auf der x-Achse 10b ist hierbei die

BERICHTIGTES BLATT (REGEL 91) ISA/EP Zeit in ms und auf der Y-Achse 10a ist die Frame Rate aufgetragen. Auf dem unteren xy-Diagramm 19b der Figur 2a sind die zugehörigen, mittels einer hier nicht dargestellten zweiten Sensoreinheit erfassten ersten Drehgeschwindigkeitsdaten des Auges des Nutzers aufgetragen. Auf der x-Achse 15b ist hierbei die Zeit in ms und auf der Y-Achse 15a die Drehgeschwindigkeit in m/s aufgetragen. Der Signalverlauf 16 wird hierbei mit einem zweiten oberen Signalschwellenwert 17 verglichen. Bei einer sakkadischen Augenbewegung des Nutzerauges kommt es hierbei zu dem ersten Zeitpunkt 18a zu einem Überschreiten des zweiten oberen Signalschwellenwerts 17. In diesem Fall sinkt die Messgenauigkeit der zweiten Sensoreinheit, welche hierbei als, insbesondere statischer, LFI - Sensor ausgebildet ist. Wie auf dem oberen xy-Diagramm 19a zu erkennen ist, kommt es daraufhin zu dem, auf den ersten Zeitpunkt 18a folgenden zweiten Zeitpunkt 18b zu einer Verkürzung des ersten zeitlichen Abstands 12b. Die Abtastrate der ersten Sensoreinheit wird also erhöht, um die Messungenauigkeit der zweiten Sensoreinheit in dem dargestellten Beispiel auszugleichen. In diesem Fall ist die erste bildgebende Sensoreinheit als Kameraeinheit ausgebildet.

Figur 2b zeigt ein weiteres Beispiel, bei dem die hier nicht dargestellte erste Sensoreinheit eine Messungenauigkeit der zweiten Sensoreinheit ausgleicht. Auch hier ist in dem oberen xy-Diagramm 19c das Empfangen von mittels einer hier nicht dargestellten ersten Sensoreinheit erfassten ersten Bilddaten 21 a und 21 b in einem ersten zeitlichen Abstand 22a dargestellt. Auf der x-Achse 20b ist hierbei wiederum die Zeit in ms und auf der Y-Achse 20a die Frame rate aufgetragen. Auf dem unteren xy-Diagramm 19d der Figur 2b sind die zugehörigen, mittels einer hier nicht dargestellten zweiten Sensoreinheit erfassten ersten Abstandswerte der zweiten Sensoreinheit relativ zu dem Nutzerauge aufgetragen. Auf der x-Achse 25b ist hierbei die Zeit in ms und auf der Y-Achse 25a die Abstandswerte in m aufgetragen. Der Signalverlauf 26 wird hierbei mit einem ersten unteren Signalschwellenwert 27 verglichen. In dem dargestellten Fall blinzelt das Nutzerauge zu dem Zeitpunkt 28, sodass die erfassten Abstandswerte unter den ersten Signalschwellenwert 27 fallen. Wie auf dem oberen xy-Diagramm 19c zu erkennen ist, kommt es daraufhin zu dem, auf den ersten Zeitpunkt 28a folgenden zweiten Zeitpunkt 28b zu einer Verkürzung des ersten zeitlichen Abstands 22b. Die Abtastrate der ersten Sensoreinheit wird also wiederum erhöht, um die

BERICHTIGTES BLATT (REGEL 91) ISA/EP Messungenauigkeit der zweiten Sensoreinheit in dem dargestellten Beispiel auszugleichen.

Figur 2c zeigt die Empfangszeitpunkte der ersten und zweiten Sensoreinheit im Normalbetrieb, bei dem sowohl die erste, wie auch die zweite Sensoreinheit störungsfrei die Sensordaten erfassen können. Im oberen xy-Diagramm 19e ist auf der x-Achse 30b die Zeit in ms und auf der Y-Achse 30a die Signalintensität aufgetragen. Ebenso ist im unteren xy-Diagramm 19f auf der x-Achse 33b die Zeit in ms und auf der Y-Achse 33a die Signalintensität aufgetragen. In dem dargestellten Beispiel beträgt der erste zeitliche Abstands 32 500ms und der zweite zeitliche Abstand 35 5ms. Der zweite zeitliche Abstand 35 ist also wesentlich kleiner als der erste zeitliche Abstand 32.

Figur 3a zeigt das Erfassen von ersten Abstandsinformationen 52a einer zweiten Sensoreinheit 55a relativ zu dem Nutzerauge 50 mittels der zweiten Sensoreinheit 55a. Zusätzlich ist eine weitere zweite Sensoreinheit 55b vorgesehen, welche zweite Abstandsinformationen 52b der weiteren zweiten Sensoreinheit 55b relativ zu dem Nutzerauge 50 erfasst. Die beiden Sensoreinheiten 55a und 55b sind hierbei als LFI-Sensoren mit jeweils integriertem, hier nicht dargestelltem zweiten Photodetektor ausgebildet. Der Blickvektor 57a des Nutzers zeigt in diesem Ausführungsbeispiel in horizontale Richtung, wodurch die zweiten Laserstrahlen 51 a der zweiten Sensoreinheit 55a von der Iris 54a des Nutzerauges als erste Augenposition rückgestreut werden. Diese Sensordaten können somit nicht oder nur mit hoher Ungenauigkeit zur Ermittlung des Blickvektors 57a verwendet werden. Die zweite Sensoreinheit 55a kann entsprechend mittels der hier nicht dargestellten Recheneinheit ausgeschaltet werden. Die dritten Laserstrahlen 51 b der weiteren zweiten Sensoreinheit 55b wiederum gelangen bis zu der Retina 53 als zweite Augenposition und diese Sensordaten können somit zur Ermittlung des Blickvektors 57a verwendet werden. Die weitere zweite Sensoreinheit 55b kann somit weiterhin angeschaltet bleiben.

Figur 3b zeigt einen weiteren Augenzustand, bei dem der Blickvektor leicht nach unten geneigt ist. In diesem Fall die gelangen die zweiten Laserstrahlen 51 c der zweiten Sensoreinheit 55a auf die Retina als erste Augenposition, wodurch die erfassten ersten Abstandsinformationen 52d zur Ermittlung des Blickvektors 57b

BERICHTIGTES BLATT (REGEL 91) ISA/EP verwendet werden können. Demgegenüber werden die dritten Laserstrahlen 51 d der weiteren zweiten Sensoreinheit 55b in diesem Ausführungsbeispiel durch die Iris 54b als zweite Augenposition zurückgestreut Die erfassten zweiten Abstandsinformationen 52c können somit hierbei nicht oder nur mit hoher Ungenauigkeit zur Ermittlung des Blickvektors 57b verwendet werden. Wie schon zur Figur 3a beschrieben, kann die hier nicht dargestellte Recheneinheit in diesem Fall zum Einsparen von Energie die weitere zweite Sensoreinheit 55b ausschalten, während die zweite Sensoreinheit 55a angeschaltet bleibt.

Figur 3c zeigt ein Ausführungsbeispiel, bei dem das Nutzerauge 50 geschlossen ist. Entsprechend werden sowohl die zweiten Laserstrahlen 51 e der zweiten Sensoreinheit 55a, wie auch die dritten Laserstrahlen 51 f der weiteren zweiten Sensoreinheit 55a von dem Augenlid 59 zurückgestreut. Die somit erfasste erste und zweite Abstandsinformation 52e kann nicht zur Ermittlung des Blickvektors verwendet werden bzw. es kann entsprechend auf ein geschlossenes Nutzerauge 50 zurückgeschlossen werden. Die hier nicht dargestellte Recheneinheit kann entsprechend in diesem Ausführungsbeispiel zum Einsparen von Energie sowohl die zweite Sensoreinheit 55a, wie auch die weitere zweite Sensoreinheit 55b ausschalten.

Figur 4 zeigt schematisch Komponenten einer Datenbrille, welche hierbei als AR- Brille ausgebildet ist. Die Datenbrille umfasst hierbei ein optisches System zur Ermittlung eines Blickvektors des Nutzers der Datenbrille. Das optische System umfasst eine Projektoreinheit 61 mit einer Infrarot-Lichtquelle 60, sowie einer roten Lichtquelle 62a, einer blauen Lichtquelle 62b und einer grünen Lichtquelle 62c. Sowohl der erzeugte Infrarot- Lichtstrahl, wie auch die mittels der roten Lichtquelle 62a, der blauen Lichtquelle 62b und der grünen Lichtquelle 62c erzeugten sichtbaren Lichtstrahlen werden als gemeinsamer Lichtstrahl 68 mit einer ansteuerbaren Ablenkeinrichtung 64 scannend auf das Brillenglas 64 projiziert. Während der Infrarot- Lichtstrahl zum Abtasten des Nutzerauges 67 dient, dienen die weiteren sichtbaren Lichtstrahlen zum Projizieren von Bildinhalten auf das Nutzerauge 67. Auf dem Brillenglas 64 ist hierbei ein nicht dargestelltes holographisches optisches Element angeordnet, welches die ankommenden Lichtstrahlen 68 in Richtung des Nutzerauges 67 umlenkt. Auf dem Brillenglas 64 ist ein zweiter LFI-Sensor 65a als zweite Sensoreinheit zur Erfassung der von dem

BERICHTIGTES BLATT (REGEL 91) ISA/EP zweiten LFI Sensor 65a ausgesendeten und von dem Nutzerauge zurückgestreuten Lichts 71 a angeordnet Ein weiterer zweiter LFI-Sensor 65b ist zur Erfassung des von dem weiteren zweiten LFI-Sensor 65b ausgesendeten und von dem Nutzerauge 67 zurückgestreuten Lichts 71 b auf einem hier nicht dargestellten Brillenbügel angeordnet. Die Projektoreinheit 61 umfasst einen ersten LFI-Sensor 70 als erste Sensoreinheit. Der erste LFI-Sensor 70 ist hierbei als ein erster Photodetektor ausgebildet. Der erste LFI-Sensor 70 erfasst das von dem Nutzerauge 67 zurückgestreute infrarote Licht. Aufgrund der scannenden Projektion des Infrarot-Lichtstrahls über das Nutzerauge 67 ist der erste LFI-Sensor als bildgebender Sensor ausgebildet. Zusätzlich ist in diesem Ausführungsbeispiel die Recheneinheit 63 zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille in die Projektoreinheit 61 integriert.

Figur 5 zeigt anhand eines Ablaufdiagramms ein Verfahren zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille. Das Verfahren wird insbesondere mittels der auf Figur 1 beschriebenen Recheneinheit ausgeführt. Hierbei werden in einem Verfahrensschritt 100 in einem ersten zeitlichen Abstand, insbesondere in einem ersten zeitlichen Intervall, mittels einer ersten Sensoreinheit erfasste erste Bilddaten empfangen. Weiterhin wird in einem Verfahrensschritt 110 jeweils ein Bild eines Auges des Nutzers in Abhängigkeit der erfassten ersten Bilddaten erzeugt. In einem folgenden Verfahrensschritt 120 werden in einem zweiten zeitlichen Abstand, insbesondere in einem zweiten zeitlichen Intervall, mittels einer zweiten Sensoreinheit erfasste erste Drehgeschwindigkeitsdaten des Auges des Nutzers empfangen. Der zweite zeitliche Abstand ist hierbei kleiner, insbesondere wesentlich kleiner, als der erste zeitliche Abstand. In einem Verfahrensschritt 130 wird wenigstens eine erste Blickvektorinformation des Nutzers der Datenbrille in Abhängigkeit der erzeugten Bilder des Nutzerauges ermittelt. In einem darauf folgenden Verfahrensschritt 140 wird wenigstens eine zweite Blickvektorinformation des Nutzers in Abhängigkeit der empfangenen ersten Drehgeschwindigkeitsdaten des Nutzerauges ermittelt. In einem folgenden Verfahrensschritt 150 wird der Blickvektor des Nutzerauges in Abhängigkeit der ermittelten ersten und/oder zweiten Blickvektorinformation ermittelt. Daraufhin wird das Verfahren beendet.

BERICHTIGTES BLATT (REGEL 91) ISA/EP