Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug. Das Verfahren sieht vor, zum Unterstützen eines Fahrmanövers des Kraftfahrzeugs in einer aktuellen Fahrzeugumgebung ein Abbild zumindest eines Objekts, welches sich in der aktuellen Fahrzeugumgebung befindet, bereitzustellen. Die Erfindung betrifft außerdem ein solches Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.

Es ist bekannt, einen Fahrer oder Insassen eines Kraftfahrzeugs bei bestimmten Fahrmanövern zu unterstützen, indem für den Fahrer Informationen oder Abbilder einer aktuellen Umgebung des Kraftfahrzeugs oder von Objekten innerhalb dieser Umgebung bereitgestellt werden. Ein Beispiel für eine derartige Unterstützung besteht in der Bereitstellung von Bildern einer Rückfahrkamera. Einige Kraftfahrzeugklassen verfügen außerdem über Rundumsicht-Kameras (Surround-View Kameras), die Bilder der Fahrzeugumgebung aufnehmen können, die auf einem Display im Fahrzeuginnenraum angezeigt werden können. Fortgeschrittene Verfahren dieser Art sehen es vor, die entsprechenden Bilder zusätzlich mit einem virtuellen Fahrschlauch und/oder farbig markierten Abstandsinformationen zu ergänzen. Generell handelt es sich bei derartigen Bildern um 2D-Bilder oder Ansichten des Objektes oder der Umgebung. Oftmals sind in der 2D-Ansicht bestimmte Informationen, beispielsweise Größenabmessungen und/oder Abstandsabmessungen, für den Fahrer nicht ohne Weiteres ersichtlich.

Es ist außerdem bekannt, die beschriebenen 2D-Ansichten derart zu verzerren, dass ein räumlicher Effekt erzeugt wird (so genannte Bowl-View). Hierbei wird das 2D-Abbild zur Nachbildung einer Kugeloberfläche verzerrt. So entsteht zwar unter Umständen ein räumlicher Effekt, jedoch werden tatsächlich bestehende Distanzen und/oder Abmessungen der abgebildeten Objekte verzerrt, was eine Einschätzung für den Fahrer des Kraftfahrzeugs zusätzlich erschwert.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Unterstützung des Fahrers eines Kraftfahrzeugs bei der Durchführung bestimmter Fahrmanöver zu verbessern. Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug. Bei dem Kraftfahrzeug kann es sich um ein zumindest teilweise autonom gesteuertes Kraftfahrzeug handeln.

Das Kraftfahrzeug weist eine Sensorvorrichtung mit zumindest einem Sensor zum Erfassen von Objekten in einer aktuellen Umgebung des Kraftfahrzeugs (kurz Fahrzeugumgebung) auf. Bei einem solchen Objekt kann es sich beispielsweise um ein Gebäude und/oder ein in der Fahrzeugumgebung befindliches weiteres Kraftfahrzeug und/oder eine Parklücke handeln. Erfindungsgemäß wird das Objekt in der aktuellen Umgebung des Kraftfahrzeugs mittels des zumindest einen Sensors erfasst. Sofern es sich bei dem Sensor um einen Kamerasensor handelt, kann hierbei eine beispielsweise eine Farbe oder ein Umriss erkannt werden. Allerdings kann es sich bei dem Sensor auch um einen Radar- oder Lidar-Sensor handeln, der eine räumliche Position des Kraftfahrzeugs bezüglich des Objekts, beispielsweise einen Abstand, erfassen kann.

Erfindungsgemäß wird das Objekt aus zumindest zwei unterschiedlichen Aufnahmepositionen heraus erfasst. Eine jeweilige Aufnahmeposition ist durch eine relative räumliche Position des das Objekt erfassenden Sensors in Bezug auf das Objekt und den dadurch bestimmten Blickwinkel des Sensors auf das Objekt beschrieben. Die unterschiedlichen Aufnahmepositionen können beispielsweise dadurch hergestellt werden, dass sich das Objekt und das Kraftfahrzeug relativ zueinander bewegen. Alternativ oder zusätzlich kann es vorgesehen sein, dass eine Ausrichtung des zumindest einen Sensors in Bezug auf das Kraftfahrzeug und/oder in Bezug auf das Objekt geändert wird. Dies kann beispielsweise durch eine Verschwenk- und/oder Verfahrbewegung des Sensors an dem Kraftfahrzeug erfolgen. Eine weitere Möglichkeit besteht darin, mehrere Sensoren entlang des Kraftfahrzeugs vorzusehen, wobei diese auch bei Stillstand des Kraftfahrzeugs bezüglich des Objekts diese aus unterschiedlichen Aufnahmepositionen heraus erfassen.

Erfindungsgemäß ist es weiter vorgesehen, ein Einzelabbild des Objekts für jede der Aufnahmepositionen zu erstellen. Falls es sich bei dem zumindest einen Sensor um einen Kamerasensor handelt, so kann dies dadurch realisiert sein, dass die Kamera für jede der Aufnahmepositionen ein einzelnes Bild oder Abbild aufzeichnet. Mit anderen Worten werden also bevorzugt mehrere Einzelbilder ein- und desselben Objekts aus verschiedenen Blickrichtungen oder Blickwinkeln aufgenommen.

Erfindungsgemäß wird zumindest ein Objektmerkmal des Objekts in den Einzelabbildern erkannt. Bei dem Objektmerkmal handelt es sich bevorzugt um ein charakteristisches Merkmal des Objekts. Handelt es sich bei dem Objekt beispielsweise um ein Gebäude, so kann das charakteristische Merkmal eine Häuserkante oder eine Ecke des Gebäudes sein. Ein solches Merkmal bietet sich als charakteristisches Merkmal an, da dort typischerweise ein scharfer Helligkeitskontrast erkannt wird. Falls es sich bei dem Objekt um ein weiteres Kraftfahrzeug handelt, kann das Objektmerkmal beispielsweise ein Reifen des anderen Kraftfahrzeugs sein. Mit anderen Worten handelt es sich bei dem Objektmerkmal um ein Merkmal, welches beispielsweise durch die bekannten Algorithmen aus dem Bereich der Bildauswertungssoftware auf jedem der Einzelabbilder wieder aufgefunden werden kann.

Danach werden die Einzelabbilder zum Erzeugen eines dreidimensionalen Gesamtabbilds des Objekts überlagert. Beim Überlagern werden die Einzelabbilder anhand des zumindest einen erkannten Objektmerkmals zueinander orientiert. Mit anderen Worten wird das in jedem der Einzelabbilder erkannte Objektmerkmal dazu genutzt, die Einzelabbilder derart zu überlagern, dass sich beim daraus gebildeten Gesamtabbild des Objekts eine dreidimensionale Wirkung ergibt. Hierzu kann beispielsweise der bekannte Effekt der Stereoskopie genutzt werden, wobei mehrere Aufnahmen ein und desselben Objekts aus unterschiedlichen Blickwinkeln gemeinsam zu einer dreidimensionalen Aufnahme des Objekts verarbeitet werden.

Schließlich wird erfindungsgemäß das dreidimensionale Gesamtabbild zum Unterstützten des Fahrmanövers des Kraftfahrzeugs in der aktuellen Umgebung bereitgestellt.

Durch die Erfindung ergibt sich der Vorteil, dass anhand des dreidimensionalen Gesamtabbilds eine Dimension oder Abmessung des Objekts und/oder ein Abstand des Objekts zu dem Kraftfahrzeug präzise abgeschätzt werden kann. Dies gilt sowohl für den Fall, dass das dreidimensionale Gesamtabbild automatisiert von einem zumindest teilweise autonom gesteuerten Kraftfahrzeug weiterverarbeitet wird, als auch für den Fall, dass ein Fahrer des Kraftfahrzeugs anhand des dreidimensionalen Gesamtabbilds das Fahrmanöver zumindest anteilig manuell begleiten will. Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.

Eine Ausführungsform sieht vor, dass mehrere erkannte Objektmerkmale eine Merkmalswolke bilden, wobei zum Erzeugen des dreidimensionalen Gesamtabbilds aus den Merkmalswolken der Einzelabbilder durch Verbinden einzelner Objektmerkmale ein dreidimensionales Gitter erzeugt wird (3D-Mesh). Flächen des dreidimensionalen Gitters, also diejenigen Bereiche, die durch die Verbindungslinien zwischen den einzelnen Objektmerkmalen eingeschlossen sind, werden durch Texturmerkmale aufgefüllt. Bei den Texturmerkmalen kann es sich um Informationen bezüglich einer Oberflächenstruktur des Objekts handeln. Diese Informationen können beispielsweise aus bekannten und/oder aus parallel durch weitere Sensoren der Sensorvorrichtung erfassten Bildern der Objekte oder des Objekts entnommen werden. Hierdurch ergibt sich der Vorteil, dass das resultierende dreidimensionale Gesamtabbild einen besonders realistischen Eindruck des Objekts vermittelt.

Eine weitere Ausführungsform sieht vor, dass das dreidimensionale Gesamtabbild zum Unterstützen des Fahrmanövers durch eine Ausgabevorrichtung des Kraftfahrzeugs in einem Innenraum des Kraftfahrzeugs bereitgestellt wird. Bevorzugt wird das Gesamtabbild als ein pixelbasierter Anzeigeinhalt bereitgestellt. Dies kann beispielsweise mittels eines Bildschirms, insbesondere des Bildschirms des zentralen H Ml- Interfaces des Kraftfahrzeugs, realisiert werden. Das Gesamtabbild kann alternativ oder zusätzlich durch ein Head-Up-Display des Kraftfahrzeugs dargestellt werden. Bevorzugt weist die Ausgabevorrichtung des Kraftfahrzeugs eine Schnittstelle zur Anbindung einer Datenbrille auf. In diesem Fall kann das dreidimensionale Gesamtabbild an die Datenbrille zum Anzeigen übermittelt werden.

Eine weitere Ausführungsform sieht vor, dass das dreidimensionale Gesamtabbild um ergänzende Unterstützungsdaten angereichert wird. Bevorzugt werden als Unterstützungsdaten visuelle, haptische und/oder akustische Warnhinweise bereitgestellt. So können beispielsweise einzelne Objekte farbig eingefärbt werden, je nachdem, wie nahe sie sich am Kraftfahrzeug befinden. Auch können weitere farbige Markierungen zusätzlich als Unterstützungsdaten bereitgestellt werden. Diese können das dreidimensionale Gesamtabbild überlagern oder beispielsweise seitlich als ergänzende Information durch die Ausgabevorrichtung des Kraftfahrzeugs angezeigt werden. Als haptischer Warnhinweis kann beispielsweise das Lenkrad des Kraftfahrzeugs in Vibration versetzt werden. Alternativ oder zusätzlich können akustische Warntöne ausgegeben werden. Diese können beispielsweise in Lautstärke und/oder Frequenz variieren, je nachdem, welchen aktuellen Abstand das Kraftfahrzeug zu dem erfassten Objekt einnimmt. Hierdurch wird in vorteilhafter weise die Unterstützung bei der Durchführung des Fahrmanövers ergänzt.

Die Erfindung betrifft darüber hinaus ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Fahrerassistenzsystems und/oder des erfindungsgemäßen Kraftfahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Fahrerassistenzsystems und/oder des erfindungsgemäßen Kraftfahrzeugs hier nicht noch einmal beschrieben.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.

Das erfindungsgemäße Fahrerassistenzsystem ist dazu ausgebildet, die Sensorvorrichtung des Kraftfahrzeugs anzusteuern, so dass mittels des zumindest einen Sensors ein Objekt in der aktuellen Umgebung des Kraftfahrzeugs aus zumindest zwei unterschiedlichen Aufnahmepositionen heraus erfasst wird, wobei eine jeweilige Aufnahmeposition durch eine relative räumliche Position des das Objekt erfassenden Sensors in Bezug auf das Objekt und den dadurch bestimmten Blickwinkel des Sensors auf das Objekt beschrieben ist. Das Fahrerassistenzsystem ist weiterhin dazu ausgebildet, für jede Aufnahmeposition ein Einzelabbild des Objekts zu erstellen und in den Einzelabbildern zumindest ein Objektmerkmal des Objekts zu erkennen. Das Fahrerassistenzsystem ist außerdem dazu ausgebildet, die Einzelabbilder zum Erzeugen eines dreidimensionalen Gesamtabbilds des Objekts zu überlagern, wobei beim Überlagern die Einzelabbilder anhand des zumindest einen Objektmerkmals zueinander orientiert werden. Schließlich ist das Fahrerassistenzsystem dazu ausgebildet, das dreidimensionale Gesamtabbild zum Unterstützen eines Fahrmanövers des Kraftfahrzeugs in der aktuellen Umgebung bereitzustellen.

Das erfindungsgemäße Kraftfahrzeug, welches ein erfindungsgemäßes

Fahrerassistenzsystem aufweist, umfasst eine Sensorvorrichtung mit zumindest einem Sensor zum Erfassen von Objekten in einer aktuellen Umgebung des Kraftfahrzeugs und eine Ausgabevorrichtung zum Ausgeben des durch das Fahrerassistenzsystem bereitgestellten dreidimensionalen Gesamtabbilds.

Vorzugsweise wird das Bereitstellen des dreidimensionalen Gesamtabbilds parallel mit einem Parkassistenten betrieben. Beispielsweise erfassen Fahrzeugsensoren die Umgebung und ermitteln, ob mit Hilfe des Parkassistenten eine Parklücke zumindest semiautonom angefahren werden kann. Dies hat den Vorteil, dass dem Fahrer z.B. mittels eines Displays eine realistische 3D-Parkumgebung mit echten Bildern angezeigt wird. Damit wird ein Parkassistenzsystem weiter verbessert. Beispielsweise wird das Bereitstellen des dreidimensionalen Gesamtbildes erst dann durchgeführt, wenn das Fahrzeug unterhalb einer bestimmten Geschwindigeitsschwelle bewegt wird. Die Geschwindigkeitsschwelle beträgt z.B. zwischen 2 und 30 Km/h oder 2 und 20 Km/h oder 5 und 15 Km/h oder 8 und 15 Km/h. Dies hat den Vorteil, dass dann Bilder in ausreichend guter Qualität bereitgestellt werden können.

Bevorzugt ist der zumindest eine Sensor des Kraftfahrzeugs als ein Kamerasensor, ein Radar-Sensor und/oder als ein Lidar-Sensor ausgestaltet.

Bevorzugt sind die Sensoren derart verteilt an dem Kraftfahrzeug angeordnet, dass durch die Sensoren das Erfassen der Objekte in der aktuellen Umgebung des Kraftfahrzeugs zugleich aus unterschiedlichen Aufnahmepositionen heraus ermöglicht ist. Mit anderen Worten muss gemäß der hier beschriebenen Weiterbildung das Kraftfahrzeug nicht bezüglich des Objekts bewegt werden, um die Aufnahme aus unterschiedlichen Aufnahmepositionen heraus zu ermöglichen, da die verteilten Sensoren bereits unterschiedliche Blickwinkel auf das Objekt aufweisen.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst die Ausgabevorrichtung zum Ausgeben des bereitgestellten dreidimensionalen Gesamtabbilds einen Bildschirm und/oder ein Head-Up-Display und/oder eine Schnittstelle zu einer Datenbrille.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden. Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Dabei zeigen:

Fig. 1 eine schematische Darstellung eines Kraftfahrzeugs gemäß einer bevorzugten Ausführungsform der Erfindung;

Fig. 2 eine beispielhafte Darstellung eines 3D-Gitters, wobei die Gitterpunkte aus erkannten Objektmerkmalen gebildet sind;

Fig. 3 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Verfahrens.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.

Fig. 1 zeigt ein Kraftfahrzeug 10 mit einem Fahrerassistenzsystem 12 sowie einer Ausgabevorrichtung 14. Das Kraftfahrzeug 10 verfügt darüber hinaus über eine Sensorvorrichtung mit mehreren Sensoren 16, welche beispielsweise als Kamerasensoren ausgestaltet und in einem Frontbereich, einem Heckbereich, einem Dachbereich und/oder seitlichen Bereichen des Kraftfahrzeugs 10 angeordnet sein können.

Das Fahrerassistenzsystem 12 kann dazu ausgebildet sein, die Sensorvorrichtung des Kraftfahrzeugs 10 anzusteuern, so dass mittels der Sensoren 16 ein Objekt 18 in einer aktuellen Umgebung 20 des Kraftfahrzeugs 10 aus zumindest zwei unterschiedlichen Aufnahmepositionen heraus erfasst werden kann. Im vorliegend beschriebenen Beispiel kann dies auch im Stillstand des Kraftfahrzeugs 10 geschehen, da die Sensoren 16 entlang des Kraftfahrzeugs 10 verteilt sind und so zwangsläufig das Objekt 18 in der Umgebung 20 des Kraftfahrzeugs 10 aus unterschiedlichen Blickwinkeln heraus beobachten und/oder erfassen.

Das Fahrerassistenzsystem 12 kann weiterhin dazu ausgebildet sein, für jede der Aufnahmepositionen ein Einzelabbild des Objekts 18 zu erstellen. Das Fahrerassistenzsystem 12 kann außerdem in den Einzelbildern zumindest ein Objektmerkmal 22 des Objekts 18 erkennen. Bei dem Objektmerkmal 22 kann es sich um ein charakteristisches Merkmal des Objekts 18, beispielsweise eine Häuserkante und/oder einen Reifen eines anderen Kraftfahrzeugs, handeln. Mit anderen Worten kann das Fahrerassistenzsystem 12 einen Bilderkennungsalgorithmus aufweisen, der dazu ausgebildet ist, das Objektmerkmal 22 in den Einzelbildern zu erkennen.

Das Fahrerassistenzsystem 12 kann weiterhin dazu ausgebildet sein, aus den Einzelabbildern ein dreidimensionales Gesamtabbild des Objekts 18 zu erzeugen. Hierzu kann es die Einzelabbilder überlagern, wobei beim Überlagern die Einzelabbilder anhand des zumindest einen Objektmerkmals 22 zueinander orientiert werden.

Schließlich kann das Fahrerassistenzsystem 12 dazu ausgebildet sein, das dreidimensionale Gesamtabbild um Unterstützen eines Fahrmanövers des Kraftfahrzeugs 10 in der aktuellen Umgebung 20 bereitzustellen. Dies kann beispielsweise dadurch erfolgen, dass das Fahrerassistenzsystem 12 das dreidimensionale Gesamtabbild an die Ausgabevorrichtung 14 übermittelt. Dort kann das dreidimensionale Gesamtabbild in Form eines dreidimensionalen Nachbaus des Objekts 18 visualisiert werden.

Fig. 2 zeigt eine schematische Darstellung eines Gitters 24, bestehend aus miteinander verbundenen einzelnen Gitterpunkten. Im Zusammenhang mit der vorliegenden Erfindung können die beschriebenen Objektmerkmale 22 solche Gitterpunkte bilden. Die Flächen 26, die sich durch die Verbindung der einzelnen Gitterpunkte oder Objektmerkmale 22 ergeben, können in einem weiteren Bearbeitungsschritt mit einer Textur oder Texturmerkmalen gefüllt werden, wodurch ein dreidimensionales Abbild der durch das Gitter 24 abgebildeten Objekte 18 entsteht.

Fig. 3 zeigt eine schematische Darstellung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems 12 für ein Kraftfahrzeug 10. In einem Schritt S1 wird ein Objekt 18 in der aktuellen Umgebung 20 des Kraftfahrzeugs 10 mittels zumindest eines Sensors 16 des Kraftfahrzeugs 10 erfasst, wobei das Objekt 18 aus zumindest zwei unterschiedlichen Aufnahmepositionen heraus erfasst wird, wobei eine jeweilige Aufnahmeposition durch eine räumliche Position des das Objekt 18 erfassenden Sensors 16 in Bezug auf das Objekt 18 und den dadurch bestimmten Blickwinkel des Sensors 16 auf das Objekt 18 beschrieben ist. In einem Schritt S2 wird ein Einzelabbild des Objekts 18 für jede Aufnahmeposition erstellt. In einem Schritt S3 wird in den Einzelabbildern zumindest ein Objektmerkmal 22 des Objekts 18 erkannt. In einem Schritt S4 werden die Einzelabbilder zum Erzeugen eines dreidimensionalen Gesamtabbilds des Objekts 18 überlagert, wobei beim Überlagern die Einzelabbilder anhand des zumindest einen Objektmerkmals 22 zueinander orientiert werden. In einem Schritt S5 wird schließlich das dreidimensionale Gesamtbild zum Unterstützen eines Fahrmanövers des Kraftfahrzeugs 10 in der aktuellen Umgebung 20 bereitgestellt.

Insgesamt zeigen die Beispiele, wie ein Fahrmanöver eines Kraftfahrzeugs, beispielsweise ein zumindest teilautomatisiert stattfindender Parkvorgang, durch das Bereitstellen von 3D-Abbildern der Umgebung des Kraftfahrzeugs unterstützt werden kann.