Die Erfindung betrifft ein Verfahren zur Ermittlung eines Straßenzustandes, wobei Fahrzeuge einer Fahrzeugflotte datentechnisch mit einer zentralen Rechnereinheit verbunden sind.

Aus der DE 102019 006 384 A1 sind ein Verfahren und eine Vorrichtung zur vorausschauenden Straßenzustandserkennung mittels einer Umgebungserfassung eines Fahrzeuges durch zumindest eine Kamera bekannt. Dabei werden in erfassten Kamerabildern Reflexionen der Fahrbahnoberfläche ausgewertet. Die aus den Kamerabildern gewonnenen Informationen über Reflexionen werden gemeinsam mit Fahrzeugdaten eines Regensensors und/oder eines Scheibenwischers an eine externe Recheneinheit übertragen. Damit werden charakteristische Reflexionen und unterschiedliche Straßenbedingungen bestimmt.

Darüber hinaus beschreibt die DE 102020 005 185 A1 ein Verfahren zum Abschätzen eines Straßenzustandes einer Straße in einer Umgebung eines Kraftfahrzeuges mittels einer kraftfahrzeugexternen elektronischen Recheneinrichtung. Dabei wird mittels einer Erfassungseinrichtung des Kraftfahrzeuges die Straße als Straßeninformation erfasst und die Straßeninformation wird an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen. Die kraftfahrzeugexterne elektronische Recheneinrichtung weist eine künstliche Intelligenz auf, mittels welcher in Abhängigkeit von der übertragenen Straßeninformation der Straßenzustand abgeschätzt wird, wobei mittels der künstlichen Intelligenz ein zukünftiger Straßenzustand in Abhängigkeit von zumindest einem Parameter prognostiziert wird.

Weiterhin offenbart die EP 1 273496 A2 ein Verfahren zur Fahrbahnklassifizierung in einem Fahrzeug, wobei translatorische Bewegungen eines Fahrzeugrades relativ zu einem Fahrzeugkörper und/oder auf ein Fahrzeugrad wirkende Kräfte bestimmt werden. Eine Auswertung erfolgt anhand der dynamischen Anteile der Bewegungen des Fahrzeugrades und/oder der auf das Fahrzeugrad wirkenden Kräfte oberhalb einer vorbestimmten Grenzfrequenz. Mittels Auswertung wird eine Unterscheidung zwischen Fahrbahntypen und/oder Fahrbahnzuständen getroffen.

Aus der DE 102019 133 536 A1 ist ein Verfahren bekannt, bei dem eine Korrektur von Kartendaten und Satellitenbildern anhand von Bildinformationen von Fahrzeugen vorgesehen ist.

Aus der DE 102019214628 A1 ist ein Verfahren bekannt, bei dem vorgesehen ist, zur Erkennung eines Straßenverlaufs eine Fusion aus Satellitenbilddaten und Radardaten vorzunehmen und auf Daten aus einer Fahrzeugsensorik zurückzugreifen.

Aus der DE 102006 051 539 A1 ist ein Verfahren bekannt, bei dem vorgesehen ist, fahrzeugbezogene Bildaufnahmen durch Luftbildaufnahmen aus Satellitendaten zu ergänzen.

Aus der DE US 2020/0 023 835 A1 ist ein Verfahren bekannt, bei dem Trajektorien von Fahrzeugen auf einer Fahrbahn oder an einem Knotenpunkt aus Satellitenbildern und Kartendaten erlernt werden.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Ermittlung eines Straßenzustandes anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die in Anspruch 1 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Ein Verfahren zur Ermittlung eines Straßenzustandes, wobei Fahrzeuge einer Fahrzeugflotte datentechnisch mit einer zentralen Rechnereinheit verbunden sind, sieht erfindungsgemäß vor, dass mittels der zentralen Rechnereinheit Satellitenbilder der Erdoberfläche empfangen werden. In der zentralen Rechnereinheit werden mittels digitaler Kartendaten aus den empfangenen Satellitenbildern Bildinformationen von Straßenoberflächen extrahiert und mittels eines lernenden Algorithmus wird aus den extrahierten Bildinformationen der Straßenoberflächen ein Straßenzustand von Streckenabschnitten einer jeweiligen Straße ermittelt.

Mittels des Verfahrens ist eine flächendeckende Vorhersage von Straßenzuständen möglich, wobei die Vorhersage weitestgehend unabhängig von lokal gemessenen Daten ist. Das Verfahren ermöglicht es, anhand der Satellitenbilder den jeweiligen Straßenzustand zu prädizieren und mit realen Flottendaten hochgenau anzureichern. Dadurch wird eine Abdeckung zur Straßenzustandsermittlung auch auf vergleichsweise gering befahrene Straßen verbessert und liefert relativ genaue Daten auch ohne zur Verfügung stehende Flottendaten. Zusätzlich wird die Robustheit des Prädiktionsmodells durch reale Fahrzeugmessungen iterativ trainiert und verbessert, wodurch über einen zeitlichen Verlauf zunehmend die Notwendigkeit von Fahrzeugdaten verringert werden kann. Insbesondere können Falschmessungen, die auf Umwelteinflüssen, wie zum Beispiel Schatten, Nässe etc. beruhen, verringert werden.

Durch Anwendung des Verfahrens werden also Informationen über den Straßenzustand von Streckenabschnitten ermittelt, die dazu genutzt werden können, um zu entscheiden, ob ein jeweiliger Streckenabschnitt für einen automatisierten Fährbetrieb eines Fahrzeuges, insbesondere für einen hochautomatisierten oder fahrerlosen Fährbetrieb, geeignet ist. Auf Grundlage der ermittelten Informationen über den Straßenzustand eines Streckenabschnittes kann dieser wegen seines Straßenzustandes zumindest zeitweise für den automatisierten Fährbetrieb gesperrt werden.

Auch können die Informationen dazu genutzt werden, eine Fahrdynamik eines Fahrzeuges, dem diese Informationen vorliegen, insbesondere in Bezug auf eine Fahrgeschwindigkeit und/oder Beschleunigung, an den Straßenzustand anzupassen, insbesondere bei einem automatisiert fahrenden Fahrzeug. Somit ist es möglich, Beschädigungen an Fahrzeugen, welche den Streckenabschnitt befahren, weitestgehend zu vermeiden.

Darüber hinaus kann, sofern bei der Ermittlung des Straßenzustandes Straßenschäden erkannt werden, diese an verantwortliche Stellen gemeldet, insbesondere übermittelt werden. Somit ist die verantwortliche Stelle informiert und kann die Straßenschäden beseitigen.

In einer Ausführung des Verfahrens wird der Algorithmus mittels Ground-Truth-Daten, die von den Fahrzeugen der Fahrzeugflotte als die oben genannten Flottendaten beim Befahren des jeweiligen Streckenabschnittes erfasst werden und an die zentrale Rechnereinheit übermittelt werden, trainiert. Dadurch kann eine Genauigkeit des Algorithmus zur Ermittlung des Straßenzustandes eines jeweiligen Streckenabschnittes verbessert werden.

In einer weiteren Ausführung wird anhand erfasster Signale einer Sensorik des jeweiligen Fahrzeuges der Fahrzeugflotte ein realer Straßenzustand ermittelt. Diese erfassten Signale werden der zentralen Rechnereinheit als Flottendaten zugeführt und bei der Ermittlung des entsprechenden Straßenzustandes berücksichtigt, da es sich um reale Daten handelt, so dass die Genauigkeit der ermittelten Straßenzustände optimiert werden kann.

Anhand erfasster Fahrzeugsystemzustände des jeweiligen Fahrzeuges der Fahrzeugflotte wird in einer Weiterbildung des Verfahrens ein realer Straßenzustand ermittelt. Beispielsweise wird der anhand der erfassten Signale der Sensorik ermittelte Straßenzustand mit dem anhand der Fahrzeugsystemzuständen ermittelte Straßenzustand plausibilisiert oder detailliert. Insbesondere wird der reale Straßenzustand anhand einer Kombination des sensorisch ermittelten und des anhand der Fahrzeugsystemzustände ermittelten Straßenzustandes erstellt. Mittels der erfassten Fahrzeugsystemzustände können Erhöhungen und Vertiefungen in einem Belag des Streckenabschnittes ermittelt werden.

Eine weitere mögliche Ausführung sieht vor, dass ein Reibungskoeffizient des jeweiligen Streckenabschnittes anhand eines erfassten Schlupfes eines angetriebenen Fahrzeugrades des jeweiligen Fahrzeuges der Fahrzeugflotte ermittelt wird.

Beispielsweise wird anhand des Reibungskoeffizienten bestimmt, wie eine Trajektorie eines automatisiert fahrenden Fahrzeuges berechnet wird. Insbesondere kann anhand des Reibungskoeffizienten ein Rückschluss auf eine Beschaffenheit einer Oberfläche des Streckenabschnittes, also des Belages, welchen das Fahrzeug der Fahrzeugflotte überfährt, gezogen werden. Der zentralen Rechnereinheit liegen allgemeine Umweltdaten, wie beispielsweise Informationen zu Witterungsverhältnissen vor, so dass im Wesentlichen ein tatsächlicher Reibungskoeffizient ermittelt werden kann.

In einer möglichen Ausbildung des Verfahrens wird ein Straßenzustandsmodell anhand von Flottendaten der Fahrzeuge der Fahrzeugflotte und ein weiteres Straßenzustandsmodell anhand der Satellitenbilder erstellt, wobei anhand der Straßenzustandsmodelle und weiterer Daten ein synchronisiertes Straßenzustandsmodell erstellt wird. Das heißt, dass ein Abgleich zwischen den Straßenzustandsmodellen erfolgt und gegebenenfalls zusätzlich Kartendaten als weitere Daten herangezogen werden, um das synchronisierte Straßenzustandsmodell zu erstellen, welches die Straßenzustände von Streckenabschnitten der jeweiligen Straße abbildet und eine vergleichsweise robuste Basis, insbesondere zur Freigabe für einen automatisierten Fährbetrieb, insbesondere hochautomatisierten oder fahrerlosen Fährbetrieb von Fahrzeugen darstellt.

In einer weiteren Ausführung wird das synchronisierte Straßenzustandsmodell zumindest den Fahrzeugen der Fahrzeugflotte mittels der zentralen Rechnereinheit zur Verfügung gestellt, so dass beispielsweise Einstellungen einer Fahrdynamik des jeweiligen Fahrzeuges, beispielsweise auf einem Streckenabschnitt mit Straßenschäden, angepasst werden können. Somit ist es möglich, Beschädigungen am Fahrzeug, beispielsweise aufgrund eines Durchfahrens eines Schlagloches, zumindest zu verringern.

In einer Ausführung werden ermittelte Informationen über den Straßenzustand zur Entscheidungsfindung einer Freigabe oder Sperrung von Streckenabschnitten für einen automatisierten Fährbetrieb von Fahrzeugen herangezogen. Das heißt, dass ermittelt wird, ob auf einem bestimmten Streckenabschnitt im automatisierten Fährbetrieb gefahren werden kann, ohne dass Fehlfunktionen eines Assistenzsystems zum automatisieren Fährbetrieb, insbesondere zum autonomem Fährbetrieb, auftreten, oder das Fahrzeug bei Befahren der bestimmten Streckenabschnitte beschädigt wird, beispielsweise wegen vorhandener Schlaglöcher.

Darüber hinaus sieht eine Ausführung vor, dass basierend auf ermittelten Informationen über den Straßenzustand eine Fahrdynamik im Betrieb eines Fahrzeuges der Fahrzeugflotte automatisch entsprechend angepasst wird. Werden beispielsweise geringe Straßenschäden erkannt und ein automatisierter Fährbetrieb ist dennoch möglich, so werden beziehungsweise wird zum Beispiel eine Beschleunigung und/oder Fahrgeschwindigkeit an den Straßenzustand angepasst. Auch für einen manuellen Fährbetrieb des Fahrzeuges können diese Informationen genutzt werden. Beispielsweise wird bei ermittelten Straßenschäden ein Warnhinweis im Fahrzeug ausgegeben, die Fahrgeschwindigkeit zu verringern, so dass ein Beschädigungsrisiko für das Fahrzeug verringert werden kann.

Weiterhin wird bei erkannten Straßenschäden auf einem Streckenabschnitt eine verantwortliche Stelle zur Beseitigung der Straßenschäden informiert. Durch Vorliegen dieser Information kann die verantwortliche Stelle handeln. Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch einen Streckenabschnitt, ein auf diesem fahrendes Fahrzeug, Satelliten und eine zentrale Rechnereinheit,

Fig. 2 schematisch eine perspektivische Ansicht eines Ausschnittes des Fahrzeuges mit verschiedenen Fahrzeugsystemen,

Fig. 3 schematisch ein Daten- und Kommunikationsmodell zum Abgleichen ermittelter Straßenzustandsmodelle und

Fig. 4 schematisch eine kontinuierliche Beobachtung eines Straßenzustandes.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Figur 1 zeigt einen Streckenabschnitt S einer Straße, auf welcher ein Fahrzeug 1 fährt. Der Streckenabschnitt S weist Bereiche B1, B2 unterschiedlicher Qualität eines Belages auf. Weiterhin sind zwei Satelliten 2, ein Sende- und Empfangsmodul 3 und eine mit dem Fahrzeug 1 datentechnisch gekoppelte zentrale Rechnereinheit 4, wobei eine Kommunikation des Fahrzeuges 1 mit der zentralen Rechnereinheit 4 und eine Kommunikation der Satelliten 2 mit der zentralen Rechnereinheit 4 über das Sende- und Empfangsmodul 3 erfolgt.

Zudem zeigt die Figur 1 stark vereinfacht einen Ablauf eines Verfahrens zur Ermittlung eines Straßenzustandes.

In Figur 2 ist ein perspektivischer Ausschnitt eines Fahrzeuges 1 mit verschiedenen Fahrwerkssystemen dargestellt und Figur 3 zeigt ein Daten- und Kommunikationsmodell zum Abgleichen ermittelter Straßenzustandsmodelle S1, S2, S3.

Das Fahrzeug 1 weist ein nicht näher gezeigtes Assistenzsystem zum teil- oder hochautomatisierten Fährbetrieb auf und ist Bestandteil einer Fahrzeugflotte, beispielweise eines Fahrzeugherstellers, wobei alle Fahrzeuge der Fahrzeugflotte datentechnisch mit der zentralen Rechnereinheit 4 gekoppelt sind.

Insbesondere für einen hochautomatisierten Fährbetrieb ist es essentiell, dass Straßenbedingungen befahrener oder zu befahrener Streckenabschnitte S einer Straße exakt bestimmt werden können.

Faktoren, wie zum Beispiel ein in Figur 2 gezeigter Reibungskoeffizient p bestimmen, wie ein automatisiert fahrendes Fahrzeug 1 seine Trajektorie berechnet. Zudem müssen ein erforderlicher Bremsdruck und weitere Faktoren für den automatisierten Fährbetrieb richtig berechnet werden.

Auch für einen manuellen Fährbetrieb des Fahrzeuges 1 ist ein vorliegender Straßenzustand vergleichsweise wichtig, beispielsweise um Beschädigungen am Fahrzeug 1 wegen überfahrener Straßenschäden weitestgehend zu vermeiden.

Im Allgemeinen profitieren Gemeinden und Autobahnmeistereien, wenn ihnen bekannt ist, an welchen Orten das Vorherrschen von Glatteis und an welchen Orten Straßenschäden zu verzeichnen sind oder auftreten können.

Im Folgenden wird das Verfahren zur Ermittlung von Straßenzuständen beschrieben, wobei das Verfahren ermöglicht, relativ flächendeckend und mit vergleichsweise hoher Frequenz und Genauigkeit Straßenverhältnisse, also Straßenzustände, zu bestimmen und zu prognostizieren.

Das Fahrzeug 1 , das heißt die Fahrzeuge 1 der Fahrzeugflotte weisen eine Sensorik mit einer Anzahl von im und/oder am Fahrzeug 1 angeordneten Sensoren, die beispielsweise als Kamera, lidarbasierte, radarbasierte und/oder ultraschallbasierte Sensoren ausgebildet sind. Diese Sensoren erfassen insbesondere optische Signale, also optische Sensordaten SD.

Darüber hinaus umfasst das Fahrzeug 1 eine Fahrwerkssensorik zur Erfassung von Fahrwerksdaten FD und eine Vorrichtung zur Fahrdynamikregelung, mittels welcher ein Schlupf Sp etc. ermittelt wird.

Ein aktives Fahrwerk ermöglicht eine Bestimmung eines Straßenzustandes eines momentan befahrenen Streckenabschnittes S einer Straße, wobei dazu die Sensordaten SD, die Fahrwerksdaten FD sowie der ermittelte Schlupf Sp herangezogen werden.

Die Satelliten 2 sind Komponenten eines Satellitennetzwerkes, insbesondere eines LEO- Satellitensystems, wobei LEO die Abkürzung für Low Earth Orbit ist. Die Satelliten 2 weisen jeweils eine Anzahl von Bildsensoren zur Erfassung von Satellitenbildern B, das heißt von optischen Weltdaten, auf.

Mittels der Satelliten 2 werden Satellitenbilder B der Erdoberfläche und somit von Straßenoberflächen aufgenommen. Die erfassten, also die aufgenommenen Satellitenbilder B werden über das Sende- und Empfangsmodul 3 an die zentrale Rechnereinheit 4 übermittelt. Die zentrale Rechnereinheit 4 extrahiert aus den Satellitenbildern B Bildinformationen eines jeweiligen Straßenzustandes von Streckenabschnitten S der jeweiligen Straße.

Die Fahrzeuge 1 der Fahrzeugflotte und die Satelliten 2 führen also eine Erfassung E, das heißt eine Messung, in Bezug auf den jeweiligen Straßenzustand durch, wobei die erfassten Sensordaten SD, die erfassten Fahrwerksdaten FD und die erfassten Satellitenbilder B, insbesondere die extrahierten Bildinformationen, einem lernenden Algorithmus M in Form eines sogenannten Deep Learning Models zugeführt werden. Anhand des lernenden Algorithmus M kann bei ausreichender Menge erfassten Daten SD, FD, B eine Prädiktion P in Bezug auf zukünftige Straßenzustände erfolgen.

Mit anderen Worten misst das Fahrzeug 1 mittels seiner Sensorik, das heißt der optischen Sensoren, einer Aktuatorik des Fahrwerkes 1.1 und des ermittelten Schlupfes Sp der Fahrzeugräder 1.2 den Straßenzustand des momentan befahrenen

Streckenabschnittes S. Das Fahrzeug 1 sendet dann die erfassten oder ermittelten Informationen an die zentrale Rechnereinheit 4. Ein Netzwerk von Satelliten 2 misst ebenfalls die Straßenzustände von Streckenabschnitten S.

Fahrzeugsystemzustände werden gemessen, wobei ermittelte Fahrwerksdaten mit erfassten Signalen zumindest eines fahrzeugseitigen Beschleunigungssensors abgeglichen werden. Eine Erkennung der Fahrzeugsystemzustände liefert Daten über den Straßenzustand, insbesondere in Bezug auf Erhöhungen und Vertiefungen im Belag.

Insbesondere wird der Algorithmus M zur Prädiktion P des Straßenzustandes anhand der extrahierten Bildinformationen der aufgenommenen Satellitenbilder B erstellt. Hierbei wird ein initiales Modell, beispielsweise das Deep Learning Model, basierend auf Reinforcement Learning, aufgesetzt, welches den Straßenzustand anhand der Satellitenbilder B prädiziert. In einem iterativen Prozess werden von den Fahrzeugen 1 der Fahrzeugflotte in Figur 4 gezeigte real gemessene Flottendaten Ft in Bezug auf die Straßenzustände als Ground-Truth verwendet, um den Algorithmus M zu verfeinern, zu präzisieren, um eine Zuverlässigkeit in Bezug auf die Prädiktion P der Straßenzustände zu erhöhen. Eine Sicherheit der Prädiktion P erhöht sich dabei bei jedem von einem Fahrzeug 1 der Fahrzeugflotte gefahrenen Kilometer.

Die real gemessenen Daten SD, FD, Sp der Fahrzeuge 1 der Fahrzeugflotte, das heißt die realen Flottendaten Ft, können eine Robustheit des Algorithmus M optimieren und eine Anzahl falsch detektierter Straßenschäden der Satelliten 2 verringern.

Gemäß Figur 3 wird anhand der Sensordaten SD, des Schlupfes Sp und der Fahrwerksdaten FD, die miteinander abgeglichen und verifiziert werden, ein Straßenzustandsmodell S1 erstellt.

Anhand der aufgenommen Satellitenbilder B und digitaler Kartendaten KD, die zugeordnet und miteinander abgeglichen werden, wird ein weiteres Straßenmodell S2 erstellt.

Anand dieser beiden Straßenzustandsmodelle S1 , S2 erstellt die zentrale Rechnereinheit 4 ein synchronisiertes Straßenzustandsmodell S3, welches mit weiteren Daten D, beispielsweise Kartendaten KD, erweitert wird.

Zwischen Satelliten 2 und zentraler Rechnereinheit 4 erfolgt hierzu eine entsprechende Kommunikation und Verifizierung in Bezug auf das weitere Straßenzustandsmodell S2 und das synchronisierte Straßenzustandsmodell S3.

Auch zwischen dem Fahrzeug 1 und der zentralen Rechnereinheit 4 erfolgt eine Kommunikation in Bezug auf das Straßenzustandsmodell S1 und das synchronisierte Straßenzustandsmodell S3.

Dieses synchronisierte Straßenzustandsmodell S3 bildet den Straßenzustand des jeweiligen Streckenabschnittes S einer Straße ab.

Figur 4 zeigt eine kontinuierliche Beobachtung eines Streckenabschnittes S anhand erfasster Satellitenbilder B eines Satelliten 2 oder mehrerer Satelliten 2. Zu einem Zeitpunkt tO wird der Streckenabschnitt S ohne Straßenschäden, insbesondere ohne Schlagloch SL1 , SL2 erfasst. Zu einem zweiten Zeitpunkt t1 wird ein vergleichsweise gering ausgeprägtes Schlagloch SL1 erfasst, wohingegen dieses Schlagloch SL1 zu einem dritten Zeitpunkt t2 vergleichsweise groß ist und sich ein zweites Schlagloch SL2 auf dem Streckenabschnitt S ausgebildet hat.

Über einen zeitlichen Verlauf der erfassten Flottendaten Ft und einer Zuordnung dieser zu den Bildinformationen der Satellitenbilder B können Straßenschäden erkannt werden. Dadurch können mittels des Algorithmus M bei ausreichender Datenlage zukünftige Straßenschäden prädiziert werden.