Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETECTING GHOST OBJECTS IN SENSOR MEASUREMENTS
Document Type and Number:
WIPO Patent Application WO/2023/143800
Kind Code:
A1
Abstract:
The invention relates to a method for detecting ghost objects in sensor measurements of an environment of a vehicle. According to the invention, map context information is obtained from a digital road map. Objects (O) with associated attributes are recognized in the environment of the vehicle, and social context information about the objects (O) in relation to each other is generated. All available data regarding a traffic situation involving the vehicle and the objects (O) is stored in a graph structure (GS), which comprises nodes (K1 to Km) and edges (E1 to En). Relational information (RI) is represented in the graph structure (GS) by means of the edges (E1 to En). In light of the map context information and the social context information, anomalies and patterns are searched for in features of the graph structure (GS), and ghost objects are classified on the basis of recognized anomalies and patterns.

Inventors:
MONNINGER THOMAS (US)
SCHMIDT JULIAN (DE)
RUPPRECHT JAN (DE)
RABA DAVID (DE)
WELZ TOBIAS (DE)
Application Number:
PCT/EP2022/085336
Publication Date:
August 03, 2023
Filing Date:
December 12, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MERCEDES BENZ GROUP AG (DE)
International Classes:
G06N5/02; G01S7/41; G01S7/48; G01S13/931; G01S17/931; G06V10/84; G06V20/58; G06N3/04
Foreign References:
DE102021001452A12021-05-12
DE102021005084A12022-01-20
DE102020124236A12021-04-08
Attorney, Agent or Firm:
LEDERER, Elisabeth (DE)
Download PDF:
Claims:
Patentansprüche Verfahren zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs, dadurch gekennzeichnet, dass

- aus einer digitalen Straßenkarte Karten-Kontextinformationen gewonnen werden,

- in der Umgebung des Fahrzeugs Objekte (01 bis 011) mit zugehörigen Attributen erkannt werden,

- soziale Kontextinformationen der Objekte (01 bis 011) zueinander generiert werden,

- alle verfügbaren Daten einer Verkehrssituation mit dem Fahrzeug und den Objekten (01 bis 011) in einer Graphenstruktur (GS), umfassend

Knoten (K1 bis Km) und Kanten (E1 bis En), abgelegt werden, wobei relationale Informationen (RI) in der Graphenstruktur (GS) mittels der Kanten (E1 bis En) abgebildet werden,

- unter Berücksichtigung der Karten-Kontextinformationen und der sozialen Kontextinformationen Anomalien und Muster in Merkmalen der Graphenstruktur (GS) gesucht werden und

- anhand erkannter Anomalien und Muster Geisterobjekte klassifiziert werden. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Sensormessungen mittels mehrerer Sensoren

- aus Sensormessungen einzelner Sensoren ermittelte Objekthypothesen berücksichtigt werden und

- anhand zumindest einer Objekthypothese zumindest einer Sensormessung eines Sensors eine Detektion von Geisterobjekten in mittels zumindest eines weiteren Sensors durchgeführten Sensormessungen plausibilisiert oder deplausibilisiert wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Merkmale der Graphenstruktur (GS)

- geometrische Relationen zwischen Objekten (01 bis 011) und/oder

- geometrische Relationen zwischen Objekten (01 bis 011) und Positionen in deren Umgebung und/oder

- kinematische Relationen zwischen dynamischen Objekten (01 bis 011) und/oder

- semantische Relationen zwischen Objekten (01 bis 011) und/oder

- statische Relationen zwischen den Objekten (01 bis 011) verwendet werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmale der Graphenstruktur (GS)

- zeitliche Informationen und/oder

- ein Abstand des Fahrzeugs zu zumindest einem Objekt (01 bis 011) in der Umgebung bei der ersten Detektion des Objekts (01 bis 011) und/oder bei ersten Sensormessungen einer Messreihe und/oder

- eine Geschwindigkeit zumindest eines Objekts (01 bis 011) im Vergleich zu weiteren umliegenden Objekten (01 bis 011) und/oder

- eine Position zumindest eines Objekts (01 bis 011) im Vergleich zu einem aus den Karten-Kontextinformationen ermittelten Straßennetz und/oder

- eine Orientierung zumindest eines Objekts (01 bis 011) im Vergleich zu einer Orientierung einer unter dem Objekt (01 bis 011) befindlichen Fahrspur verwendet werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifikation lernbasiert mittels eines graphenbasierten künstlichen neuronalen Netzwerks (N) erfolgt.

Description:
Verfahren zur Detektion von Geisterobjekten in Sensormessungen

Die Erfindung betrifft ein Verfahren zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs.

Aus der DE 102020 124236 A1 ist ein Verfahren für ein Radarsystem eines Fahrzeugs mit folgenden Schritten bekannt:

- Erkennen zweier oder mehrerer Objekte unter Verwendung des Radarsystems des Fahrzeugs;

- Initiieren von Spuren der zwei oder mehreren Objekte in einer Spurdatenbank, wobei die Spuren jeweils Daten für die zwei oder mehreren Objekte speichern und auf der Grundlage zusätzlicher Erkennungen der zwei oder mehreren Objekte aktualisiert werden, und die Spuren der zwei oder mehreren Objekte anfänglich nicht klassifizierte Spuren in der Spurdatenbank sind;

- Auswählen, unter Verwendung eines Prozessors, von zwei Spuren, die zwei der zwei oder mehreren Objekte aus der Spurdatenbank entsprechen, als Kandidatenpaar;

- Anwenden von Kriterien auf das Kandidatenpaar unter Verwendung des Prozessors, um zu bestimmen, ob eine Spur der beiden Spuren des Kandidatenpaars eine Spur eines Geisterobjekts ist, das aus einer Mehrwegreflexion resultiert, und eine andere Spur der beiden Spuren des Kandidatenpaars eine Spur eines wahren Objekts ist, das dem Geisterobjekt entspricht, wobei das Geisterobjekt die Erfassung des wahren Objekts an einer falschen Stelle darstellt;

- Klassifizieren des Kandidatenpaars in der Spurdatenbank unter Verwendung des Prozessors als Spuren eines wahren Objekt- und Geisterobjektpaares auf der Grundlage der Bestimmung, dass die eine Spur der beiden Spuren des Kandidatenpaares die Spur des Geisterobjektes und die andere Spur der beiden Spuren des Kandidatenpaares die Spur des wahren Objektes ist, das dem Geisterobjekt entspricht; und - Berichten von Informationen aus der Spurdatenbank, und basierend auf dem Klassifizieren umfasst das Berichten das Bereitstellen der Daten nur für die Spur des wahren Objekts, wobei die Informationen zur Steuerung eines Betriebs des Fahrzeugs verwendet werden.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In dem Verfahren zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs werden erfindungsgemäß aus einer digitalen Straßenkarte Karten-Kontextinformationen gewonnen, in der Umgebung des Fahrzeugs Objekte mit zugehörigen Attributen erkannt und soziale Kontextinformationen der Objekte zueinander generiert. Alle verfügbaren Daten einer Verkehrssituation mit dem Fahrzeug und den Objekten werden in einer Graphenstruktur, umfassend Knoten und Kanten, abgelegt, wobei relationale Informationen in der Graphenstruktur mittels der Kanten abgebildet werden. Unter Berücksichtigung der Karten-Kontextinformationen und der sozialen Kontextinformationen werden Anomalien und Muster in Merkmalen der Graphenstruktur gesucht und anhand erkannter Anomalien und Muster Geisterobjekte klassifiziert.

Für einen automatisierten, insbesondere hochautomatisierten oder autonomen Fährbetrieb von Fahrzeugen ist eine präzise Erkennung von Objekten in der Umgebung des Fahrzeugs erforderlich. Um hohe Anforderungen an die Sicherheit bei automatisierten Fährbetrieben, beispielsweise gemäß Level 2, Level 3, Level 4 und Level 5 der Norm SAE J3016, zu erfüllen, werden Sensormessungen von Sensormodalitäten, beispielsweise Kamerasensoren, Radarsensoren und/oder Lidarsensoren, benötigt. Dabei bilden die Sensormodalitäten insbesondere eine redundante Sensorik mit mehreren gleichartigen und/oder verschiedenen Sensormodalitäten. Die Sensormessungen der Sensormodalitäten werden dabei einzeln oder fusioniert genutzt.

Für eine größtmögliche Sicherheit muss eine Latenz einer Reaktion des Fahrzeugs auf ein Objekt minimal sein. Aus diesem Grund können wenige Sensormessungen oder kann jede einzelne Sensormessung eine Systemreaktion hervorrufen. Unter den Sensormessungen befinden sich neben wahr-positiven Messungen auch falsch-positive Messungen, bei denen ein Objekt an einer Stelle erkannt wurde, an der in Wirklichkeit keines ist. Falsch-positive Messungen können beispielsweise durch unerwünschte Sensorreflexionen, Fehldetektionen und/oder Detektionen von Darstellungen von Umgebungsobjekten, beispielsweise eines auf einer Plakatwerbung dargestellten Fahrzeugs, entstehen. Ein typisches Beispiel sind Radar-Reflexionen an Leitplanken oder Schilderbrücken.

Ein automatisiert betriebenes Fahrzeug generiert aus einer solchen falsch-positiven Messung ein Objekt. Auf Grund der Tatsache, dass dieses Objekt in der Realität nicht vorhanden ist, wird ein solches Objekt im Allgemeinen als Geisterobjekt bezeichnet. Reaktionen des automatisiert betriebenen Fahrzeugs auf Geisterobjekte können zu gefährlichen Situationen führen, beispielsweise zu einem Notbremsvorgang mit einem resultierenden Auffahrunfall.

Mittels des vorliegenden Verfahrens können Geisterobjekte besonders effektiv und zuverlässig detektiert werden. Dadurch, dass das Verfahren Informationen über alle Objekte in der Verkehrssituation bzw. Szene nutzt, kann für ein Objekt entschieden werden, ob dessen Attribute im Vergleich zu umliegenden Objekten auf eine Anomalie hinweisen. Dadurch, dass das Verfahren Kontextinformationen für eine umfangreiche Abbildung der Szene nutzt, kann eine kontextbasierte Klassifikation von Objekten realisiert werden, bei der beispielsweise das zugrundeliegende Straßennetz genutzt wird. Auch ist es mittels des Verfahrens möglich, zeitliche Aspekte zu berücksichtigen, um Muster über die zeitliche Dimension zu extrahieren.

Somit ermöglicht das Verfahren, die Umgebung des Fahrzeugs mit hoher Sensitivität zu erfassen und nachträglich Geisterobjekte, das heißt falsch-positive Messungen, zu erkennen und aus der Erfassung zu entfernen. Somit wird eine Gefahr verringert, dass wahre Objekte in der Umgebung nicht detektiert werden. Das heißt, eine Wahrscheinlichkeit falsch-negativer und falsch-positiver Messungen wird signifikant verringert.

Eine in einer möglichen Ausgestaltung des Verfahrens vorgesehene Erweiterung hin zu einer lernbasierten Klassifikation ermöglicht eine Extraktion von komplexen Mustern, die nicht manuell definierbar sind. Hieraus resultiert weiterhin, dass das Verfahren und ein dieses ausführendes System mit Daten skalierbar ist. Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch eine Draufsicht einer Verkehrssituation,

Fig. 2 schematisch eine Draufsicht der Verkehrssituation gemäß Figur 1 mit generierten Knoten für eine Graphenstruktur,

Fig. 3 schematisch die Knoten gemäß Figur 2 und diese verbindende Kanten für die Graphenstruktur,

Fig. 4 schematisch eine Graphenstruktur mit mehreren Knoten und Beziehungen zwischen den Knoten und

Fig. 5 schematisch einen Aufbau einer Graphenstruktur sowie eine Verarbeitung in der Graphenstruktur vorhandener Informationen mit einem graphenbasierten künstlichen neuronalen Netzwerk.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In Figur 1 ist eine Draufsicht einer Verkehrssituation an einer Straßenkreuzung mit aus einer digitalen Straßenkarte stammenden, als Spursegmente ausgebildeten Objekten 06 bis 011 dargestellt. Weiterhin sind ein als Verkehrsampel ausgebildetes Objekt 03, ein als Stoppschild ausgebildetes Objekt 04, ein als Fußgängerüberweg ausgebildetes Objekt 05 und zwei als Fahrzeuge ausgebildete Objekte 01, 02 im Bereich der Straßenkreuzung vorhanden.

Für einen automatisierten, insbesondere hochautomatisierten oder autonomen Fährbetrieb von Fahrzeugen ist eine präzise Erkennung von Objekten 01 bis 011 in der Umgebung des Fahrzeugs erforderlich. Hierzu weisen automatisiert betriebene Fahrzeuge eine Umgebungserfassungssensorik, umfassend beispielsweise Lidare, Radare, Kameras und Ultraschallsensoren, auf. Dabei können jeweilige Sensormodalitäten redundant vorhanden sein. Bei der Umgebungserfassung werden Sensormessungen der Sensormodalitäten einzeln oder fusioniert genutzt. Hierbei müssen falsch-negative Messergebnisse, das heißt ein Nicht-Erkennen wahrer

Objekte 01 bis 011 in der Umgebung, und falsch-positive Messergebnisse, das heißt ein Erkennen unwahrer Objekte 01 bis 011 , so genannter Geisterobjekte, vermieden werden.

Bei einer Erfassung der Umgebung mit einer geringen Sensibilität besteht die Gefahr, dass nicht alle wahren Objekte 01 bis 011 in der Umgebung erkannt werden, woraus sich gefährliche Situationen im automatisierten Fährbetrieb des Fahrzeugs ergeben können.

Bei einer Erfassung der Umgebung mit einer hohen Sensibilität besteht dagegen die Gefahr, dass Geisterobjekte in der Umgebung erkannt werden, welche nicht in der Umgebung vorhanden sind. Auch hieraus können sich gefährliche Situationen im automatisierten Fährbetrieb des Fahrzeugs ergeben.

Um entscheiden zu können, ob ein Objekt 01 bis 011 tatsächlich existiert, wird in einem Verfahren zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs Kontextinformation der Verkehrssituation bzw. Verkehrsszene verwendet. Hierdurch wird ermöglicht, dass die Umgebung zunächst mit hoher Sensibilität erfasst wird und anschließend Geisterobjekte in den erfassten Sensormessungen erkannt und aus diesen entfernt werden.

Wertvolle Informationen liefert hierbei ein der Verkehrssituation unterliegendes Straßennetz, welches aus einer digitalen Straßenkarte als Karten-Kontextinformation entnommen wird. Das Straßennetz ist dabei unter anderem durch die als Spursegmente ausgebildeten Objekte 06 bis 011 beschrieben.

Weitere wertvolle Informationen liefern andere Fahrzeuge im Umkreis des Fahrzeugs, vorliegend beispielsweise die Objekte 01 , 02. Aus Beziehungen der Objekte 01, 02 zueinander werden soziale Kontextinformationen generiert.

Um die hohe Sensibilität bei der Umgebungserfassung zu erreichen, werden in dem Verfahren alle verfügbaren Daten aus der Verkehrssituation in einer in Figur 5 näher dargestellten Graphenstruktur GS, dem so genannten Szenengraphen, abgelegt. Relationale Informationen werden in dieser Graphenstruktur GS mittels Kanten E1 bis En abgebildet, welche Knoten K1 bis Km verbinden. Figur 2 zeigt eine Draufsicht der Verkehrsszene gemäß Figur 1 mit generierten Knoten K1 bis K11 für ein mögliches Ausführungsbeispiel einer Graphenstruktur GS.

Zur Erzeugung der Graphenstruktur GS werden für alle verfügbaren dynamischen Informationen DI, statischen Informationen Sl und semantischen Informationen SEI, jeweils näher dargestellt in Figur 5, Knoten K1 bis Km gebildet.

Die statischen Informationen Sl umfassen dabei beispielsweise die als Spursegmente ausgebildeten Objekte 06 bis 011, die dynamischen Informationen DI beispielsweise die als Fahrzeug ausgebildeten Objekte 01, 02 und deren Trajektorien und die semantischen Informationen SEI beispielsweise das als Stoppschild ausgebildete Objekt 04, Lichtzeichenanlagen, beispielsweise das als Verkehrsampel ausgebildete Objekt 03, das als Fußgängerüberweg ausgebildete Objekt 05 und andere verkehrsregelnde Einrichtungen.

Vorliegend wird beispielsweise jedem Spursegment (Objekt 06 bis 011) ein Knoten K6 bis K11, dem Stoppschild (Objekt 04) ein Knoten K4, dem Fußgängerüberweg (Objekt 05) ein Knoten K5, der Verkehrsampel (Objekt 03) ein Knoten K3 und den als Fahrzeug ausgebildeten Objekten 01, 02 jeweils ein Knoten K1 , K2 zugeordnet.

In Figur 3 sind die Knoten K1 bis K11 gemäß Figur 2 und diese verbindende Kanten E1 bis E14 für ein mögliches Ausführungsbeispiel einer Graphenstruktur GS dargestellt.

Die Kanten E1 bis E14 bilden dabei ebenfalls in Figur 5 näher dargestellte relationale Informationen RI, das heißt Abhängigkeiten und Beziehungen, zwischen den Knoten K6 bis K11 ab.

Beispielsweise bildet die Kante E1 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 08 (Knoten K8) mit dem als Spursegment ausgebildeten Objekt 06 (Knoten K6) verbunden ist. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass bei einer Befahrung der Straßenkreuzung das Objekt 08 auf das Objekt 06 folgt.

Beispielsweise bildet die Kante E2 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 010 (Knoten K10) dem als Spursegment ausgebildeten Objekt 08 (Knoten K8) vorangeht. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, das Objekt 010 der erste Vorgänger des Objekts 06 ist.

Beispielsweise bildet die Kante E3 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 06 (Knoten K6) und das als Spursegment ausgebildete Objekt 011 (Knoten K11) verbunden sind. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass das Objekt 06 der rechte Nachbar des Objekts 011 ist.

Beispielsweise bildet die Kante E4 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 011 (Knoten K11) und das als Spursegment ausgebildete Objekt 06 (Knoten K6) verbunden sind. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass das Objekt 011 der linke Nachbar des Objekts 06 ist.

Beispielsweise bildet die Kante E5 als relationale Information RI ab, dass ein Regelungsgehalt der Verkehrsampel (Objekt 03, Knoten K3) für das als Spursegment ausgebildete Objekt 06 (Knoten K6) gilt.

Beispielsweise bildet die Kante E6 als relationale Information RI ab, dass sich das als Spursegment ausgebildete Objekt 011 (Knoten K11) unterhalb des als Fahrzeug ausgebildeten Objekts 01 (Knoten K1) befindet. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass sich das Spursegment mit einer bestimmten Wahrscheinlichkeit, zum Beispiel von 1 ,0, unterhalb des Fahrzeugs befindet.

Beispielsweise bildet die Kante E7 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 07 (Knoten K7) und das als Spursegment ausgebildete Objekt 06 (Knoten K6) verbunden sind. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass bei einer Befahrung der Straßenkreuzung das Objekt 07 auf das Objekt 06 folgt.

Beispielsweise bildet die Kante E8 als relationale Information RI ab, dass sich das als Spursegment ausgebildete Objekt 07 (Knoten K7) unterhalb des als Fahrzeug ausgebildeten Objekt 02 (Knoten K2) befindet. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass sich das Spursegment mit einer bestimmten Wahrscheinlichkeit, zum Beispiel von 0,7, unterhalb des Fahrzeugs befindet.

Beispielsweise bildet die Kante E9 als relationale Information RI ab, dass sich das als Spursegment ausgebildete Objekt 08 (Knoten K8) unterhalb des als Fahrzeug ausgebildeten Objekts 02 (Knoten K2) befindet. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass sich das Spursegment mit einer bestimmten Wahrscheinlichkeit, zum Beispiel von 0,3, unterhalb des Fahrzeugs befindet.

Beispielsweise bildet die Kante E10 als relationale Information RI ab, dass das als Spursegment ausgebildete Objekt 010 (Knoten K10) und das als Spursegment ausgebildete Objekt 09 (Knoten K9) verbunden sind. Als beziehungsspezifisches Attribut ist beispielsweise hinterlegt, dass das Objekt 010 dem Objekt 09 folgt.

Beispielsweise bildet die Kante E11 als relationale Information RI ab, dass ein Regelungsgehalt des Stoppschilds (Objekt 04, Knoten K4) für das als Spursegment ausgebildete Objekt 09 (Knoten K9) gilt.

Beispielsweise bildet die Kante E12 als relationale Information RI ab, dass der Fußgängerüberweg (Objekt 05, Knoten K5) über das als Spursegment ausgebildete Objekt 09 (Knoten K9) führt, das heißt dieses überlagert.

Beispielsweise bilden die Kante E13, E14 als relationale Information RI ab, dass die als Fahrzeuge ausgebildeten Objekte 01, 02 (Knoten K1, K2) miteinander interagieren. Beziehungsspezifische Attribute sind beispielsweise

- geometrische Relationen zwischen den Objekten 01 , 02, zum Beispiel eine Positionsdifferenz zwischen den Fahrzeugen in Metern,

- geometrische Relationen zwischen den Objekten 01 , 02, zum Beispiel eine Differenz von Gierwinkeln der Fahrzeuge zueinander, das heißt eine Differenz einer Ausrichtung der Fahrzeuge,

- kinematische Relationen zwischen den Objekten 01 , 02, beispielsweise eine Geschwindigkeitsdifferenz zwischen den Fahrzeugen.

Die zuvor genannten Objekte 01 bis 011 , die relationalen Informationen RI und die Attribute stellen mögliche Beispiele dar. Der beschriebene Ansatz ist dabei nicht auf die genannten Objekttypen, relationalen Informationen RI und Attribute beschränkt und kann hinsichtlich dieser beliebig um weitere mögliche Objekttypen, relationale Informationen RI und Attribute erweitert werden.

Unter Berücksichtigung der Kontextinformationen können Anomalien und Muster in der Graphenstruktur GS gefunden werden, die für eine Klassifikation von Geisterobjekten genutzt werden. Als Merkmale für die Klassifikation der Objekte 01 bis 011 werden die beispielsweise mit einer jeweiligen Sensormessung erfassten Attribute eines Objekts 01 bis 011 verwendet. Diese Attribute können beispielsweise eine Art des jeweiligen Objekts 01 bis 011 , beispielsweise Fahrzeug, Verkehrszeichen, Fußgänger etc., und/oder einen Typ des jeweiligen Objekts 01 bis 011 berücksichtigen. Beispielsweise sind bei einem als Fahrzeug gearteten Objekt 01 bis 011 mögliche Objekttypen Personenkraftwagen, Lastkraftwagen, Busse, Motorräder etc. Auch können die Attribute weitere ein Objekt 01 bis 011 beschreibende Informationen, beispielsweise einen kinematischen Zustand und/oder Positionsinformationen, umfassen.

Das heißt, eine jeweilige Sensormessung eines zu klassifizierenden Objekts 01 bis 011 umfasst nicht nur das jeweilige Objekt 01 bis 011 selbst, sondern auch spezifische Attribute des Objekts 01 bis 011 , die bei der Klassifizierung helfen.

Weiterhin können als Merkmale für die Klassifikation der Objekte 01 bis 011 als Attribute von Beziehungen der Objekte 01 bis 011 zueinander beispielsweise

- geometrische Relationen zwischen Objekten 01 bis 011 und/oder

- geometrische Relationen zwischen Objekten 01 bis 011 und Positionen in ihrer Umgebung und/oder

- kinematische Relationen zwischen dynamischen Objekten 01 bis 011 und/oder

- semantische Relationen zwischen Objekten 01 bis 011 und/oder

- statische Relationen zwischen den Objekten 01 bis 011 verwendet werden.

Beispielsweise können als Merkmale für die Klassifikation der Objekte 01 bis 011 Attribute derselben und/oder Attribute von Beziehungen der Objekte 01 bis 011 verwendet werden, welche beispielsweise

- zeitliche Informationen,

- einen Abstand des Objekts 01 bis 011 zum eigenen Fahrzeug bei einer ersten Detektion des Objekts 01 bis 011 und/oder bei ersten Sensormessungen einer Messreihe,

- eine Geschwindigkeit des Objekts 01 bis 011 im Vergleich zu umliegenden Objekten 01 bis 011 ,

- eine Position des Objekts 01 bis 011 im Vergleich zum Straßennetz und/oder - eine Orientierung des Objekts 01 bis 011 im Vergleich zur Orientierung eines darunterliegenden Fahrspursegments umfassen.

Das heißt beispielsweise, dass eine erste Sensormessung klassifiziert werden kann. Es können aber auch mehrere "erste" Sensormessungen klassifiziert werden. Es existieren Anforderungen für automatisiert fahrende Fahrzeuge, in welcher Zeit diese auf Objekte 01 bis 011 in ihrer Umgebung reagieren müssen. Wenn in dieser Zeit mehrere Sensormessungen desselben Sensors erfolgen, können somit auch mehrere "erste" Sensormessungen zur Klassifizierung verwendet werden. Es können somit auch Sensormessungen über die Zeit verwendet werden, so dass ein historischer Kontext eines Objekts 01 bis 011 ermittelt und somit hilfreiche Muster liefern kann. Dies ermöglicht beispielsweise, ein Verhalten von Fahrzeugen über die Zeit zu erfassen und zu berücksichtigen, schon bevor das eigentliche Objekt 01 bis 011 erkannt wird.

In einer möglichen Ausgestaltung ist weiterhin vorgesehen, dass bei Sensormessungen mittels mehrerer Sensoren, das heißt redundanten Sensoren, aus Sensormessungen einzelner Sensoren ermittelte Objekthypothesen berücksichtigt werden und anhand zumindest einer Objekthypothese zumindest einer Sensormessung eines Sensors eine Detektion von Geisterobjekten in mittels zumindest eines weiteren Sensors durchgeführten Sensormessungen plausibilisiert oder deplausibilisiert wird.

In Figur 4 ist ein mögliches Ausführungsbeispiel einer Graphenstruktur GS mit mehreren Knoten K1 bis Km und Beziehungen zwischen den Knoten K1 bis Km darstellenden Kanten E1 bis En dargestellt.

Dabei ist ein Knoten K1 beispielsweise ein Fußgängerüberweg, ein Knoten K2 eine Lichtzeichenanlage, ein Knoten K3 eine Fahrspur, ein Knoten K4 ein Verkehrsteilnehmer und ein Knoten Km ein Stoppschild.

Zwischen den Knoten K1 bis Km sind Kanten E1 bis En ausgebildet, welche Beziehungen zwischen den Knoten K1 bis Km, das heißt relationale Informationen RI, wiedergeben.

Beispielsweise bildet die Kante E1 als relationale Information RI ab, dass die Lichtzeichenanlage (Knoten K2) den Fußgängerüberweg (Knoten K1) anzeigt bzw. signalisiert. Beispielsweise bildet die Kante E2 als relationale Information RI ab, dass der Verkehrsteilnehmer (Knoten K4) den Fußgängerüberweg (Knoten K1) überquert.

Beispielsweise bildet die Kante E3 als relationale Information RI ab, dass der Fußgängerüberweg (Knoten K1) über die Fahrspur (Knoten K3) führt bzw. diese überlagert.

Beispielsweise bildet die Kante E4 als relationale Information RI ab, dass der Verkehrsteilnehmer (Knoten K4) sich auf der Fahrspur (Knoten K3) befindet.

Beispielsweise bildet die Kante E5 als relationale Information RI ab, dass sich die Fahrspur (Knoten K3) unterhalb des Verkehrsteilnehmers (Knoten K4) befindet.

Beispielsweise bildet die Kante E6 als relationale Information RI ab, dass sich die Fahrspur (Knoten K3) in einem Konflikt mit einem anderen nicht näher dargestellten Knoten K5 bis Km-1 befindet oder sich der Knoten K5 bis Km-1 in einem Konflikt mit der Fahrspur befindet.

Beispielsweise bildet die Kante E7 als relationale Information RI ab, dass die Fahrspur (Knoten K3) mit einem anderen nicht näher dargestellten Knoten K5 bis Km-1 verbunden ist oder der Knoten K5 bis Km-1 mit der Fahrspur verbunden ist.

Beispielsweise bildet die Kante E8 als relationale Information RI ab, dass der Verkehrsteilnehmer (Knoten K4) mit einem anderen nicht näher dargestellten Knoten K5 bis Km-1 interagiert.

Beispielsweise bildet die Kante E9 als relationale Information RI ab, dass ein Regelungsgehalt der Lichtzeichenanlage (Knoten K2) für die Fahrspur (Knoten K3) gilt, das heißt auf der Fahrspur befindliche Objekte 01 bis 011 steuert.

Beispielsweise bildet die Kante E10 als relationale Information RI ab, dass die Fahrspur (Knoten K3) einem anderen nicht näher dargestellten Knoten K5 bis Km-1 vorangeht oder der Knoten K5 bis Km-1 der Fahrspur vorangeht. Beispielsweise bildet die Kante En als relationale Information RI ab, dass ein Regelungsgehalt des Stoppschilds (Knoten Km) für die Fahrspur (Knoten K3) gilt, das heißt auf dieser befindliche Objekte 01 bis 011 stoppt.

Die dargestellte Graphenstruktur GS stellt lediglich ein mögliches Ausführungsbeispiel einer solchen dar und ist je nach Anforderungen und einer Umgebungssituation flexibel erweiterbar oder einschränkbar.

Figur 5 zeigt einen Aufbau einer Graphenstruktur GS sowie eine Verarbeitung in der Graphenstruktur GS vorhandener Informationen mit einem graphenbasierten künstlichen neuronalen Netzwerk N.

In einem möglichen Ausführungsbeispiel des Verfahrens zur Detektion von Geisterobjekten in Sensormessungen einer Umgebung eines Fahrzeugs erfolgt die Klassifikation der Geisterobjekte lernbasiert.

Dabei werden als Eingangsinformationen der Verkehrssituation die statischen Informationen Sl, die dynamischen Informationen DI, die semantischen Informationen SEI und die relationalen Informationen RI in die Graphenstruktur GS überführt.

Anschließend wird eine Form eines lernbasierten Verfahrens, insbesondere das graphenbasierte künstliche neuronale Netzwerk N, verwendet, wobei Ausgangsinformationen AI Auskunft über die Klassifikation einzelner Objekte 01 bis 011 als Geisterobjekt und tatsächlich existierende Objekte 01 bis 011 geben.