Beschreibung

Die Erfindung bezieht sich auf die Detektion von Signalzeichen, beispielsweise Flaggen-, Funk-, Licht- oder Schallsignalzeichen, von Wasserfahrzeugen.

Signalzeichen werden in der Schifffahrt eingesetzt, um anderen Wasserfahrzeugen Informationen zu übermitteln. Um die Signalzeichen zu übermitteln, werden verschiedenste Übertragungswege verwendet. So hat jedes Schiff Signalflaggen an Bord, wobei jede Signalflagge oder eine Kombination von Signalflaggen eine bestimmte Bedeutung, nachfolgend als Information bezeichnet, entsprechend dem Flaggenalphabet, zugeordnet ist. Eine weitere Möglichkeit zur optischen Übertragung der Informationen sind Bordlichter. Entsprechend ihrer Farbe, der Position am Wasserfahrzeug und der Kombination mit anderen Bordlichtem können diese Informationen an andere Wasserfahrzeuge übermitteln.

Neben der optischen Übertragung von Informationen gibt es auch einen akustischen Übertragungsweg. So weisen Schiffe Schallsignalzeichengeber auf, die entsprechend ihrer Größe als Pfeife, Glocke und/oder Gong ausgebildet sind. Lange und kurze Töne bilden hier in ihrer Kombination die zu übermittelnde Information ab. Als weiterer akustische Übertragungsweg kann auch (Not-) Funk verwendet werden. Über eine bestimmte Funkfrequenz können Notrufe empfangen werden. Auch hierfür wird zumindest in Teilen ein Standardwortschatz verwendet wie beispielsweise das Wort „mayday“ um einen Notfall zu signalisieren.

Die jeweiligen Informationen, mittels der entsprechende Signalzeichen übertragen werden, sind z.B. in den internationalen Regeln von 1972 zur Verhütung von Zusammenstößen auf See beschrieben. Auf Schiffen werden diese Signalzeichen derzeit von dem Ausguck, also einer Person, die auf die Signalzeichen achtet, überwacht. Dies muss Rund um die Uhr erfolgen. Es liegt auf der Hand, dass die Überwachung der Signalzeichen, die derzeit ausschließlich durch Menschen erfolgt, optimiert werden kann.

Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein verbessertes Konzept für die Signalzeichenüberwachung durch Wasserfahrzeuge zu schaffen.

Die Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Weitere vorteilhafte Ausführungsformen sind der Gegenstand der abhängigen Patentansprüche.

Ausführungsbeispiele zeigen ein Wasserfahrzeug mit einer Signalverarbeitungseinheit und einem Signalzeichensensor. Ferner ist hiermit eine Detektionsvorrichtung zur fortlaufenden Erstellung eines Lagebilds eines Wasserfahrzeugs offenbart (also eine entsprechende Vorrichtung ohne das Wasserfahrzeug) die ebenfalls die Signalverarbeitungseinheit und den Signalzeichensensor aufweist. Die Signalverarbeitungseinheit ist ausgebildet, (zyklisch bzw. fortlaufend) Sensordaten zu erhalten und basierend auf den Sensordaten ein Lagebild der Umgebung des Wasserfahrzeugs zu erstellen und fortlaufend zu aktualisieren. Die Sensordaten stammen z.B. einer beliebigen Auswahl folgender Sensoren: einem Radar, einem Sonar, einer Kamera (z.B. mit Objekterkennung), einer Antenne zum Empfang von AIS Informationen (AIS: Automatic Identification System, dt.: automatisches Identifikationssystem). Das Lagebild bezeichnet Informationen wie z.B. Ort und/oder Geschwindigkeit und/oder Fahrtrichtung und/oder Typ, etc. von anderen Wasserfahrzeugen, die sich in einem entsprechenden Abstand um das Wasserfahrzeug herum befinden. Das Lagebild wird basierend auf diesen Sensordaten erzeugt und fortlaufend aktualisiert um Änderungen in dem Lagebild abzubilden. Die Darstellung des Lagebilds erfolgt typischerweise auf einem Monitor.

Der Signalzeichensensor ist ausgebildet, ein Signalzeichen eines anderen Wasserfahrzeugs zu detektieren und der Signalverarbeitungseinheit in Form eines elektrischen Signals bereitzustellen, wobei das Signalzeichen ein Signalzeichen aus einer Vielzahl von vorbestimmten Signalenzeichen ist, wobei den vorbestimmten Signalenzeichen jeweils eine Information zugeordnet ist. Als vorbestimmte Signalzeichen werden die im einleitenden Teil beschriebenen akustischen oder optischen Signalzeichen, insbesondere die in den internationalen Regeln von 1972 zur Verhütung von Zusammenstößen auf See beschriebenen Signalzeichen, bezeichnet. Die vorbestimmten Signalzeichen können in der Schifffahrt genormt sein oder anderweitig einem überwiegenden Teil der Seeleute bekannt gemacht worden sein. Die vorbestimmten Signalzeichen können demnach häufig verwendete Ausdrücke in der Seefahrt abbilden, die sprachunabhängig, d.h. ohne Sprachbarrieren, von den Seeleuten verstanden werden.

Die Signalverarbeitungseinheit ist ausgebildet, die Information des Signalzeichens basierend auf dem auf z.B. optischem oder akustischem Weg übermittelten und entsprechend konvertierten elektrischen Signal zu ermitteln und die Information bei der Aktualisierung des Lagebilds zu berücksichtigen und insbesondere ein zukünftiges Lagebild zu schätzen. Das heißt, neben den Sensordaten verwendet die Signalverarbeitungseinheit zum Aktualisieren des Lagebilds auch die Signalzeichen, insbesondere deren Information. So kann z.B. eine Kursänderung des anderen Wasserfahrzeugs angezeigt werden oder ein mindestens einzuhaltender Abstand zu dem anderen Wasserfahrzeug, etc. Dass die Signalverarbeitungseinheit ein zukünftiges Lagebild schätzen kann, heißt z.B., dass ein mittels des Signalzeichens angezeigtes Manöver erkannt und vorab in dem Lagebild berücksichtigt werden kann. Diese Betrachtungen kann die Signalverarbeitungseinheit für alle das Wasserfahrzeug (in einem Detektionsradius) umgebenden Wasserfahrzeuge durchführen.

Idee ist es, die ausschließlich auf der menschlichen Wahrnehmung beruhende Erkennung der Signalzeichen durch technische Hilfsmittel wie den Signalzeichensensor zu unterstützen. So können die gewonnenen Informationen direkt in das Lagebild einfließen und müssen nicht erst mündlich zur Kommandobrücke übermittelt werden. Der Informationsfluss wird beschleunigt und Kapitän bzw. Steuermann des Wasserfahrzeugs haben alle Informationen direkt auf einen Blick. Ferner kann bei einer vorhergesagten Kollision ein Notfallsignal ausgelöst werden, um auf der Kommandobrücke die notwendige Aufmerksamkeit für die Situation zu erhalten. Das Notfallsignal ist ebenfalls Teil des Lagebilds, kann aber durch eine Darstellung, beispielsweise in Form einer Sirene und/oder Warnleuchte, angezeigt werden. Eine Darstellung auf dem Monitor, auf dem das Lagebild angezeigt wird, ist natürlich ebenso möglich.

In Ausführungsbeispielen umfasst das Wasserfahrzeug eine Mehrzahl von Signalzeichensensoren, die jeweils ausgebildet sind, das Signalzeichen des anderen Wasserfahrzeugs zu detektieren und der Signalverarbeitungseinheit in Form eines elektrischen Signals bereitzustellen. Die Signalzeichensensoren der Mehrzahl von Signalzeichensensoren sind vorteilhafterweise so angeordnet, dass diese die Signalzeichen aus jeder Richtung empfangen können.

Die Signalverarbeitungseinheit kann dann eine Einfallsrichtung, aus der das Signalzeichen auf die Signalzeichensensoren auftrifft, basierend auf den elektrischen Signalen ermitteln und unter Berücksichtigung der Einfallsrichtung das Lagebild aktualisieren. Diese Aktualisierung erfolgt insbesondere ergänzend zur der Aktualisierung basierend auf der Information des Signalzeichens. D.h., neben der Information entsprechend der Signalzeichen wird die Metainformation gewonnen, in welcher Richtung relativ zu dem Wasserfahrzeug sich das andere Wasserfahrzeug, also das Wasserfahrzeug, das das Signalzeichen aussendet, befindet. Diese Information kann bei akustischen Signalen z.B. dazu verwendet werden, um zu bestimmen, von welchem Wasserfahrzeug das Signalzeichen ausgesendet worden ist und somit die Zuordnung des Signalzeichens zu einem Wasserfahrzeug erleichtern.

In Ausführungsbeispielen zur Detektion von den Schallsignalzeichen kann der Signalzeichensensor einen Schallwandler, beispielsweise ein Mikrofon, umfassen. Sind mehrere Signalzeichensensoren vorhanden, so können diese jeweils einen Schallwandler umfassen. Der bzw. die Schallwandler sind ausgebildet, als Signalzeichen ein Schallsignalzeichen, insbesondere ein Pfeifensignal oder Glockensignal oder Gongsignal, des anderen Wasserfahrzeugs zu empfangen und in das (jeweilige) elektrische Signal umzuwandeln. Werden mehrere Schallwandler verwendet, können diese z.B. ringförmig angeordnet sein, so dass Schallwellen aus allen Richtungen empfangen werden können. Die Signalverarbeitungseinheit ist demnach ausgebildet, eine Einfallsrichtung, aus der das Schallsignalzeichen auf den Signalsensor auftrifft, basierend auf den elektrischen Signalen zu ermitteln und unter Berücksichtigung der Einfallsrichtung das Lagebild zu aktualisieren. Die

Einfallsrichtung kann mittels Beamforming (dt.: Richtungsbildung) bestimmt werden.

In dem Datenstrom von elektrischen Signalen kann das Schallsignalzeichen mittels Spektralanalyse, also der Betrachtung von Frequenzen, die in vorbestimmten Zeitabschnitten auftreten. Nun sind die Frequenzen, mit denen die Schallsignalzeichen ausgesendet werden zwar nicht genormt, sie weisen aber dennoch ein charakteristisches Muster auf. Das Muster umfasst eine Grundschwingung und nur wenige, charakteristisch angeordneten Oberwellen. Ein Nebelhorn unterscheidet sich z.B. von anderen akustischen Signalen durch ein schmalbandiges Signal mit deutlich höherer Energie als in umliegenden Frequenzbändern. Ferner weisen die Oberschwingungen, also ganze Vielfache der Fundamentalfrequenz, viel Energie auf. Die Frequenz, mit der ein Nebelhorn das Signal aussendet, weist ferner eine hohe zeitliche Konstanz der Frequenz auf, d.h. es ist ein waagerechter Strich im Spektrogramm sichtbar. Die Frequenz liegt ferner zwischen 70 und 700Hz, abhängig von der Größe des Schiffs. Dies ist in COLREG 1972 Annex III beschrieben. Ferner kann die Qualität des Datenstroms durch eine Rauschunterdrückung optimiert werden, bevor die Signalverarbeitungseinheit die Schallsignalzeichen detektiert. Ferner umfassen die Schallsignalzeichen mit wenigen Ausnahmen mehrere aufeinanderfolgende Töne gleicher oder unterschiedlicher Länge oder das Schallsignalzeichen wird insgesamt mehrfach wiederholt. Dann kann auch eine Kreuzkorrelation vorgenommen werden, um ähnliche Geräusche zu finden und als Schallsignalzeichen zu detektieren. Ferner können auch Verfahren des maschinellen Lernens (engl. machine Learning) eingesetzt werden, beispielsweise deep learning oder andere Verfahren mittels neuronaler Netze, Hidden Markov Modelle, etc.

In Ausführungsbeispielen zur Detektion von optischen Signalzeichen umfasst der Signalzeichensensor einen Bildsensor, beispielsweise eine Kamera, die eine Abfolge von Fotos, insbesondere ein Video, aufnehmen kann. Sind mehrere Signalzeichensensoren vorhanden, um z.B. einen Rundumblick um das Wasserfahrzeug zu ermöglichen, ohne die Bildsensoren zu bewegen, so können diese jeweils einen Bildsensor umfassen. Der Bildsensor ist ausgebildet, als Signalzeichen ein optisches Signalzeichen, insbesondere ein Flaggensignalzeichen oder ein Lichtsignalzeichen, des anderen Wasserfahrzeugs zu empfangen. Werden mehrere Bildsensoren verwendet, können diese z.B. ringförmig angeordnet sein, so dass Bilder aus allen Richtungen, typischerweise mit einer kleinen Überlappung des Bildausschnitts von benachbarten Bildsensoren, aufgezeichnet werden können. Der Bildsensor kann auch schwenkbar, vorzugsweise um 360° rotierbar, auf dem Wasserfahrzeug angeordnet sein.

Die Signalverarbeitungseinheit ist demnach ausgebildet, eine Einfallsrichtung, in der sich das optische Signalzeichen befindet, basierend auf dem elektrischen Signal zumindest eines Signalzeichensensors zu ermitteln und unter Berücksichtigung der Einfallsrichtung das Lagebild zu aktualisieren. Wenn die Positionen der Bildsensoren, d.h. die Richtung, in der die Bildsensoren ausgerichtet sind, relativ zu dem Wasserfahrzeug bekannt sind, kann hieraus die Position des optischen Signalzeichens relativ zu dem Wasserfahrzeug anhand der Position auf einem oder mehreren der Bilder, bestimmt werden. Analog ist dies bei einer schwenk- oder im Spezialfall rotierbaren Kamera möglich, wenn der Schwenkwinkel, mit dem ein Bild aufgenommen worden ist, relativ zu dem Wasserfahrzeug, bekannt ist.

In dem Datenstrom von elektrischen Signalen kann das optische Signalzeichen mittels Bilderkennungsalgorithmen detektiert werden. So sind Flaggen und Lichtzeichen an bestimmten Positionen des anderen Wasserfahrzeugs angeordnet. Lichtzeichen weisen ferner insbesondere im Dunkeln eine höhere Lichtintensität auf als die Umgebung und können dadurch erkannt werden. Die Anzahl der Flaggen ist ferner limitiert. Die Detektion kann daher z.B., ebenso wie für die Lichtzeichen, auch mittels künstlicher Intelligenz angelernt werden.

In Ausführungsbeispielen ist die Signalverarbeitungseinheit ausgebildet, die Einfallsrichtung für eine zeitliche Abfolge von einer Mehrzahl der Signalzeichen zu ermitteln und basierend auf den Einfallsrichtungen eine Richtungs- und/oder Geschwindigkeitsinformation des anderen Wasserfahrzeugs zu bestimmen und basierend auf der Richtungs- und/oder Geschwindigkeitsinformation ein zukünftiges Lagebild zu schätzen. In weiteren Ausführungsbeispielen ist die Signalverarbeitungseinheit ausgebildet, die Richtungs- und/oder Geschwindigkeitsinformation relativ zu der Position des Wasserfahrzeugs zu bestimmen um eine potentielle Kollision des Wasserfahrzeugs mit dem anderen Wasserfahrzeug vorherzusagen. Die potentielle Kollision beider Wasserfahrzeuge kann einfach bestimmt werden, indem die Richtung, also die Winkellage, des anderen Wasserfahrzeugs zu dem Wasserfahrzeug überwacht wird. Ändert sich die Richtung, d.h. die Winkellage, beider Wasserfahrzeuge zueinander nicht, befinden sich beide Wasserfahrzeuge auf Kollisionskurs. So kann mit einfachen Mitteln eine mögliche Kollision beider Wasserfahrzeuge vorhergesagt werden. Dies ist sowohl mit optischen als auch mit Schallsignalzeichen möglich.

In Ausführungsbeispielen ist das Wasserfahrzeug ein autonomes Wasserfahrzeug, d.h. ein eigenständig agierendes Wasserfahrzeug. Die Signalverarbeitungseinheit ist dann ausgebildet, basierend auf der ermittelten Information eine Steuereinheit des autonomen Wasserfahrzeugs anzusteuern um eine Geschwindigkeit und/oder eine Fahrtrichtung des Wasserfahrzeugs zu ändern. Für autonome Wasserfahrzeuge existieren bisher keine eigenen Regeln in den Gewässern. D.h. beispielsweise, dass ein autonomes Wasserfahrzeug mit einer Länge über 25m die Schallsignalzeichen detektieren und interpretieren können muss. Dies gilt auch für autonome Unterwasserfahrzeuge. Dies ist insoweit auch nachvollziehbar, da autonome Unterwasserfahrzeuge in dieser Größe einen deutlich höheren Überwasseranteil haben, als kleinere autonome Unterwasserfahrzeuge. Sie können beispielsweise nicht mehr so einfach von einem Schiff abgesetzt werden, sondern fahren typischerweise wie bemanntes Unterwasserfahrzeug aus einem Hafen aus.

Bei autonomen Wasserfahrzeugen reicht es jedoch nicht aus, das Lagebild auf einem Monitor anzuzeigen, sondern das Lagebild wird direkt zur Navigation verwendet. Hierzu steuert die Signalverarbeitungseinheit die Steuereinheit des autonomen Wasserfahrzeugs an. So kann das autonome Wasserfahrzeug ein Manöver fahren, um z.B. einem sich auf Kollisionskurs befindlichen Wasserfahrzeug auszuweichen oder einen erforderlichen Mindestabstand zu dem anderen Wasserfahrzeug einzuhalten. Die Steuerungseinheit kann durch Ansteuerung von Regelkreisen das autonome Wasserfahrzeug steuern. Die Steuereinheit wird auch als Fahrzeugführungssystem bezeichnet. Bei unbemannten, aber nicht autonomen, sondern ferngesteuerten Wasserfahrzeugen, kann das Lagebild wie bei bemannten Wasserfahrzeugen an die Kommandozentrale weitergeleitet werden. Der Unterschied besteht nur darin, dass sich die Besatzung nicht auf der Brücke des Wasserfahrzeugs befindet, sondern entfernt von dem unbemannten Wasserfahrzeug auf einem anderen Wasserfahrzeug oder an Land. D.h., das Lagebild wird an die Kommandozentrale weitergeleitet. Auch hier kann aber eine direkte Ansteuerung der Steuereinheit wie bei autonomen Wasserfahrzeugen vorgesehen sein. In einem Ausführungsbeispiel kann die „Besatzung“ aus der Kommandozentrale diese Option einstellen.

In Ausführungsbeispielen umfasst der Signalzeichensensor einen Sprachschallwandler, z.B. ein Mikrofon, der ausgebildet ist, ein Funksignal in das elektrische Signal umzuwandeln. Das Funksignal ist insbesondere ein Notfunksignal des anderen Wasserfahrzeugs. Die Signalverarbeitungseinheit ist ausgebildet, das elektrische Signal mittels Spracherkennung zu analysieren um ein Notfunksignal als vorbestimmtes Signalzeichen zu erkennen. So kann die Signalverarbeitungseinheit ausgebildet sein, das Wort „mayday“ als Notfunksignal und somit als vorbestimmtes Signalzeichen zu detektieren und die nachfolgende Kennung des Wasserfahrzeugs zu erkennen. Das identifizierte Wasserfahrzeug kann in dem Lagebild speziell markiert und wenn nötig umfahren werden. Ferner kann der Funkspruch auch an eine Kommandozentrale, von der das unbemannte Wasserfahrzeug überwacht wird, weitergeleitet werden, so dass die Kommandozentrale mit Wasserfahrzeug in Not kommunizieren kann.

Analog ist ein Verfahren zur Bestimmung eines Lagebilds von einem Wasserfahrzeug mit folgenden Schritten offenbart: a) Erhalten von Sensordaten, um basierend auf den Sensordaten ein Lagebild der Umgebung des Wasserfahrzeugs zu erstellen und fortlaufend zu aktualisieren; b) Detektieren eines Signalzeichens eines anderen Wasserfahrzeugs; wobei das Signalzeichen ein Signalzeichen aus einer Vielzahl von vorbestimmten Signalenzeichen ist, wobei den vorbestimmten Signalenzeichen jeweils eine Information zugeordnet ist; c) Wandeln des Signalzeichens in ein elektrisches Signal; d) Ermitteln der Information basierend auf dem elektrischen Signal; e) Aktualisieren des Lagebilds unter Berücksichtigung der Information.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen erläutert. Es zeigen:

Fig. 1 : eine schematische Blockdarstellung eines Wasserfahrzeugs.

Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.

Fig. 1 zeigt eine schematische Blockdarstellung eines Wasserfahrzeugs 20. Das Wasserfahrzeug 20 umfasst eine Signalverarbeitungseinheit 22 und einen Signalzeichensensor 24. Die Signalverarbeitungseinheit 22 erhält (zyklisch bzw. fortlaufend) Sensordaten 26 von einem oder mehreren Sensoren 28, beispielsweise einem Radar und/oder einer Kamera. Basierend auf den Sensordaten 26 erstellt die Signalverarbeitungseinheit 22 ein Lagebild 30 der Umgebung des Wasserfahrzeugs 20 und aktualisiert dies fortlaufend.

Der Signalzeichensensor 24 detektiert ein Signalzeichen 32 eines anderen Wasserfahrzeugs 34. Der Signalzeichensensor 24 gibt ein elektrisches Signal 36 aus, in dem das Signalzeichen 32 enthalten ist. Die Signalverarbeitungseinheit 22 erhält das elektrische Signal 36 und ermittelt das Signalzeichen 32 sowie die dem Signalzeichen 32 zugehörige Information. Die ermittelte Information berücksichtigt die Signalverarbeitungseinheit 22 bei der Aktualisierung des Lagebilds 30.

In Ausführungsbeispielen kann die Signalverarbeitungseinheit 22 eine Einfallsrichtung 38, d.h. eine Winkellage des anderen Wasserfahrzeugs 34 zu dem Wasserfahrzeug 20 bezogen auf einen Referenzpunkt 40 des Wasserfahrzeugs bestimmen. Hierzu sind für die Bestimmung der Einfallsrichtung basierend auf einem Schallsignalzeichen eine Mehrzahl von Signalzeichensensoren 24, in diesem Fall in Form von Schallwandlern, notwendig.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Bezugszeichenliste:

20 Wasserfahrzeug

22 Signalverarbeitungseinheit 24 Signalzeichensensor

26 Sensordaten

28 Sensoren

30 Lagebild

32 Signalzeichen 34 anderes Wasserfahrzeug

36 elektrisches Signal

38 Einfallsrichtung

40 Referenzpunkt