Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR ASSISTING IN LANDING AN AIRCRAFT UNDER POOR VISIBILITY CONDITIONS
Document Type and Number:
WIPO Patent Application WO/2021/089539
Kind Code:
A1
Abstract:
The invention relates to a method and a device for assisting in landing an aircraft under poor visibility conditions. The method makes it possible to receive sensor data during an approach phase toward a runway where the runway and/or an approach ramp are not visible to the pilot from the cockpit; then to determine, in the received sensor data, data of interest that are characteristic of the runway and/or of the approach ramp; then to calculate, on the basis of the data of interest, the coordinates of a target zone; and to display, on a head-up display screen, a conformal symbol representative of the target zone, the conformal symbol being displayed before the aircraft reaches the decision height in order to provide the pilot with a visual cue within which to search for the runway and/or the approach ramp.

Inventors:
GANILLE THIERRY (FR)
HAUGEARD JEAN-EMMANUEL (FR)
DUMAS PIERRE-YVES (FR)
Application Number:
PCT/EP2020/080807
Publication Date:
May 14, 2021
Filing Date:
November 03, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
THALES SA (FR)
International Classes:
G01C21/00; G01C23/00; G06K9/00; G06T11/00; G06T17/05
Domestic Patent References:
WO2017040691A12017-03-09
Foreign References:
FR3058233A12018-05-04
US8264498B12012-09-11
FR3049744A12017-10-06
FR3049744A12017-10-06
Other References:
KAIMING ET AL., MASK R-CNN, 2017
Attorney, Agent or Firm:
MARKS & CLERK FRANCE (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé (200) d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, le procédé comprenant au moins des étapes de :

- recevoir (202) au cours d’une phase d’approche vers une piste d’atterrissage des données issues d’un capteur, ladite piste d’atterrissage et/ou une rampe d’approche n’étant pas visibles par le pilote depuis le cockpit ;

- déterminer (204) dans les données capteurs reçues des données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou de ladite rampe d’approche ;

- calculer (206) à partir des données d’intérêt les coordonnées d’une zone cible; et

- afficher (208) sur un écran d’affichage en tête haute un symbole conforme représentatif de la zone cible, ledit symbole conforme étant affiché avant l’atteinte par l’aéronef de la hauteur de décision afin de fournir au pilote un repère visuel dans lequel chercher ladite piste d’atterrissage et/ou rampe d’approche.

2. Le procédé selon la revendication 1 dans lequel l’étape (202) de réception de données capteurs consiste à recevoir des données d’un senseur embarqué à bord de l’aéronef et regardant vers l’avant, ledit senseur étant choisi dans le groupe des senseurs de type FLIR de pilotage, caméra multi-spectrale, LIDAR ou radar millimétrique.

3. Le procédé selon la revendication 1 ou 2 dans lequel l’étape (204) de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel entraîné pour le traitement d’images, obtenu lors d’une phase d’apprentissage par un apprentissage profond.

4. Le procédé selon la revendication 3 dans lequel l’apprentissage profond est basé sur des réseaux de neurones convolutifs.

5. Le procédé selon l’une quelconque des revendications 1 à 4 dans lequel l’étape (206) de calculer une zone cible consiste à déterminer, à partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, des coordonnées en cap et en site de la zone cible.

6. Le procédé selon l’une quelconque des revendications 1 à 5 comprenant de plus après l’étape (206) de calculer une zone cible, une étape consistant à envoyer les coordonnées de la zone cible au dispositif d’affichage tête haute.

7. Le procédé selon la revendication 5 ou 6 dans lequel les coordonnées de la zone cible correspondent à deux coins opposés d’un rectangle encadrant les données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou ladite rampe d’approche, et dans lequel le symbole conforme qui est affiché est ledit rectangle encadrant.

8. Le procédé selon l’une quelconque des revendications 1 à 7 dans lequel l’étape (208) d’affichage en tête haute consiste à afficher le symbole encadrant sur un écran en tête haute fixe du cockpit et/ou sur un écran en tête haute porté par le pilote.

9. Un dispositif d’aide à l’atterrissage d’aéronef (512), notamment en conditions de visibilité dégradée, comprenant des moyens pour mettre en oeuvre les étapes du procédé d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, selon l’une quelconque des revendications 1 à 8.

10. Le dispositif selon la revendication 9 dans lequel les données permettant le calcul de la zone cible sont issues d’un premier capteur, le dispositif comprenant de plus un second capteur apte à fournir une image pouvant être affichée dans le dispositif tête haute porté par le pilote, le symbole conforme calculé à partir des données du premier capteur étant affiché sur ladite image fournie par le second capteur.

11. Une interface homme-machine comprenant des moyens pour afficher un symbole conforme obtenu selon le procédé de l’une quelconque des revendications 1 à 8.

12. Un système d’aide à l’atterrissage (500), notamment de type SVS, SGVS, EVS, EFVS ou CVS comprenant un dispositif (512) d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, selon l’une des revendications 9 ou 10.

13. Un aéronef comprenant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée selon l’une des revendications 9 ou 10.

14. Programme d'ordinateur comportant des instructions de code pour l’exécution des étapes du procédé d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, selon l’une quelconque des revendications 1 à 8, lorsque ledit programme est exécuté par un processeur.

Description:
DESCRIPTION

Titre de l’invention :PROCEDE ET DISPOSITIF D’AIDE A L’ATTERRISSAGE D’AERONEF EN CONDITIONS DE VISIBILITE DEGRADEE

[0001] L’invention concerne le domaine des systèmes d’aide à l’atterrissage pour aéronefs basés sur des caméras ou capteurs d’imagerie embarqués.

[0002] L’invention adresse plus précisément le problème de l’aide à l’atterrissage d’aéronefs par conditions météorologiques difficiles, en particulier des conditions de visibilité réduite ou dégradée, en cas de brouillard par exemple.

[0003] Les normes aériennes imposent des règles d’obtention de visibilité pendant la phase d’atterrissage. Ces règles se traduisent par des seuils de décision qui se réfèrent à l’altitude de l’avion lors de sa phase de descente. Réglementairement, un pilote d’aéronef opérant en vol aux instruments (IFR) doit, lors de la phase d’atterrissage, faire l’acquisition visuelle de certaines références composées d’éléments de la rampe d’approche ou de la piste d’atterrissage, et ce avant une altitude ou une hauteur déterminée pour chaque approche. On parle alors d’altitude de décision (DA) ou de hauteur de décision (DH) qui varient en fonction du niveau d’équipement de la piste (niveau ILS CAT I ou CAT II ou CAT III), du type d’approche (de précision, de non précision, ILS, LPV, MLS, GLS, ...) et de l’environnement topographique autour de la piste (plaine, montagne, obstacles, ...). Typiquement, sur un aéroport équipé d’un ILS CAT I en plaine, le cas le plus courant aujourd’hui, une hauteur de décision (DH) est de 60,96 mètres (200 ft) et une altitude de décision (DA) de l’altitude de la piste est de + 60,96 mètres (+ 200 ft).

[0004] Lors d’atterrissages dans des conditions de visibilité dégradées, par exemple à cause du brouillard, de la neige, de la pluie, à chacun des seuils, l’acquisition des repères visuels est plus difficile. Si le pilote n’a pas fait l’acquisition visuelle des références réglementaires avant d’atteindre la DA ou la DH, il a l’obligation d’interrompre l’atterrissage en effectuant une remise de gaz pour reprendre de l’altitude et soit retenter la même approche, soit partir vers un aéroport de déroutement. Une remise de gaz est une opération coûteuse pour une compagnie aérienne, et les manoeuvres d’atterrissage abandonnées représentent un réel problème pour la gestion du trafic aérien et pour la planification des vols. Il faut estimer avant le décollage la capacité à pouvoir atterrir à destination sur la base de prévisions météorologiques, plus ou moins fiables, et le cas échéant prévoir des solutions de repli.

[0005] Aussi le problème de l’atterrissage des aéronefs par conditions de visibilité réduite a fait l’objet du développement de plusieurs techniques.

[0006] L’une de ces techniques est le système d’atterrissage aux instruments ILS (« Instrument Landing System » en anglais). Le système ILS repose sur plusieurs équipements de radiofréquence installés au sol, au niveau de la piste d’atterrissage, et un instrument compatible placé à bord de l’aéronef. L’utilisation d’un tel système de guidage requiert des équipements onéreux et une qualification spécifique des pilotes. Il ne peut par ailleurs pas être installé sur tous les aéroports. Ce système est présent sur les aéroports principaux seulement car son coût rend rédhibitoire son installation sur les autres. En outre, de nouvelles technologies basées les systèmes de positionnement par satellite remplaceront probablement les systèmes ILS dans le futur.

[0007] Une solution de visualisation synthétique dite SVS (« Synthetic Vision System » en anglais) permet d’afficher un terrain et les pistes d’atterrissage à partir de la position de l’aéronef fournie par un GPS et de son attitude fournie par sa centrale inertielle. Cependant, l’incertitude sur la position de l’avion ainsi que la précision des positions des pistes qui sont stockées dans les bases de données interdisent l’utilisation d’un SVS dans des phases critiques où l’aéronef est proche du sol comme l’atterrissage et le décollage. Plus récemment, des solutions SVGS (« Synthetic Vision with Guidance System » en anglais), ajoutant certains contrôles à un SVS permettent une réduction limitée des minima d’atterrissage (la hauteur de décision DH est réduite de 15,24 mètres (50 ft) uniquement sur les approches ILS SA CAT I).

[0008] Une autre approche est la technique de vision augmentée dite EVS ou EFVS (« Enhanced (Flight) Vision System » en anglais) basée sur l’affichage sur un afficheur tête haute qui permet d’afficher sur l’écran primaire du pilote une image de l’environnement vers l’avant de l’aéronef qui est meilleure que la vision naturelle. Cette solution utilise des capteurs électro-optiques, infra-rouges ou radar pour filmer l’environnement aéroportuaire lors de l’atterrissage d’un aéronef. Le principe est d’utiliser des senseurs plus performants que l’œil du pilote par conditions météorologiques dégradées, et d’incruster les informations collectées par les senseurs dans le champ de vision du pilote, par le biais d’un affichage tête haute ou sur la visière d’un casque porté par le pilote. Cette technique repose essentiellement sur l’emploi de capteurs pour détecter le rayonnement des lampes disposées le long de la piste et sur la rampe d’approche. Les lampes à incandescence produisent de la lumière visible mais elles émettent aussi dans le domaine infrarouge. Des capteurs dans le domaine infrarouge permettent de détecter ces rayonnements et la portée de détection est meilleure que celle de l’être humain dans le domaine visible, lors de conditions météorologiques dégradées. Une amélioration de la visibilité permet donc dans une certaine mesure d’améliorer les phases d’approche et de limiter les approches abandonnées. Toutefois, cette technique repose sur le rayonnement infrarouge parasite des lampes présentes au voisinage de la piste. Pour des soucis de durabilité des lampes, la tendance actuelle est au remplacement des lampes à incandescence par les lampes à LED. Ces dernières ont un spectre moins étendu dans le domaine infrarouge. Un effet collatéral est donc de provoquer une obsolescence technique des systèmes EVS à base de capteurs infrarouge.

[0009] Une alternative aux senseurs infrarouges est l’obtention d’images par un senseur radar, en bande centimétrique ou millimétrique. Certaines bandes de fréquence choisies en dehors des pics d’absorption de la vapeur d’eau présentent une sensibilité très faible aux conditions météorologiques difficiles. De tels senseurs permettent donc de produire une image au travers de brouillard par exemple. Cependant, même si ces capteurs ont une résolution en distance fine, ils présentent une résolution angulaire bien plus grossière que les solutions optiques. La résolution est directement liée à la taille des antennes utilisées, et elle est souvent trop grossière pour obtenir un positionnement précis de la piste d’atterrissage à une distance suffisante pour effectuer les manœuvres de recalage.

[0010] L’émergence de l’usage de capteurs actifs, comme par exemple les LIDAR (« Light Détection and Ranging » en anglais) ou les radars millimétriques, qui sont capables de détecter la piste d’atterrissage de plus loin et par quasiment n’importe quelles conditions de visibilité, amène de bien meilleurs résultats que les capteurs passifs comme les caméras IR. Cependant, les données issues de tels capteurs ne permettent pas de fournir au pilote une image nette et facilement interprétable comme l’est une image IR.

[0011] Des solutions utilisant des systèmes de visualisation CVS (« Combined Vision Systems » en anglais) sont basées sur l’affichage simultané de tout ou partie d’une image synthétique et d’une image capteur, par exemple par superposition des différentes images et éventuellement recalage de l’image synthétique sur un élément remarquable de l’image capteur, ou encore par incrustation de l’image capteur dans un médaillon de l’image synthétique ou encore par détourage d'éléments remarquables ou éléments d’intérêts de l’image capteur et incrustation de ces éléments sur l’image synthétique.

[0012] Avec un système EVS/EFVS actuel affiché en tête haute, le pilote avant d’acquérir la visibilité de la rampe ou de la piste s’attend à les voir apparaître autour du vecteur vitesse et de la piste synthétique. La figure 1 illustre une symbologie de pilotage en phase d’atterrissage pour un affichage tête haute d’un système EVS. La conformité des symboles dépend essentiellement de la précision des données de l’attitude de l’aéronef. Si le roulis et le tangage sont en général connus avec une bonne précision, ce n’est pas toujours le cas du cap, en particulier pour les aéronefs équipés d’une AHRS (« Attitude and Heading Reference System » en anglais qui est un ensemble de capteurs sur 3 axes permettant de définir la position d’un avion dans l’espace grâce aux accélérations et aux champs magnétiques qu’ils subissent) où l’erreur de cap peut atteindre 2 à 3 degrés et non d’une 1RS (« Inertial Reference System » en anglais) beaucoup plus précise mais également beaucoup plus onéreuse. Ceci peut provoquer un affichage décalé de la symbologie conforme d’autant de degrés. Or, le pilote qui doit être concentré sur la recherche des repères visuels autour du vecteur vitesse peut alors détecter plus tardivement la piste, notamment par conditions météorologiques amenant une visibilité dégradée. Dans de nombreuses situations, le seuil de la hauteur de décision peut être atteint avant la détection visuelle de la piste, et il peut être décidé une remise de gaz qui aurait pu être évitée.

[0013] Aussi, il existe le besoin d’une aide à l’identification visuelle d’une piste d’atterrissage par le pilote. [0014] Un objet de l’invention est de pallier les inconvénients des techniques connues en répondant aux besoins précités par une solution d’aide à l’atterrissage des aéronefs, notamment une aide à l’identification visuelle pour le pilote avant d’atteindre la hauteur de décision. (DH) ou l’altitude de décision (DA).

[0015] Pour obtenir les résultats recherchés, il est proposé un procédé mis en oeuvre par ordinateur d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, le procédé comprenant au moins des étapes de :

- recevoir au cours d’une phase d’approche vers une piste d’atterrissage des données issues d’un capteur, ladite piste d’atterrissage et/ou une rampe d’approche n’étant pas visible par le pilote depuis le cockpit ;

-déterminer dans les données capteurs reçues des données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou de ladite rampe d’approche ;

-calculer à partir des données d’intérêt les coordonnées d’une zone cible; et

- afficher sur un écran d’affichage en tête haute un symbole conforme représentatif de la zone cible, ledit symbole conforme étant affiché avant l’atteinte par l’aéronef de la hauteur de décision afin de fournir au pilote un repère visuel dans lequel chercher ladite piste d’atterrissage et/ou rampe d’approche.

[0016] Selon des modes de réalisation alternatifs ou combinés :

- l’étape de réception de données consiste à recevoir des données d’un senseur embarqué à bord de l’aéronef et regardant vers l’avant, ledit senseur étant choisi dans le groupe des senseurs de type FLIR de pilotage, caméra multi-spectrale,

LIDAR ou radar millimétrique.

- l’étape de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel entraîné pour le traitement d’images, obtenu lors d’une phase d’apprentissage par un apprentissage profond.

- l’apprentissage profond est basé sur des réseaux de neurones convolutifs.

- l’étape de calculer une zone cible consiste à déterminer, à partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, des coordonnées en cap et en site de la zone cible.

- le procédé comprend après l’étape de calculer une zone cible, une étape consistant à envoyer les coordonnées de la zone cible au dispositif d’affichage tête haute.

- les coordonnées de la zone cible correspondent à deux coins opposés d’un rectangle encadrant les données d’intérêt caractéristiques ladite piste d’atterrissage et/ou ladite rampe d’approche, et dans lequel le symbole conforme qui est affiché est ledit rectangle encadrant.

- l’étape d’affichage en tête haute consiste à afficher le symbole encadrant sur un écran en tête haute fixe du cockpit et/ou sur un écran en tête haute porté par le pilote.

[0017] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué, lorsque le programme est exécuté sur un ordinateur.

[0018] L’invention couvre de plus un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, le dispositif comprenant des moyens pour mettre en oeuvre les étapes du procédé d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée selon l’une quelconque des revendications.

[0019] Dans un mode de réalisation, les données permettant le calcul de la zone cible sont issues d’un premier capteur, le dispositif comprenant de plus un second capteur apte à fournir une image pouvant être affichée dans le dispositif tête haute porté par le pilote, le symbole conforme calculé à partir des données du premier capteur étant affiché sur ladite image fournie par le second capteur.

[0020] Un autre objet de l’invention est une interface homme-machine comprenant des moyens pour afficher un symbole conforme obtenu selon le procédé revendiqué.

[0021] Un autre objet de l’invention est un système d’aide à l’atterrissage, notamment de type SVS, SGVS, EVS, EFVS ou CVS embarquant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué.

[0022] L’invention adresse aussi un aéronef comprenant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué.

[0023] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement : [0024] [Fig.1 ] une symbologie d’atterrissage connue pour un affichage tête haute d’un système EVS ;

[0025] [Fig.2] un procédé d’aide à l’atterrissage d’aéronef permettant l’obtention d’un symbole conforme pour un affichage tête haute, selon un mode de réalisation de l’invention ;

[0026] [Fig.3] un affichage tête haute d’un système EVS avec l’affichage d’un symbole conforme obtenu par le procédé de l’invention ;

[0027] [Fig.4] un affichage d’un symbole conforme selon l’invention sur une image IR ; et

[0028] [Fig.5] une architecture générale d’un système de visualisation permettant de mettre en oeuvre le procédé de l’invention.

[0029] La figure 2 illustre les étapes d’un procédé 200 d’aide à l’atterrissage d’aéronef, permettant l’obtention d’un symbole conforme pour un affichage tête haute, selon un mode de réalisation de l’invention.

[0030] Le procédé débute à réception 202 de données capteur, issues d’un senseur embarqué à bord d’un aéronef et regardant vers l’avant. Le procédé de l’invention s’applique pour tout type de senseur, que ce soit un FLIR de pilotage fournissant une image IR, une caméra multi-spectrale, un LIDAR, ou un radar millimétrique.

[0031] Le problème technique que l’invention résout est celui de l’aide à la détection de la piste d’atterrissage d’un aéronef par le pilote dans une image capteur ou en vision directe avant de descendre sous la hauteur de décision, notamment par conditions de visibilité dégradée. L’invention permet l’affichage d’un nouveau symbole conforme généré à partir d’une technique de détection automatique de la rampe d’approche ou de la piste d’atterrissage dans des données issues d’un capteur (données capteur). Avantageusement, le symbole affiché est parfaitement conforme au monde extérieur et vient indiquer au pilote la zone où la piste et/ou la rampe d’approche vont apparaître avant qu’elles ne soient visibles par le pilote à l’œil nu en vision directe. Ceci permet au pilote d’identifier l’endroit où chercher les références visuelles attendues, mais aussi lui indiquer quand les chercher, notamment si les conditions de visibilité sont réduites, puisque dès lors que le système commence à identifier la piste et/ou la rampe et afficher le symbole, le pilote s’attend à pouvoir l’identifier lui-même visuellement. [0032] Dans une étape suivante (204), après la réception des données capteur, le procédé permet de déterminer dans les données capteur reçues, des données d’intérêt qui sont caractéristiques de la piste d’atterrissage et/ou de la rampe d’approche. Le capteur peut être un capteur IR ou multispectral dont l’image est présentée au pilote ou être un second capteur de type actif, en principe plus efficace qu’un capteur IR, comme par exemple un radar millimétrique, mais dont les données ne sont pas affichables au pilote car elles sont difficilement interprétables.

[0033] Dans un mode de réalisation, la détermination de données d’intérêt consiste à mettre en oeuvre un algorithme conventionnel de détection de droites, de patterns.

La demande de brevet FR3049744 de la Demanderesse Décrit un exemple d’un tel algorithme conventionnel de détection. Dans un mode de réalisation, l‘algorithme consiste à calculer une boîte englobante des éléments d’intérêt détectés, sous la forme d’un rectangle dont les coordonnées en pixels de deux coins opposés correspondent respectivement à la coordonnée en X la plus petite et en Y la plus petite parmi les pixels appartenant aux éléments détectés, et à la coordonnée en X la plus grande et en Y la plus grande parmi les pixels appartenant aux éléments détectés. La surface du rectangle peut être augmentée de quelques pourcents, par exemple 10%, tout en restant centré sur le rectangle initial.

[0034] Dans un mode de réalisation préférentielle, l’étape de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel de traitement d’images entraîné pour la détection de piste d’atterrissage et de rampe d’approche. Le modèle entraîné est un modèle embarqué dans l’aéronef pour utilisation opérationnelle, qui a été obtenu lors d’une phase d’apprentissage, et en particulier par un apprentissage profond par réseau de neurones artificiels pour la détection de piste et de rampe. Dans un mode de réalisation avantageux, le réseau de neurones artificiels est un réseau de neurones convolutifs (CNN pour « Convolutional Neural Network » en anglais).

[0035] Un modèle classique basé CNN (Convolutive Neural Network) peut être mis en place pour la détection et la segmentation de piste et rampe, par exemple en utilisant une architecture mask-RCNN (Régions with CNN features) - resNet 101 (101 couches) [Mask R-CNN - Kaiming et al. 2017] A partir de ce modèle, un apprentissage par transfert (puis apprentissage plus fin) peut être réalisé pour s’adapter au cas d’usage piste et rampe.

[0036] Après une phase d’apprentissage de modèles de réseaux de neurones convolutifs, il est important de valider le modèle appris par une phase de tests sur des données. Ces données n’ont pas été utilisées pendant la phase d’apprentissage afin de tester la robustesse du modèle vis à vis des variabilités auxquelles il sera confronté en environnement opérationnel avec différentes météo, différentes pistes, différentes rampes lumineuses. Plusieurs itérations d’apprentissage puis de tests peuvent être nécessaires pour obtenir un modèle du CNN valide et générique répondant au besoin opérationnel. Le modèle validé (i.e. son architecture et les hyper paramètres appris) peut être intégré dans un système embarqué à bord d’un aéronef qui comprend au moins un capteur de même type que celui utilisé pour l’apprentissage.

[0037] Dans le domaine de vision par ordinateur, l’objectif de l’apprentissage profond est de modéliser avec un haut niveau d’abstraction des données. De manière synthétique, il y a deux phases : une phase d’apprentissage et une phase d’inférence. La phase d’apprentissage permet de définir et générer un modèle d’IA entraîné qui répond au besoin opérationnel. Ce modèle est ensuite utilisé dans le contexte opérationnel lors de la phase d’inférence. La phase d’apprentissage est donc primordiale. Un apprentissage est considéré performant s’il permet de définir un modèle prédictif qui s’adapte bien aux données d’apprentissage mais qui est aussi capable de bien prédire sur des données qui n’ont pas été vues lors de l’apprentissage. Si le modèle ne s’adapte pas aux données d’apprentissage, le modèle souffre de sous-apprentissage. Si le modèle s’adapte trop bien aux données d’apprentissage et n’est pas capable de généraliser, le modèle souffre de sur apprentissage.

[0038] Afin d’obtenir le meilleur modèle, la phase d’apprentissage nécessite d’avoir collecté une large base de données la plus représentative du contexte opérationnel et de les avoir labélisées au regard d’une vérité-terrain (VT).

[0039] La vérité-terrain ou « ground truth » en anglais, est une image de référence qui représente un résultat attendu après une opération de segmentation. Dans le contexte de l’invention, la vérité terrain d'une image représente au moins une piste et une rampe d’approche ainsi que le sol visible. Le résultat d’une segmentation d’une image est comparé avec l’image de référence ou vérité-terrain afin d'évaluer la performance de l'algorithme de classification.

[0040] Ainsi à partir de nombreuses images labélisées, la phase d’apprentissage permet de définir l’architecture du réseau de neurones et les hyper-paramètres associés (le nombre de couches, les types de couches, le pas d’apprentissage...), puis de chercher par itération successive, les meilleurs paramètres (les pondérations des couches et entre les couches) qui modélisent le mieux les différents labels (piste/rampe). A chaque itération de l’apprentissage, le réseau de neurones propage (extraire/abstraire des caractéristiques propres aux objets d’intérêts) et estime la présence et la position des objets. A partir de cette estimation et de la vérité terrain, l’algorithme d’apprentissage calcule une erreur de prédiction et la rétropropage dans le réseau afin de mettre à jour les paramètres du modèle.

[0041] Une base de données d’apprentissage doit contenir un très grand nombre de données représentant un maximum de situations possibles, englobant pour le contexte de l’invention, différentes approches sur différentes pistes avec différentes rampes lumineuses d’approches pour différentes conditions météorologiques. Afin de mettre en oeuvre un procédé d’apprentissage par réseau profond et apprendre à reconnaître une piste d’atterrissage dans les données capteur reçues, la base de données qui est constituée, contient une pluralité de jeux de données labélisées ou étiquetées, où chaque jeu de données labélisées correspond à un couple (données capteur, vérité-terrain VT). Une vérité-terrain VT pour le contexte opérationnel de la présente invention est une description de différents éléments d’intérêt devant être reconnus dans les données capteurs, dont au moins une piste d’atterrissage et une rampe d’approche.

[0042] Revenant à la figure 2, après l’étape de détermination de données d’intérêt dans les données capteur reçues, le procédé permet de calculer une zone dans laquelle la rampe lumineuse d’approche et/ou la piste d’atterrissage ont été détectées.

[0043] Dans un mode de réalisation, la zone cible est calculée comme étant un rectangle encadrant les éléments d’intérêt identifiés. A partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, le procédé permet de calculer les coordonnées en cap et en site de deux coins opposés d’un rectangle encadrant.

[0044] Après le calcul de la zone cible, les coordonnées sont envoyées à un dispositif d’affichage en tête haute (ou tête basse sur un dispositif EVS ou CVS tête basse), porté ou non, et la zone est affichée dans une étape suivante (208) comme un symbole conforme au monde extérieur, sous la forme d’un rectangle encadrant. La figure 3 illustre un affichage tête haute d’un système EVS avec l’affichage d’un symbole conforme (302) obtenu par le procédé de l’invention.

[0045] L’affichage du symbole permet de valider la trajectoire vers la piste d’atterrissage avant l’acquisition visuelle de celle-ci par le pilote. L’affichage du symbole permet ainsi d’aider le pilote dans l’acquisition des références visuelles obligatoires avant la DH puisqu’il sait qu’il doit chercher à l’intérieur du rectangle.

[0046] Dans un mode de réalisation, le dispositif tête haute peut également afficher un SVS, un EVS ou un CVS. Dans ces deux derniers cas EVS ou CVS, l’image capteur affichée est celle ayant alimentée la recherche de IΊA.

[0047] Dans un autre mode de réalisation tel qu’illustré sur la figure 4, le procédé permet d’afficher une image IR en tête haute dans laquelle le pilote cherche ses références visuelles aidé par un symbole encadrant (402), par exemple un rectangle provenant de la détection de la piste d’atterrissage par le modèle CNN ou par tout autre algorithme de détection de piste et de rampe, sur des données d’un capteur actif, par exemple un radar millimétrique. Ce mode de réalisation est particulièrement intéressant car les capteurs actifs ont des capacités de détection accrues par rapport aux capteurs IR par conditions de visibilité dégradée mais les données fournis par ces capteurs sont difficilement interprétable par l’œil humain. Dans cette variante de réalisation, l’aéronef bénéficie de l’abaissement des minima d’atterrissage EFVS.

[0048] Dans un autre mode de réalisation, le capteur embarqué est une simple caméra visible et son image n’est pas présentée au pilote. Seul le symbole conforme issu du procédé de l’invention est présenté au pilote lui fournissant alors une aide à la détection visuelle de la piste par exemple lors de vols à vue (VFR pour « View Flight Rules » en anglais) mais avec une visibilité réduite. Ce mode de réalisation ne bénéficie pas d’une réduction des minimas d’atterrissage. [0049] La figure 5 illustre une architecture générale d’un système 500 de visualisation permettant de mettre en œuvre le procédé de l’invention.

[0050] Dans une implémentation préférentielle, un modèle d’IA validé (architecture et les hyper-paramètres appris) est intégré dans un système embarqué à bord d’un aéronef qui comprend au moins un capteur de même type que celui utilisé pour l’apprentissage. Le système embarqué 500 comprend aussi une base de données terrain (BDT) 502, une base de données d’éléments d’intérêts (BDEI) 504, un module de génération d’une vue synthétique 506 en 3D vers l’avant de l’aéronef (SVS) à partir de la position et de l’attitude de l’aéronef reçues par des senseurs 508, et des capteurs 510, un module d’analyse 512 comprenant au moins un modèle d’IA validé, et un dispositif d’affichage 514 du SVS pour l’équipage de l’aéronef. Le dispositif d’affichage 514 ou interface homme-machine, peut être un écran en tête basse (HDD), un écran transparent en tête haute (HUD), un écran transparent porté sur la tête (HWD), le pare-brise de l’aéronef. Avantageusement, la symbologie usuelle de pilotage présentant les paramètres de pilotage de l’aéronef (attitude, cap, vitesse, altitude, vitesse verticale, vecteur vitesse, ...) est superposée à la vue synthétique en 3D.Le module d’analyse 512 peut être configuré pour corriger la position de la piste d’atterrissage présentée sur le SVS 506.

[0051] Ainsi, la présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.

[0052] L’invention peut s’implémenter à partir d’éléments matériels et/ou logiciels.

Elle peut être disponible en tant que produit programme d’ordinateur sur un support lisible par ordinateur et comprend des instructions de code pour exécuter les étapes des procédés dans leurs différents modes de réalisation.