Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR PROCESSING HIGH-CONTRAST IMAGES, IN PARTICULAR IMAGES TAKEN IN SPACE, AND DISPLAY SYSTEM IMPLEMENTING THIS METHOD
Document Type and Number:
WIPO Patent Application WO/2022/023669
Kind Code:
A1
Abstract:
Disclosed is a method for processing a sequence of images taken of a given scene and having a high contrast, characterised in that the images are displayed in the form of stacked overlays each having a transparency that can be adjusted so as to provide a user of the method with a display on a screen having a predetermined display dynamic with a dynamic range far greater than the display dynamic.

Inventors:
OLLIVIER THIERRY (FR)
CANTEGREIL JULIEN (FR)
Application Number:
PCT/FR2021/051407
Publication Date:
February 03, 2022
Filing Date:
July 28, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SPACEABLE (FR)
International Classes:
G06T5/00; G06T5/50; H04N5/235
Foreign References:
US20050030315A12005-02-10
FR2996034A12014-03-28
Other References:
"Adobe Photoshop Lightroom CC and Lightroom 6 Help", 22 April 2015 (2015-04-22), XP055184867, Retrieved from the Internet [retrieved on 20150422]
MERTENS T ET AL: "Exposure Fusion", COMPUTER GRAPHICS AND APPLICATIONS, 2007. PG '07. 15TH PACIFIC CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 29 October 2007 (2007-10-29), pages 382 - 390, XP031338475, ISBN: 978-0-7695-3009-3
RAFAL K. MANTIUKKAROL MYSZKOWSKIHANS-PETER SEIDEL, HIGH DYNAMIC RANGE IMAGING, 18 April 2016 (2016-04-18)
Attorney, Agent or Firm:
HUYGHE, Emmanuel (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé pour traiter une séquence d’images photographiques prises dans l’espace depuis un vaisseau spatial pourvu d’un équipement de prise de vues, ces images étant transmises depuis ledit vaisseau spatial vers une station de réception terrestre puis acheminées sur un site de traitement agencé pour rendre accessibles à un utilisateur sur un écran d’ordinateur les images ainsi transmises, comprenant les étapes suivantes : affichage des images ainsi transmises sous la forme de calques superposés ayant chacun une transparence réglable sur un écran présentant une dynamique d ’ affichage prédéterminée, acquisition d’une demande de réglage d’une plage dynamique d’affichage, traitement de ladite demande de réglage ainsi acquise, pour régler des valeurs de transparence respectives de chacun desdits calques. 2. Procédé selon la revendication 1, caractérisé en ce qu’il est agencé pour traiter des images ayant chacune une plage dynamique prédéterminée avec un décalage prédéterminé entre chaque image.

3. Procédé selon la revendication précédente, caractérisé en ce que la séquence d’images contient quatre photographies.

4. Procédé selon la revendication précédente, caractérisé en ce que les quatre photographies présentent une plage dynamique de sensiblement 8 EV chacune, avec un décalage de sensiblement 4EV entre chaque photographie.

5. Procédé selon la revendication précédente, caractérisé en ce que la plage dynamique d’affichage est supérieure ou égale à 20 EV.

6. Application du procédé selon l’une quelconque des revendications précédentes, à la détection d’anomalies sur un ou plusieurs satellites.

7. Application selon la revendication précédente, mise en œuvre pour le traitement d’images prises depuis un satellite d’inspection visuelle.

8. Système pour afficher une séquence d’images photographiques prises dans l’espace depuis un vaisseau spatial pourvu d’un équipement de prise de vues, ces images étant transmises depuis ledit vaisseau spatial vers une station de réception terrestre puis acheminées sur un site de traitement agencé pour rendre accessibles à un utilisateur sur un écran d’ordinateur les images ainsi transmises, mettant en œuvre le procédé de traitement selon l’invention, ce système comprenant: des moyens pour afficher des images ainsi transmises sous la forme de calques superposés ayant chacun une transparence réglable sur un écran présentant une dynamique d’affichage prédéterminée, des moyens pour acquérir une demande de réglage d’une plage dynamique d’affichage, des moyens pour traiter ladite demande de réglage ainsi acquise et délivrer des valeurs de transparence respectives pour chacun desdits calques, et des moyens pour régler les transparences respectives de chacun desdits calques.

9. Système selon la revendication précédente, mettant en œuvre un serveur Web pour procurer à un utilisateur le procédé de traitement selon l’une quelconque des revendications 1 à 5.

Description:
PROCEDE POUR TRAITER DES IMAGES A CONTRASTE ELEVE, NOTAMMENT DES IMAGES PRISES DANS L’ESPACE, ET SYSTEME D’AFFICHAGE METTANT EN ŒUVRE CE PROCEDE

DOMAINE DE G INVENTION La présente invention concerne un procédé pour traiter des images à contraste élevé, notamment des images prises dans l’espace, en vue de leur affichage sur un écran. Elle vise également un système d’affichage mettant en œuvre ce procédé.

ETAT DE LA TECHNIQUE En réalisant une inspection visuelle de satellites sur orbite, il est possible de détecter des anomalies sur ces satellites. Cette inspection visuelle consiste en pratique à prendre des images de ces satellites, qui seront transmises et analysées au sol, par un utilisateur ou automatiquement, pour détecter des anomalies.

Ces anomalies pouvant être assez petites, mais au minimum 2x2 pixels, il faut donc que les images affichées soient de la meilleure qualité possible.

Les images prises dans l’espace sont de fait très contrastées, la plage dynamique de lumière présente est très grande, largement supérieure à celle d’un capteur d'image. On est obligé de prendre une séquence de plusieurs images, de la plus foncée à la plus claire, pour couvrir une plage dynamique importante (>= 20EV). Depuis la création de la photographie, on cherche à capturer une image à grande plage dynamique, comme peut percevoir un oeil humain (autour de 20EV) [1] Or la plage dynamique des capteurs d'appareil photographique ne dépasse pas 12EV et la reproduction d'une image d'un écran ne dépasse pas 8EV ce qui est très loin de la perception humaine. Des travaux ont été menés pour permettre d’afficher des images à grande plage dynamique et des algorithmes ont été développés : HDR = High Dynamic Range [2] L'idée est de prendre plusieurs images à des expositions différentes puis de compresser la dynamique pour qu'elle rentre dans une gamme réduite de 8EV. L'inconvénient de cette méthode est qu'elle peut générer des anomalies. De plus, cette image résultante n'est pas une image originale puisqu'elle a été générée. Des outils de visualisation d'images spatiales comme celui de la NASA [3] permettent d’afficher une image spatiale en tenant compte des réglages utilisateur (luminosité, contraste). L'affichage est un peu saccadé alors que l'image est de dimensions réduites (650x500 pixels). L'invention proposée permet l'affichage d'images beaucoup plus grandes (6 à 12 fois plus grandes) avec une meilleure rapidité et une plus grande fluidité.

En pratique, si une séquence contient quatre images de plage dynamique 8EV chacune, avec un décalage d'exposition de 4EV entre chaque image, on a alors une plage dynamique couverte de 20EV, en référence à la figure 1, tandis qu’un écran d’ordinateur possède une plage dynamique d’affichage très réduite (inférieure ou égale à 8EV) et ne peut pas afficher une image avec une plage dynamique plus importante comme l’illustre la figure 2.

Le but de la présente invention est d’afficher facilement une séquence d’images photographiques à contraste élevé sur un écran d’ordinateur pour qu’un utilisateur puisse détecter rapidement des anomalies dans les zones sombres et dans les zones claires, avec la contrainte d’une plage dynamique d’affichage sur écran très réduite.

DEFINITIONS

SHDR : SpaceAble High Dynamic Range pour « Grande Gamme dynamique de

SpaceAble » EV : Exposure Value pour « Valeur d’exposition » : 1EV correspond à un doublement de la luminosité.

EXPOSE DE L’INVENTION

Cet objectif est atteint avec un procédé pour traiter une séquence d’images photographiques prises dans l’espace depuis un vaisseau spatial pourvu d’un équipement de prise de vues, ces images étant transmises depuis ledit vaisseau spatial vers une station de réception terrestre puis acheminées sur un site de traitement agencé pour rendre accessibles à un utilisateur sur un écran d’ordinateur les images ainsi transmises, comprenant les étapes suivantes : - affichage des images ainsi transmises sous la forme de calques superposés ayant chacun une transparence réglable sur un écran présentant une dynamique d’affichage prédéterminée, acquisition d’une demande de réglage d’une plage dynamique d’affichage, traitement de ladite demande de réglage ainsi acquise, pour régler des valeurs de transparence respectives de chacun desdits calques. A la différence des techniques antérieures de fusion dans lesquelles une nouvelle image est créée à partir d’images de différentes expositions, le procédé de traitement selon l’invention n’altère pas les images de référence qui sont certifiées et ne vise donc pas à créer une nouvelle image (qui ne serait pas certifiée).

Avec le procédé selon l’invention, il s’agit de pouvoir afficher simplement et facilement l'ensemble des images de manière progressive en faisant glisser un curseur qui joue sur la transparence de chaque image empilée. Comme il n’y a aucun calcul à faire (traitement d'image), l'affichage est quasi instantané sans que les images soient altérées.

La présente invention contribue ainsi à faciliter la tâche d’un utilisateur qui n’a ainsi pas besoin de passer d'une image à l'autre et qui permet de se concentrer sur un point particulier de l’image. On dispose ainsi d’un outil permettant la recherche d’anomalies, ce qui n'est pas possible si les images sont altérées par un traitement numérique.

Le procédé de traitement selon l’invention peut être avantageusement agencé pour traiter des images ayant chacune une plage dynamique prédéterminée avec un décalage prédéterminé entre chaque image. La séquence d’images peut par exemple contenir quatre photographies.

Les quatre photographies peuvent présenter une plage dynamique de sensiblement 8 EV chacune, avec un décalage de sensiblement 4EV entre chaque photographie.

La plage dynamique d’affichage peut être supérieure ou égale à 20 EV.

Le procédé de traitement selon l’invention peut être appliqué à la détection d’anomalies sur un ou plusieurs satellites, notamment pour le traitement d’images prises depuis un satellite d’inspection visuelle.

Suivant un autre aspect de l’invention, il est proposé un système pour afficher une séquence d’images photographiques prises dans l’espace depuis un vaisseau spatial pourvu d’un équipement de prise de vues, ces images étant transmises depuis ledit vaisseau spatial vers une station de réception terrestre puis acheminées sur un site de traitement agencé pour rendre accessibles à un utilisateur sur un écran d’ordinateur les images ainsi transmises, mettant en œuvre le procédé de traitement selon l’invention, ce système comprenant: des moyens pour afficher des images ainsi transmises sous la forme de calques superposés ayant chacun une transparence réglable sur un écran présentant une dynamique d’affichage prédéterminée, des moyens pour acquérir une demande de réglage d’une plage dynamique d’affichage, des moyens pour traiter ladite demande de réglage ainsi acquise et délivrer des valeurs de transparence respectives pour chacun desdits calques, et des moyens pour régler les transparences respectives de chacun desdits calques.

Le système d’affichage selon l’invention peut avantageusement mettre en œuvre un serveur Web pour procurer à un utilisateur des images obtenues à partir du procédé de traitement selon l’invention. Les avantages du procédé de traitement selon l’invention sont les suivants :

Les images originales ne sont pas traitées, elles ne sont donc pas altérées.

Les images originales ne sont pas modifiées, elles peuvent être certifiées à la prise de vues et le rester jusqu'à leur utilisation, elles sont toujours disponibles pour une utilisation ultérieure.

Il n’y a pas besoin de ressources de calcul sur le serveur pour générer l'image pour l'utilisateur, c’est l’ordinateur de l’utilisateur (carte graphique) qui gère l’affichage des calques. l'affichage est très rapide et fluide ce qui permet à l'utilisateur de vérifier rapidement la présence ou non d'une anomalie dans toutes les zones de l’image. si un pixel est erroné sur l’une des images de la séquence, notamment à cause d'une particule spatiale chargée en énergie, il ne va pas apparaître sur les autres images de la séquence, et ne sera donc pas considéré comme une anomalie.

Par ailleurs, dans le cadre de la présente invention, il est possible d’ajouter des calques supplémentaires permettant d’afficher d’autres informations (images en infrarouge, détection de contours, paramètres de prise de vues, ..) sans altérer l'affichage original. DESCRIPTION DES FIGURES

D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants :

• La figure 1 représente une plage dynamique totale ;

• La figure 2 illustre une plage dynamique d’affichage ;

• La figure 3 illustre un affichage par calques ;

• La figure 4 représente un procédé classique sans traitement ;

• La figure 5 représente un procédé classique avec éclaircissement de l'image ;

• la figure 6 représente un procédé classique avec assombrissement de l'image ;

• la figure 7 illustre le procédé d’affichage selon l’invention avec un réglage de 50% ;

• la figure 8 illustre le procédé d’affichage selon l’invention avec un réglage de 100% (éclaircissement maximum);

• la figure 9 illustre le procédé d’affichage selon l’invention avec un réglage de 0% (assombrissement maximum);

• la figure 10 illustre un procédé connu HDR standard associé à un « Tone mapping » ;

• la figure 11 illustre une vue de détail de l’image de la figure 10 ;

Il est important de noter que les figures précitées ont été volontairement simplifiées, afin d’en rendre possible la reproduction et l’interprétation. DESCRIPTION DETAILLEE

On va maintenant décrire un exemple d’un système d’affichage selon l’invention procurant à un utilisateur sur un site Web une image traitée à partir d’une séquence d’images photographiques prises dans l’espace depuis un satellite d’inspection visuelle pourvu d’un équipement de prise de vues. Ces images sont transmises depuis le satellite d’inspection visuelle vers une station de réception terrestre puis acheminées sur un site de traitement implémentant le système selon l’invention. Ce site de traitement est agencé pour rendre accessibles à un utilisateur sur un écran d’ordinateur les images ainsi traitées, via un site web.

L’écran d’ordinateur possède en pratique une plage dynamique d’affichage très réduite (<=8EV). Le site web est conçu pour afficher les images sous forme de calques superposés, en référence à la figure 3. En réglant la transparence de chaque calque, l’utilisateur peut afficher à loisir toute la plage dynamique de façon continue de l'image la plus foncée à la plus claire en passant par des images intermédiaires.

Dans chaque calque, on met l’image photographique correspondante, issue de la même séquence.

Image Photo 1 ® Calque 1 Image Photo 2 ® Calque 2 Image Photo 3 ® Calque 3 Image Photo 4 ® Calque 4

Puis à chaque demande de réglage utilisateur compris entre 0% (sombre) et 100% (clair), il faut régler les valeurs de transparence de chaque calque, comme l’illustre le tableau ci- dessous : Les résultats obtenus avec le procédé SHDR de traitement selon l’invention ont été comparés avec des résultats obtenus avec des procédés classiques de traitement d’image.

Ainsi, si l’on considère une image 8 bits sans traitement illustrée en figure 4 contenant des détails dans les zones sombres et dans les zones claires, et que l’on éclaircit cette image 8 bits pour détecter d'éventuelles anomalies dans les zones sombres, on obtient un résultat (figure 5) qui n'est pas acceptable pour une application de détection d'anomalie car du bruit du luminance est généré. L'utilisateur qui analyse cette image ne peut pas détecter des anomalies de faibles dimensions ne sachant pas si l’anomalie est réelle ou générée par le traitement, l’image originale ayant été fortement altérée. Si maintenant on assombrit l’image pour détecter d’éventuelles anomalies dans les zones claires, on obtient un résultat (figure 6) inexploitable car il n’y aucun détail visible dans les zones claires.

En mettant en œuvre le procédé de traitement selon l’invention, avec une séquence de quatre images et un réglage défini à 50%, on obtient la même image que celle obtenue par le procédé classique sans traitement (figure 7), ce qui est normal puisque on se retrouve avec la valeur moyenne entre l’image Photo 2 et l’image Photo 3.

Si on positionne le réglage à 100%, on obtient une image éclaircie non altérée avec des détails fiables dans les zones sombres, en référence à la figure 8. Si on positionne le réglage à 0%, on obtient une image assombrie avec des détails fiables dans les zones claires, en référence à la figure 9.

Les résultats d’affichage obtenus avec le procédé de traitement selon l’invention ont également été comparés à ceux obtenus avec le procédé connu HDR « High Dynamic Range » (grande gamme dynamique) associé à une technique de « Tone mapping » (cartographie des tons), qui permet de recombiner plusieurs images prises chacune avec une exposition différente en une seule image qui permet d’afficher sur un écran à la fois les détails dans les zones sombres et dans les zones claires, en référence à la figure 10.

Mais comme l’illustre la vue de détail en figure 11, ce procédé nécessite un alignement des images parfait lors de la prise de vues car le procédé accentue les différences et cela entraîne la création de pixels erronés qui pourraient être considérés comme des anomalies réelles, le bruit de luminance pouvant lui aussi être accentué par ce procédé.

Bien entendu, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux autres modes de réalisation peuvent être envisagés sans sortir du cadre de la présente invention. En particulier, le procédé de traitement selon l’invention peut être mis en œuvre dans une chaîne automatisée de détection d’anomalies sur des satellites faisant l’objet d’une inspection visuelle. Par ailleurs, le nombre d’images dans une même séquence d’images n’est pas limité à quatre comme dans les exemples qui viennent d’être décrits mais peut être variable en fonction des caractéristiques des imageurs embarqués et des performances souhaitées de détection d’anomalies.

REFERENCES

[1] "Photographie à grande gamme dynamique" https://fir.wikipedia.org/wiki/Imagerie_%C3%A0_grande_gamme_ dynamique

[2] Rafal K. Mantiuk, Karol Myszkowski and Hans-Peter Seidel, "High Dynamic Range Imaging" (April 18, 2016) [3] "Observing with Nasa" https://waps.cfa.harvard.edu/ eduportal/j s9/ software. php