Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND SYSTEM FOR IMAGING A SCENE IN SPACE
Document Type and Number:
WIPO Patent Application WO/2022/023668
Kind Code:
A1
Abstract:
A method for imaging a scene in space from a spacecraft, comprising acquiring a sequence of N images of said scene, with a partial overlap of the dynamic range of said images and with exposure times that are computed respectively so as to acquire images from darkest to lightest, so as to cover a dynamic range far greater than that of each of said acquired images and allow detection of even small anomalies.

Inventors:
OLLIVIER THIERRY (FR)
CANTEGREIL JULIEN (FR)
Application Number:
PCT/FR2021/051406
Publication Date:
February 03, 2022
Filing Date:
July 28, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SPACEABLE (FR)
International Classes:
G06T5/00; G06T5/50; H04N5/235
Foreign References:
US20150170389A12015-06-18
FR2996034A12014-03-28
Other References:
ANONYMOUS: "Bracketing - Wikipédia 9/03/2021", 8 May 2020 (2020-05-08), XP055787665, Retrieved from the Internet [retrieved on 20210319]
ANONYMOUS: "Imagerie à grande dynamique", 22 July 2020 (2020-07-22), XP055787699, Retrieved from the Internet [retrieved on 20210319]
JAROSLAW BERNACKI, AUTOMATIC EXPOSURE ALGORITHMS FOR DIGITAL PHOTOGRAPHY, 22 January 2020 (2020-01-22)
YUANHANG SUJAY KUO, FAST AND ROBUST CAMERA'S AUTO EXPOSURE CONTROL USING CONVEX OR CONCAVE MODEL, 2015
Attorney, Agent or Firm:
HUYGHE, Emmanuel (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé pour imager une scène dans l’espace à partir d’un vaisseau spatial, comprenant une acquisition d’une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images et avec des temps d’exposition réglés respectivement pour passer d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises, caractérisé en ce qu’il comprend : une première étape pour déterminer un temps d’exposition de référence pour la première image, la plus sombre, mettant en œuvre un premier critère selon lequel la première image peut comporter des pixels blancs de luminosité maximale, et un second critère selon lequel la première image ne peut pas avoir des zones blanches de luminosité maximale supérieures ou égales à 2x2 pixels, une étape pour acquérir une image d’une scène d’intérêt avec un temps d’exposition déterminé, une analyse de ladite image pour déterminer si celle-ci satisfait lesdits premier et second critères, et dans le cas contraire une nouvelle acquisition d’image avec un temps d’exposition modifié, suivi d'une nouvelle analyse, lesdites étapes de nouvelle acquisition et de nouvelle analyse étant réitérées jusqu’à ce que lesdits premier et second critères soient satisfaits. une dernière étape pour acquérir les N-l images.

2. Procédé d’imagerie selon la revendication 1, caractérisé en ce que chaque image de la séquence d’images au-delà de la première est au moins 16 fois plus claire (+4EV) que la précédente. 3. Procédé d’imagerie selon Tune des revendications 1 ou 2, caractérisé en ce que la séquence d’images est prise dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les images prises d’une même scène.

4. Procédé d’imagerie selon Tune quelconque des revendications précédentes, caractérisé en ce qu’il comprend en outre une étape pour déterminer le temps d’exposition modifié par approximations successives, mettant en œuvre une méthode de calcul rapide telle qu’une méthode par dichotomie, consistant à répéter des partages d'un intervalle en deux parties puis à sélectionner le sous-intervalle dans lequel existe un zéro de la fonction.

5. Procédé d’imagerie selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape d’analyse n'est effectuée que pour 1 pixel sur N, N étant supérieur ou égal à 2. 6. Procédé d’imagerie selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il est mis en œuvre pour imager un satellite en orbite.

7. Système pour imager une scène dans l’espace à partir d’un vaisseau spatial, mettant en œuvre le procédé d’imagerie selon l’une quelconque des revendications précédentes, ce système comprenant des moyens de prise de vues prévus pour acquérir une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images, et des moyens pour régler le temps d’exposition de chaque image, respectivement pour acquérir des images d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises.

8. Système d’imagerie selon la revendication précédente, caractérisé en ce qu’il est embarqué dans un satellite d’inspection visuelle communiquant avec une station de réception terrestre.

Description:
PROCEDE ET SYSTEME POUR IMAGER UNE SCENE DANS L’ESPACE

DOMAINE DE G INVENTION

La présente invention concerne un procédé pour imager une scène dans l’espace. Elle vise également un système mettant en œuvre le procédé d’imagerie selon l’invention.

ETAT DE LA TECHNIQUE

L’inspection visuelle de satellites en orbite correspond à une attente de plus en plus forte des opérateurs de satellite. Cette inspection est en pratique réalisée à partir d’un vaisseau spatial, notamment un satellite dédié qui embarque un système de prise de vues ou d’acquisition d’images qui sont stockées localement puis transmises via une station de réception terrestre à un site de traitement pour y être analysées, par un utilisateur ou par des moyens d’analyse automatiques, pour détecter des anomalies.

Ces anomalies peuvent être assez petites, 2x2 pixels au minimum, il faut donc que les images affichées sur l’écran du poste de travail d’un utilisateur soient de la meilleure qualité possible.

Les photographies prises dans l’espace sont très contrastées, et la plage dynamique de lumière présente est très grande, largement supérieure à celle d’un capteur photo.

Si on raisonne en EV (Exposure Value), un capteur ou imageur photographique peut prendre une photo sur une plage dynamique de 8 à 10EV, alors que les conditions de prise de vues représentent un plage dynamique de 20EV.

On connaît déjà le procédé dit de « bracketing d'exposition » [1] qui consiste à prendre une série de photographies successives en un seul déclenchement, l'exposition variant automatiquement entre les prises de vue. La variation d'exposition est obtenue en changeant le temps de pose et/ou l'ouverture. Cette fonctionnalité est utilisée dans les cas où la détermination des valeurs d'exposition est difficile (situation de fort contre-jour par exemple, ou lorsque des reflets multiples faussent la mesure de l'exposition par la cellule ou le posemètre), ou encore simplement par sécurité.

Par ailleurs, le calcul d'exposition effectué actuellement sur les appareils de photographie numérique se fait le plus souvent automatiquement, en faisant une moyenne de la luminance d’une certaine quantité de pixels de toute l’image ou d’une zone définie par l'utilisateur de façon à ce que le sujet principal de la photo soit exposé correctement [2] [3]

Toutefois, les algorithmes mis en œuvre dans ces procédé de « bracketing d’exposition » ou de calcul d’exposition sont prévus pour une prise de vue avec une seule image, ce qui limite forcément la plage dynamique globale de la prise de vue d’une scène à contraste élevé.

Le but de la présente invention est de remédier à ces inconvénients en proposant un nouveau procédé d’imagerie d’une scène dans l’espace qui procure, sur un écran d’ordinateur d’un utilisateur au sol, des images présentant une plage dynamique suffisamment large pour permettre une détection aisée d’anomalies.

EXPOSE DE L’INVENTION

Cet objectif est atteint avec un procédé pour imager une scène dans l’espace à partir d’un vaisseau spatial, comprenant une acquisition d’une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images et avec des temps d’exposition réglés respectivement pour passer d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises. Suivant l’invention, ce procédé d’imagerie comprend : une première étape pour déterminer un temps d’exposition de référence pour la première image, la plus sombre, mettant en œuvre un premier critère selon lequel la première image peut comporter des pixels blancs de luminosité maximale, et un second critère selon lequel la première image ne peut pas avoir des zones blanches de luminosité maximale supérieures ou égales à 2x2 pixels, une étape pour acquérir une image d’une scène d’intérêt avec un temps d’exposition déterminé, une analyse de ladite image pour déterminer si celle-ci satisfait lesdits premier et second critères, et dans le cas contraire une nouvelle acquisition d’image avec un temps d’exposition modifié, suivi d'une nouvelle analyse, lesdites étapes de nouvelle acquisition et de nouvelle analyse étant réitérées jusqu’à ce que lesdits premier et second critères soient satisfaits, une dernière étape pour acquérir les N-l images.

Ainsi, ce procédé d’imagerie selon l’invention est prévu pour une séquence d’images, c'est à dire autorisant des images surexposées et des images sous-exposées sur l'une des images mais pas toutes.

Chaque image de la séquence d’images au-delà de la première peut être au moins 16 fois plus claire (+4EV) que la précédente.

La séquence d’images peut être prise dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les images prises d’une même scène.

Le procédé d’imagerie selon l’invention peut en outre comprendre une étape pour déterminer le temps d’exposition modifié par approximations successives, mettant en œuvre une méthode de calcul rapide telle qu’une méthode par dichotomie, consistant à répéter des partages d'un intervalle en deux parties puis à sélectionner le sous-intervalle dans lequel existe un zéro de la fonction, avec pour objectif de réduire le temps de détermination. Pour des raisons semblables, l’étape d’analyse peut n'être effectuée que pour 1 pixel sur N, N étant supérieur ou égal à 2.

Le procédé d’imagerie selon l’invention peut être mis en œuvre pour imager un satellite en orbite.

Suivant un autre aspect de l’invention, il est proposé un système pour imager une scène dans l’espace à partir d’un vaisseau spatial, mettant en œuvre le procédé d’imagerie selon l’invention, ce système comprenant des moyens de prise de vues prévus pour acquérir une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images, et des moyens pour régler le temps d’exposition de chaque image, respectivement pour acquérir des images d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises.

Le système d’imagerie selon l’invention peut être embarqué dans un satellite d’inspection visuelle communiquant avec une station de réception terrestre. DESCRIPTION DES FIGURES

D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants :

• La figure 1 illustre un exemple d’une plage dynamique mise en œuvre pour des prises de vue selon l’invention ;

• La figure 2 illustre une portion de photo analysée ;

• La figure 3 illustre les temps d'exposition pour une séquence de prise de vues (dessins non à l’échelle) réalisées avec le procédé selon l’invention.

DEFINITIONS

SHDR : SpaceAble High Dynamic Range pour « Grande Gamme dynamique de SpaceAble »

EV : Exposure Value pour « Valeur d’exposition » : 1EV correspond à un doublement de la luminosité.

DESCRIPTION DETAILLEE

Un exemple de réalisation d’un système d’imagerie embarqué selon l’invention comprend, à titre d’exemple non limitatif, un équipement optique de prise de vue, une unité de contrôle et de traitement, une unité de stockage d’images et une unité de radiocommunication avec une station de réception au sol.

Ce système d’imagerie embarqué selon l’invention est par exemple installé dans un satellite d’inspection visuelle prévu pour inspecter un ou plusieurs satellites en orbitede la Terre. L’unité de contrôle et de traitement est programmée pour commander l’équipement de prise de vue de sorte qu’il prenne une séquence de N images photographiques à la suite, dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les photos. Cela consiste à prendre N photos, de la plus foncée à la plus claire, ce qui permet de couvrir une plage dynamique beaucoup plus importante. Par exemple, si en référence à la figure 1 on acquiert quatre images à la suite, en utilisant une plage dynamique de 8EV pour chaque image pour limiter le bruit, même si la photo possède une plage dynamique supérieure, chaque image étant plus 16 fois claire (+4EV) que la précédente. On a alors une plage dynamique couverte de 20EV. Pour le reste de la description, il sera fait mention d’un nombre d’images N=4 par séquence. La luminosité des photos est indiquée en %. La valeur 0% indique une photo entièrement noire, la valeur 100% indique une photo entièrement blanche.

Cette acquisition d’images de luminosité croissante est déjà connue en photographie terrestre sous le terme de "bracketing d'exposition", mais avec un écart de luminosité entre deux photographies beaucoup plus réduit (par exemple 1EV).

L’unité de contrôle et de traitement est aussi programmée pour déterminer un temps d’exposition de référence de la première image (Photo 1), qui permet de calculer alors le temps d’exposition des Photos 2, 3 et 4.

Le procédé d’imagerie SHDR selon l’invention implémente un algorithme qui détermine le temps d’exposition optimal pour chaque image de la séquence. L’image très foncée doit permettre de distinguer tous les détails dans les zones claires. L’image très claire doit permettre de distinguer tous les détails dans les zones foncées.

Les autres images intermédiaires servent de transition pour un affichage SHDR ou pour un traitement classique de photos de type HDR (High Dynamic Range : large gamme dynamique).

Dans un premier temps, l’algorithme est dédié à la détermination du temps d'exposition de référence, c’est à dire celui correspondant à la photo la plus foncée. Pour cela, les critères suivants sont appliqués :

- on autorise à avoir des pixels blancs (100%) contigus ou non car ils peuvent par exemple représenter les étoiles,

- on n’autorise pas à avoir des zones blanches supérieures ou égales à 2x2 pixels,

L’algorithme commande l’acquisition d’une image d’une scène d’intérêt telle qu’un satellite, l’analyse de cette image, et si elle ne répond pas aux critères, une nouvelle acquisition d’image en changeant le temps d’exposition. Le nouveau temps d’exposition est trouvé par dichotomie, de façon à réduire le nombre de photos à prendre pour trouver le bon temps d’exposition. Pour que l’analyse soit rapide, on n’analyse que 1 pixel sur 4, en référence à la figure 2. Avec cette simplification, le temps d'analyse est divisé par 4, on est sûr qu'un bloc de 2x2 pixels saturés sera détecté, et on autorise des pixels blancs qui pourraient correspondre à des étoiles. Une fois que l'on a déterminé le temps d'exposition de référence (appelé Tl), on acquiert les images (Photos 1, 2, 3 et 4) en multipliant par 16 le temps d'exposition à chaque fois (ce qui correspond au chevauchement de 4EV), en référence à la figure 3. Il n'y a pas d'analyse d’image dans cette phase de façon à avoir le temps de prise de vues le plus court pour l'ensemble des Photos 1, 2, 3 et 4. Si par exemple le temps d'exposition de référence trouvé est de 1ms, on a Tl=lms, T2 = 16ms, T3 = 256ms et T4 = 4096ms.

A la fin de la prise de vues, on se retrouve avec 4 images (photos) dont la plus foncée ne possède pas de groupe de 2x2 pixels saturés à 100%, et dont l’image la plus claire ne possède aucun pixel saturé à 0% (car elle est 4096 fois plus claire que la photo de référence).

Il est à noter que le résultat d'une séquence complète est optimal lorsqu'il n'y a pas de déplacement de la scène photographiée ou de l'équipement optique pendant la prise de vues. A défaut, on risque un décalage entre les photos qu'il faudra réaligner. Dans l'espace, les déplacements relatifs sont lents ce qui permet l'utilisation de ce procédé. Bien entendu, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux autres modes de réalisation peuvent être envisagés sans sortir du cadre de la présente invention. En particulier, on peut envisager une séquence d’images contenant un nombre d’images différent de 4. REFERENCES

[1] Bracketing d'exposition https://fr.wikipedia.org/wiki/Bracketing

[2] Jarosiaw Bemacki "Automatic exposure algorithms for digital photography" (22 janvier 2020)

[3] Yuanhang Su & Jay Kuo "Fast and Robust Camera’s Auto Exposure Control Using Convex or Concave Model" (2015)