Mini-symposium SIAM IS12 : Imaging Through Turbulence

http://sites.google.com/site/louyifei/research/turbulence/siam12

Il y a des approches très intéressantes dans 6 des 7 slides présentés :
- le premier slide est une introduction,
- les six suivants traitent le problème présenté.

Je trouve le deuxième slide particulièrement complet :
- présentation du problème,
- effets de la turbulence atmosphérique,
- Lucky Imaging,
- limites de l'optique adaptative,
- isoplanétisme et PSF,
- modèle proposé (3 étapes),
- exemples variés.

Les cinquième et sixième sont aussi très intéressants et vont dans la même direction que le deuxième.

Contrairement à ce que pensent certains, il se dessine une alternative purement logicielle à la coûteuse optique adaptative et les astronomes amateurs pourront bientôt profiter des recherches en cours (la contribution de Xiang Zhu n'est qu'un exemple parmi d'autres, voir aussi les travaux des autres intervenants).

PS : les fichiers PDF des différentes interventions sont téléchargeables (voir lien en fin de page).

[Ce message a été modifié par ms (Édité le 21-02-2013).]

(non rien)

[Ce message a été modifié par Thierry Legault (Édité le 21-02-2013).]

je viens de regarder les résultats... de ce que je peux voir, les algo en question s'efforcent de conserver la géométrie de l'image, ce qui est déjà pas mal mais c'est bien ce que font nos soft de registration non ?

Il me semble aussi (certains rajoutent de la déconvolution à la fin mais ça me semble hors sujet), mais il y a peut-être un truc qui nous a échappé...

En gros la méthode utilisée par Xiang Zhu c'est Morphing puis Reconstruction puis Déconvolution :
a) morphing sur les images globales,
b) reconstruction à partir des images locale,
c) déconvolution aveugle sur l'image reconstruite.

Quand j'aurai fini d'implémenter les 3 étapes, je pourrai comparer avec d'autres logiciels comme AviStack, Registax ou AutoStakkert.

Le problème avec les AviStack, Registax ou AutoStakkert c'est que vous les consommez sans trop savoir ce qu'il y a dedans, un peu comme des barquettes Findus.

toujours tes provocs a deux balle, décidément tu va retourner bien au chaud dans ma boite à cons

Question qui est peut être bête : Pour reconstruire une géométrie, on s'appuie sur quoi ?
Une image qui serait jugée "bonne" et on fait du morphing par rapport à cette référence ?
On fait une composition de quelques images que l'on décide de prendre comme référence et on procède comme suit ?

Pour moi tout le problème de reconstruction consiste à savoir par rapport à quoi on reconstruit. Viscéralement si je décide que jupiter est carré, je suis certain que je peux arriver à trouver un morphing qui présente Jupiter sous cette forme plus ou moins approchante. Et comme je suis à la fois têtu et borné, la prochaine fois Jupiter en triangle !

Par contre, tout aussi viscéralement, en disposant d'une infinité d'image, je suis certain que le composition de tout est égale à l'image attendue. Du coup et à contre courant de ce qui se fait dans nos logiciels, l'image de référence devrait contenir "tout" et l'image traitée uniquement les meilleures de cette série non ?

Marc

C'est bien ce que font nos softs (c'est très clair pour Avistack avec les nombreuses options disponibles) : stacker toutes les images (ou presque) pour faire une référence initiale, et faire ensuite les recalages de chaque zone sélectionnée par rapport à cette référence.

Donc contrairement à ce que certains pensent, on a quand même une idée de ce que font ces logiciels (sachant que l'essentiel c'est quand même ce qu'ils sortent et si c'est satisfaisant, on n'a pas forcément besoin d'en savoir plus, si ce n'est pour satisfaire sa curiosité).

Frédo ne sois pas trop dur avec ms, il fait même de l'autodérision.

La preuve, il suffit de transformer sa phrase "Contrairement à ce que pensent certains, il se dessine une alternative purement logicielle à la coûteuse optique adaptative et les astronomes amateurs pourront bientôt profiter des recherches en cours (la contribution de Xiang Zhu n'est qu'un exemple parmi d'autres, voir aussi les travaux des autres intervenants)"

en : "Contrairement à ce que pensent certains, il se dessine une alternative purement comptable à la coûteuse politique d'austérité et les citoyens pourront bientôt profiter des excédents budgétaires (la contribution de la BCE n'est qu'un exemple parmi d'autres, voir aussi les travaux des autres intervenants)"

...et tu as un magnifique discours UMPS qui réjouira les fans de ms au bistrot

MS :
Il suffit d'envoyer un mail aux concepteurs de logiciels pour leur demander comment ça marche ;-)
Pour ma part, j'ai déjà eu l'occasion de discuter avec les concepteurs d'Avistack et Autostakkert, et ce sont des gens très ouverts ...

Sur le fond, l'originalité de la démarche, c'est la déconvolution en aveugle. A essayer pourquoi pas ?

Sinon, tu peux aussi jeter un œil sur la thèse de F. Woger avec entre autre la reconstruction de PSF et la déconvolution d'image: http://webdoc.sub.gwdg.de/ebook/dissts/Freiburg/Woeger2007.pdf

Il y a peut-être des idées intéressantes à piocher ? Je ne suis pas assez compétent pour le dire. Ce sont des méthodes qui marchent et qui sont effectivement implémentées pour le solaire (mais avec des gros télescopes).

[Ce message a été modifié par christian viladrich (Édité le 21-02-2013).]

Marc,
Comme le dit Thierry, Avistack et Autostakkert font la moyenne de toutes les images acquises pour constituer l'image de référence pour la correction géométrique de la distorsion.

Ceci marche bien quand le temps d'acqui est "suffisamment long". Les distorsions de chaque image étant isotropes, l'image moyenne n'est pas déformée dans sa géométrie (même si bien sûr cette image est floue).

En solaire, c'est une autre histoire, avec des temps d'acquisition très courts (15 s par exemple), il n'est pas du tout sûr que l'image moyenne ne soit pas déformée....

[Ce message a été modifié par christian viladrich (Édité le 21-02-2013).]

Ca m'a lair un peu plus "sioux" qu'une simple registration sur la base d'une image de référence (ce que font les soft actuels). L'idée de ce type (classique) de registration est de restaurer la déformation géométrique par zones et compenser la variation de pente locale du front d'onde.
C'est une compensation au premier ordre.

Le problème c'est que certaines zones de l'image vont se retrouver défocalisée, distordues (zernikes d'ordre >2, on obtient des speckle au lieu d'une psf pure) et d'autres pas du tout (c'est localement une zone de turbulence nulle).
Les zones d'isoplanétisme (ou la turbulence est identique) sont constituées de zones ou la turbu est localement identique (et peut être trés déformante), et d'autres ou la turbulence est nulle. Donc a chaque image, on à des zones à psf parfaite et d'autres à psf déformées. La ou on est a psf parfaite, on est dans un cadre de "lucky imaging" local.
L'originalité a donc l'air d'être dans la deuxième étape. L'hypothèse de lucky imaging par patch fait qu'il semble statistiquement possible de reconstituer un patchwork de zone de lucky imaging sur la surface totale de l'image.
C'est d'ailleurs ce que l'on voit sur les videos de la page citée par ms dans l'autre post. La déformation géométrique globale est quasi supprimée, reste des zones floues et des zones nettes... Reste donc a reconstituer le puzzle.

La dernière étape, à la limite, est secondaire, vu que sous condition d'avoir restauré une psf parfaite partout, même une déconvolution avec une psf théorique devrait pouvoir marcher.

M'enfin c'est ce qui ressort des la théorie développée dans les publis, maintenant ca doit se confronter au de vraies videos, et la, le code est pas clair a transposer pour qui connait pas matlab :-(...

Ben non, patry pose la bonne question et la réponse se trouve à la page 9 (slide 2) où la quantité suivante est minimisée :
Forward fidelity term + Backward fidelity term + Symetry contrainst
c'est indépendant du nombre d'images en entrée ou du temps d'acquisition (contrairement à Avistack et Autostakkert comme l'a très bien indiqué christian viladrich). Le petit dessin en bas de page est assez explicite.
Voir aussi au niveau local les PSF avant et après registration et la remarque en fin de page 10 : "The registration just shifts local PSFs".

La déconvolution aveugle c'est original mais c'est la reconstruction que je trouve particulièrement bien foutue (les pages 4 et 11 sont très explicites à ce sujet).

Bien sûr que j'enverrai un mail aux concepteurs des autres logiciels de registration mais avant je veux avancer suffisamment dans les 2 premières étapes.

J'espère que vous ne prenez pas au sérieux mes phrases qui se terminent par un smiley pour les autres il n'y a pas de risque de taquinerie.

quote:

---

L'hypothèse de lucky imaging par patch fait qu'il semble statistiquement possible de reconstituer un patchwork de zone de lucky imaging sur la surface totale de l'image.

---

C'est toute l'originalité de cette approche qui fait que l'image Z est résolue mais uniformément flou. La déconvolution aveugle se contente juste de rétablir la netteté (comme un filtre), on voit très bien cela en page 7.
L'autre avantage c'est que l'étape 2 peut être facilement parallélisée.

quote:

---

Sinon, tu peux aussi jeter un œil sur la thèse de F. Woger avec entre autre la reconstruction de PSF et la déconvolution d'image

---

Je l'ai fait l'an passé, il y a quelques similitudes avec les étapes 2 et 3 de la méthode présentée par Xiang Zhu mais c'est plus orienté gros télescope et astronomie professionnelle. Deux différences importantes :
- il reconstruit (comme avec AIDA) une image longue pose à partir de pleins d'images courtes poses des tavelures, ce qui demande beaucoup d'itérations,
- il prend en compte en plus les imperfections de l'optique.
Pour un instrument d'amateur de 250mm à 350mm, la méthode présentée par Xiang Zhu me semble beaucoup plus accessible.
Cette dernière devrait donner de bons résultats en solaire (poses courtes, différentes zones floues, calage sur la granulation solaire, support de niveaux de turbulence élevés).

Enfin, il y a un point qui me semble très important (pages 16 à 18) c'est que pour des conditions de turbulence très différentes (mild, médium, strong) les résultats (page 18) sont finalement très proches. Vu le nombre de nuits exploitables dans certains sites et vu les niveaux de turbulence très variables, un logiciel permettant une optimisation de son site serait certainement bienvenu chez les amateurs.

quote:

---

le code est pas clair a transposer pour qui connait pas matlab

---

Ce qui est intéressant c'est que tu peux déjà tester les 3 modules séparément soit sous MATLAB/OCTAVE ou soit sous Python (comme je préfère le faire). Les fichiers fournis par Xiang Zhu sont une bon point de départ. Il faut aussi jeter un œil aux 5 autres contributions qui vont aussi dans le même sens et qui apportent chacune des idées intéressantes.
Enfin le logiciel devrait pouvoir fonctionner :
- en mode batch avec un fichier AVI en entrée, un fichier de configuration des différentes étapes et un fichier image non compressé en sortie,
- en mode apprentissage (j'utilise Qt pour l'IHM) pour permettre le paramétrage de l'acquisition,
- en mode temps réel mais là ça demandera surement une puissance de calcul qui n'est pas encore disponible sur un ordinateur portable.

[Ce message a été modifié par ms (Édité le 22-02-2013).]

quote:

---

L'originalité a donc l'air d'être dans la deuxième étape. L'hypothèse de lucky imaging par patch fait qu'il semble statistiquement possible de reconstituer un patchwork de zone de lucky imaging sur la surface totale de l'image.

---

Pour moi, c'est bien ce que font les dernières versions de nos softs : du lucky imaging par zones.

Ou il y a un truc qui m'échappe, ou on est en train de réinventer l'eau tiède...

quote:

---

Enfin, il y a un point qui me semble très important (pages 16 à 18) c'est que pour des conditions de turbulence très différentes (mild, médium, strong) les résultats (page 18) sont finalement très proches. Vu le nombre de nuits exploitables dans certains sites et vu les niveaux de turbulence très variables, un logiciel permettant une optimisation de son site serait certainement bienvenu chez les amateurs.

---

C'est la constatation que je fais avec nos softs : les différences de résultats selon le niveau de turbulence existent toujours, mais sont plus réduits qu'avant. Dans les années 90 avec les caméras CCD, il fallait des conditions dantesques pour obtenir quelque chose de correct. C'est ce qui fait que je me suis remis (un peu) au planétaire : pouvoir obtenir quelque chose de regardable même dans des conditions moyennes.

[Ce message a été modifié par Thierry Legault (Édité le 22-02-2013).]

A propos du lucky imaging par patch, avez-vous aussi jeté un œil aux slides 5 et 6 ?

Dans ces 2 contributions, l'approche devient opportuniste, les régions non résolues seront mises à jour plus tard quand une bonne occurrence se présentera dans la vidéo. Nous ne sommes plus dans les algorithmes itératifs précédents et l'approche temps réel pointe le bout de son nez.

A mon avis, il y a 2 approches du lucky imagin :
- l'approche statique ou "image" du slide 2, d'Avistack et d'Autostakkert
- l'approche dynamique ou "vidéo" des slides 5 et 6.

Il serait même possible de rendre l'étape 2 de la méthode présentée par Xiang Zhu statique ou dynamique, ce qui permettrait d'utiliser le soft aussi en live avec la correction de la géométrie de l'étape 1 en prime. Ça doit être sympat de regarder Jupiter comme si son jardin était installé sur la Lune, non ?

Thierry tu a raison sur le mode de fonctionnement, mais dans le détail comment peut on assurer que la petite zone soit :
- nette (=> il y a des méthodes pour le déterminer)
- non déformée (=> ?)
- connaitre sa localisation dans la globalité (=> ?)

Sans avoir accès bien sur (comme on le fait chez les pros) à une image de la psf (laser) bien entendu.

Je pense que les logiciels actuels font des suppositions sur l'aspect géométrique de l'image sans pouvoir (évidemment) valider l'option choisie.

Ce qui est rigolo, et à chacun d'essayer, c'est de faire le même traitement (compositage/registration) avec plusieurs logiciels multi-points (Registax, Avistack, Autostakkert) et de filtrer les images à l'identique. Faire une petite animation entre elles montre clairement que des sections entières bougent les unes les autres. C'est assez flagrant sur du lunaire (et probablement aussi en solaire). On ne peut toutefois pas affirmer qu'un logiciel est bon dans le lot, à mon avis ils ont tous tort !

Remarque, tant qu'on ne fait pas d'astrométrie, on s'en fout un peu, l'image est belle c'est tout ce qui compte. Mais si on commence à faire des mesures (exemple commission des planètes sur Jupiter), c'est pas impossible qu'il y ait autant de bonnes données que de contributeurs et des données toutes différentes ! Hors actuellement on fait tous du multi-points sur des planètes (ce qui était surréaliste il y a quelques années seulement). C'est bien pour la qualité des images, mais c'est pas certain que cela le soit pour "la science".

Je vais en tout cas suivre ce fil avec attention, car je n'ai pas le temps de jouer les beta-testeurs des différentes options malgré la curiosité que j'ai à cet égard !

Marc

> Pour moi, c'est bien ce que font les dernières versions de nos softs : du lucky imaging par zones.

> Ou il y a un truc qui m'échappe, ou on est en train de réinventer l'eau tiède...

Sauf erreur de ma part, les softs actuels ne font que du démorphing, à savoir redéformer l'image pour rendre l'aspect local des zones d'isoplanétisme conforme a une image de référence (on redresse localement les pentes du front d'onde).
Mais pour le moment, on ne corrige pas la déformation de la psf théorique à l'intérieur de la zone d'isoplanétisme ! C'est la que ca pêche, car le seul moyen serait d'avoir une image réelle de la PSF dans la zone d'isoplanétisme pendant la prise d'image.
Pour les mesures astrométriques en interférométrie des tavelures (jeu que je pratique maintenant depuis quelques années), le facteur limitant n'est plus la variation locale de pente dans la zone d'isoplanétisme, mais la fonction d'étalement du point (PSF réelle).
Si je décompose rapidement la turbulence, le premier facteur est celui de la taille des zones d'isoplanétisme (zone ou la turbulence est considérée comme constante). Puis viens le tilt local (qui se compense par la registration et le démorphing) et ensuite, la fonction d'étalement (qui dilue l'image d'une étoile, a titre d'exemple, si on échantillonne théoriquement la fwhm à 1 pixel, la fonction d'étalement va provoquer instantanément la dilution de la psf théorique sur le pixels voisins => la fwhm passera alors au dela de 1pixel)

Pour le moment, le seul moyen de compenser la fonction d'étalement, c'est de sélectionner les zones locales ou par chance, la psf réelle est de dimension minimale (lucky imaging). Je ne suis pas sur que les soft de registration, même par zone, compensent cet effet.

Pour AviStack, quelques éléments de réponses sont donnés sur le forum Yahoo par son concepteur Michael Theusner. C'est bien comme l'indique brizhell un demorphing. Le plus génant c'est que l'algorithme de Sobel utilisé pour détecter les contours donne de mauvais résultats quand l'image est bruitée.

Les deux autres concepteurs sont plus avares de détails au sujet des algorithmes et des publications utilisées mais globalement c'est du même tonneau qu'Avistack.

C'est quand même assez balèze de sacrifier le coté scientifique au profit de belles fausses images. Ne vaudrait-il pas mieux alors se mettre bien au chaud à la peinture ?

Non quand même pas. Déjà parce que on est amateurs et qu'on a le droit de se faire plaisir en produisant une belle image.
Maintenant rien n'empêche quelque fois de rentrer dans un mode plus collaboratif sachant qu'un amateur reste un amateur, donc avec ses moyens et la précision qui lui sont propres.

Ensuite, si tu pensait à l'astrométrie de façon sous jacente, je pense que le nombre (de collaboration) vient lisser l'erreur de mesure unique. Disons que parmi toutes les mauvaises mesures il y en a peut être une de bonne par accident !

Marc

Bon je viens de lire le PPT et comme Thierry je ne vois rien de nouveau sous le soleil.
Déjà la "near diffraction image" ne tient aucun compte des ordres autres que les tilts qui balladent la PSF dans le champ de l'imageur. Il s'agît purement d'une approche de déformation du champ, comme le morphing de nos logiciels.
Ce qui est évidemment très très simplificateur puisque sans même monter au 5eme ordre la PSF est fortement dégradée par les Focus/AS/Coma/Astig de 3eme ordre car pour une grande pupille le R0 sera toujours en dessous d'icelle.
Et ça c'est sur un point du champ, je n'ai même pas encore envisagé l'ensemble du champ.
Donc parler de Near diffraction image quand on ne traite que la déformation des tilts, c'est un peu léger.
Regardez la vidéo d'une double faite par Jocelyn récemment et vous verrez qu'on est surtout en présence de speckles, donc en plus d'ordres élevés...

Franchement je ne vois rien de neuf. Pas besoin de considérer une étoile modèle de déconvolution puisque seule la déformation du champ est envisagée à cette étape effectivement.

Salut Bernard,
En fait, R6, AV2, et AS2 font du morphing, et aussi de la sélection d'images par sous-parties. C'est ce deuxième aspect qui font leur grand intérêt par rapport à la génération précédentes de logiciels.
Autrement dit, chaque image d'un film est découpée en petits morceaux (typiquement de 100 x 100 pixels à 200 x 2000 pixels selon l'objet et le télescope) de façon à ne conserver que les "morceaux" nets dans l'addition finale.
C'est particulièrement efficace en solaire où l'on n'a jamais d'image entièrement nette sur la totalité du champ du capteur.

Salut Marc,
Il y a un grand nombre de critères possibles pour quantifier la qualité d'une image : entropie, FTM, gradient, somme des dérivées secondes, etc.
Le résultat est rarement identique à la sélection d'image que l'on pourrait faire à l’œil. Mais le truc intéressant, est que le résultat est bon "en moyenne", autrement dit l'ensemble des images choisies pour faire l'addition est bien le bon, et il n'y a pas grand chose à gagner à faire la sélection à la main :-)

Je continue ma lecture : le modèle avec un filtre de Kalmann me semble plus interessant quitte à en rester sur le morphing. Mais cela présuppose que l'on image au moins aussi vite que la cohérence temporelle de l'image.

Salut Christian,

Merci pour ces précisions.
Je ne connaissait pas ce mode de fonctionnement en sélection par zone dans les softs de registrations R6, AVS et AS2.
Comme je le disait plus haut, la question reste de savoir quel critère est utilisé dans la sélection de zone "nettes".
En lucky imaging chez les pro a cambridge, ils utilisent la fwhm des étoiles de la zone.
Il y a d'autre méthodes comme tu le précise, mais ce qui n'est pas clair dans les publis de Xiang Zhu c'est la manière de procéder à cette sélection par zone.

Salut chonum

> Donc parler de Near diffraction image quand on ne traite que la déformation des tilts, c'est un peu léger.

Sans prendre la défense gratuite de cette méthode (suis encore a me casser la tête pour comprendre le code), la Near diffraction image est post sélection des patch, elle ne s'arrête visiblement pas après le démorphing. C'est justement la rigidité du critère de sélection qui défini si l'on se rapproche de la psf théorique ou pas dans chaque zone et qui rendrait cette méthode interessante ou pas (enfin a mon avis).

> Regardez la vidéo d'une double faite par Jocelyn récemment et vous verrez qu'on est surtout en présence de speckles, donc en plus d'ordres élevés...

Ben justement, c'est pas si simple, je pourrait te montrer des séquences de doubles que l'on a faite ensemble avec Jocelyn, sur lesquelles tu a plus de tilt ou de morphing que de speckles. C'est tellement dépendant du D/r0 ...

Tiens, j'ai jamais essayé des séquences de doubles serrées sous registax... Vais voir ca ce WE...

Pour ceux qui ont commencé à jeter un oeil au code Matlab fourni par Xiang Zhu (il met un minimum de commentaires mais ils permettent de bien identifier les différentes étapes et sous-étapes) :

-> Point de départ = Example.m

quote:

---

Before running this script, two matrices should be loaded first:
frames: gray-scale image sequence, whose size should be XxYxT
Ref: reference image (XxY) used for registration. This can be an averaged image over the sequence (frames).

1) Non-rigid image registration
- Deformation Paramter Estimation
- Generating Motion Vectors
- Interpolation

2) Near-diffraction-limited Image Restoration
[img_ndl] = NDLRecons(frames_reg);

3) Write the image into a bmp file, which should be deblurred using a blind deconvolution method

---

-> Point suivant : NDLRecons.m
C'est la partie la plus intéressante du projet

quote:

---

parameter setting

smoothing parameter

noise variance

isoplanatica patch size

Quality Metric

main loop
- find the sharpest patch
- Outlier detection
- kernels
- fusion

---

-> Point final : ôter le flou uniforme de l'image avec l'outil de son choix (par exemple avec l'algorithme indiqué dans le slide n°3).

C'est bien la deuxième étape qui est la plus intéressante et dans cette étape la boucle principale qui n'est pas d'une grande complexité d'autant plus que la formulation est donnée dans les différentes publications.

Le point noir de toutes ces méthodes reste le bruit car s'il est trop important, il finit toujours par ressortir sous la forme d'artefact (ici c'est à l'étape 3).

[ms_mode]
Le gros avantage de cette méthode c'est que quand un artefact se produit, on peut savoir d'où ça vient. J'ai souvenir d'images de tuturne bien mal en point faites avec un des 3 logiciels de registraction aussi fermé qu'une huître.
Le problème avec les AviStack, Registax ou AutoStakkert c'est que vous les consommez sans trop savoir ce qu'il y a dedans, un peu comme des barquettes Findus.
[/ms_mode]

[Ce message a été modifié par ms (Édité le 23-02-2013).]