Sign in to follow this  
Lucien

Rolling shutter ou global shutter ?

Recommended Posts

Bonjour,

Avec le syndrome "c'était mieux avant", je souhaite mettre au point une manipulation qui permette de répondre à cette interrogation :

- est-ce qu'une caméra planétaire à "rolling shutter" peut faire perdre de la résolution dans certains cas de turbulence ?

Il s'agirait par contre de faire l’expérience uniquement au labo et non sur le ciel qui est trop changeant.
Je dispose d'une ZWO ASI120MM, d'une DMK21AU618 et d'optiques diverses, mires, éclairages, filtres, étoile artificielle...

J'ai une petite idée mais pas encore aboutie.

Lucien

Share this post


Link to post
Share on other sites
Advertising
By registering on Astrosurf,
this type of ad will no longer be displayed.
Planetary Astronomy
Observing, imaging and studying the planets
A comprehensive book about observing, imaging, and studying planets. It has been written by seven authors, all being skillful amateur observers in their respective domains.
More information on www.planetary-astronomy.com

quote:
est-ce qu'une caméra planétaire à "rolling shutter" peut faire perdre de la résolution dans certains cas de turbulence

La question n'est-elle pas "est-ce que certains cas de turbulence peuvent faire perdre de la résolution en imagerie planétaire" ????

Share this post


Link to post
Share on other sites
Bon, j'ai mal posé la question sans doute.

Je voulais dire :
est-ce qu'une camera à "rolling shutter" est PARFOIS moins résolvante qu'une camera à "global shutter" ?
Ceci c'est dans un contexte d'imagerie planétaire à haute-résolution et non pas en photographiant les pales d'un ventilateur en rotation.

Il s'agirait de mettre au point une expérience qui permettre de répondre de façon reproductible.

Lucien

Share this post


Link to post
Share on other sites
Salut Lucien,

tu fais vibrer une image de Jupiter sur fond noir et tu filmes avec un grandissement proche de ce qu'on obtient sur le terrain ? Comment faire ça pour imiter la bougeotte de Jupiter, je ne sais pas trop en revanche.

Share this post


Link to post
Share on other sites
tu mets des convecteurs sur le chemin, ça devrait turbuler pas mal, un ventilo, un boomer pour faire vibrer l'air???

Share this post


Link to post
Share on other sites
J'avais bien compris la questions. Ma réponse était un peu ironique ;-)

Quelques pistes à suivre, je pense :
- simuler les effets de tilt ( vibrations en x-y )
- simuler les effets de piston ( vibrations en z)
Pour cela l'idée de faire vibrer en x-y et en z une image d'une planète semble en effet une piste à suivre.
Pour prendre en compte le fait que toutes les zones ne subissent pas le même effet, prendre deux ( pour commencer ) zones et les faire vibrer indépendamment l'une de l'autre

- prendre en compte le fait que l'on est en régime de bruit photonique, donc peu éclairer l'objet afin de régler les paramètres de prise de vue ( durée exposition, nombre images par seconde et gain ) identiques à ceux en conditions réelles.

Share this post


Link to post
Share on other sites
Valère, Astrovicking et Francis,

Vous proposez ainsi de créer un simulateur de turbulence atmosphérique disons vraisemblable et j'ajoute, si possible assez reproductible.

Mince alors, il faut vite que j'aille déposer le brevet !

Plus sérieusement, c'est l'idée que j'avais eue.
Maintenant il s'agirait de la mettre en pratique en restant bien au chaud et sans faire une usine à gaz; une solution élégante quoi !

Arrivera ou arrivera pas ?

Bon l'instant ASI120MM et DMK21AU618 se regardent méchamment et personne ne gagne.

Lucien

Share this post


Link to post
Share on other sites
Salut Lucien,

l'idéal est d'avoir une caméra qui fait les deux, ce qui est mon cas.
J'avais fait une comparaison il y a deux ans quand je ne comprenais pas pourquoi le capteur IMX035 ne me donnait pas de bonnes images en solaire à échantillonnage faible malgré son faible bruit.

Après pas mal de tests depuis, ma conclusion est la suivante :

- A faible échantillonnage et temps d'exposition faible, le rolling shutter est à éviter et induit une perte de contraste
- A échantillonnage fort (solaire HR) et expo courte, je n'ai pas vu pour l'instant de différence, mais j'expérimente cela que depuis que j'ai le HaT
- A temps d'exposition > cohérence temporelle de la turbulence (disons 5ms en nocturne), le rolling shutter n'a pas d'indidence.

Voici la planche de l'époque et les images non accentuées faites avec la même caméra dans les mêmes conditions.
http://airylab.com/contenu/images-basler/Test_solaire_capteurs/uEye_Rolling.png
http://airylab.com/contenu/images-basler/Test_solaire_capteurs/uEYE_Global.png

Share this post


Link to post
Share on other sites
Manip réalisée par la société 5thgait :

1) vous prenez une mire (par exemple USAF 1951),

2) vous faites varier les conditions d'observation comme dans les 4 images du haut qui correspondent à des trames où D/ro varie de gauche à droite de 5 à 15,

3) vous appliquez vos algorithmes à une vingtaine de trames pour chaque valeur de D/r0 comprise entre 5 et 15,

4) vous obtenez les 4 images du bas qui montrent que la résolution obtenue est très bonne même sous des conditions pourries (D/r0 = 15) :


Share this post


Link to post
Share on other sites
Et y z'attendent quoi pour nous sortir ce soft pour traiter nos images planétaires toutes pourrites ???

Share this post


Link to post
Share on other sites
Frédéric,
merci des informations. Je vais tenter de confirmer avec l'ASI120 si je trouve un moyen assez simple de le faire.

ms,

je ne comprends pas bien ce que tu veux montrer.
Est-ce à dire que nous utilisons mal nos logiciels car nous devrions obtenir de bonnes images même par médiocres conditions de turbulence ?
Ou bien que nous n'avons pas les bons logiciels ?
Dans mon cas la variation des résultats obtenus en fonction de la turbulence est très très large.

Hello Alain,
ben oui, tout comme toi, j'attends ces logiciels aussi mais sans trop y croire.

Lucien

Share this post


Link to post
Share on other sites
ms,

Je reviens sur la manip que tu as illustrée plus haut.

Si je résume bien, on prend une image nette, on la floute de façon mathématique avec une fonction parfaitement connue.
Puis on procède à une déconvolution correspondante pour retrouver l'original.
Ben, c'est ce que l'on faisait à l'école en traitement du signal.
Et ça marche d'enfer, c'est mathématique; convolution, déconvolution...

Sauf que dans la pratique, on ne connait pas précisément la fonction perturbatrice, que celle-ci n'est pas constante ni dans l'espace-image ni dans le temps
et que de plus, les images que nous avons avec nos moyens amateur ont un très médiocre rapport signal sur bruit.
Pas moyen d'avoir des étoiles artificielles à coup de lasers dans la haute atmosphère, ni de capteur à forte dynamique...
Et pas sûr qu'ils sachent faire sur des objets un peu étendus comme Jupiter par exemple mais ça peut évoluer.
Si tu as des pistes pour nos modestes capteurs...avec 6 à 8 bits de dynamique tout au plus sur des images individuelles.

Lucien

Share this post


Link to post
Share on other sites
quote:
Et y z'attendent quoi pour nous sortir ce soft pour traiter nos images planétaires toutes pourrites ???

Gardez vos vidéos (avi ou ser) toutes pourrites car un trésor est caché dedans ... dans chaque trame (mêmes celles que vous jetez habituellement) il y a des régions exploitables. De la fusion de ces régions résulte une image correspondant à la résolution de votre instrument.
Quand vous faites une acquisition, le rapport D/r0 varie d'une trame à l'autre dans un intervalle pouvant être compris entre 3 et 10.
Suivant l'approche proposée par Frakes en 2002, la turbulence peut être modélisée comme la composition de deux opérateurs : l'un jouant le rôle des distorsions et l'autre du flou. Le modèle que j'utilise supprime complètement les distorsions en utilisant un algorithme de recalage non-rigide des régions à base de B-splines complété par un algorithme de fusion de ces régions pour supprimer les artéfacts. Il ne reste plus alors qu'une image flou qui sera traitée par un algorithme de déconvolution aveugle bayesienne.
J'ai récupéré ces derniers mois des vidéos que j'utiliserai pour présenter les résultats via un site internet que je dois encore créer.
J'ai pris mon temps pour ce projet que j'ai démarré il y a plus de 3 ans mais cela m'a permis de tester :
a) différents environnements de développement permettant la mise au point des algorithmes : Matlab/Octave -> Java/Scala -> Python/NumbaPro -> Julia,
b) différentes approches toutes dérivées du modèle de Frakes (Vorontsov, Aubailly, Milanfar, Gilles, Kingsburry, ...).

Ceux qui s'intéresse à la programmation // pourront jeter un oeil au lien suivant :
http://www.csd.uwo.ca/~moreno/cs2101a_moreno/Parallel_computing_with_Julia.pdf

Share this post


Link to post
Share on other sites
Pour le moment toutes les références que tu cite s’intéressent a des fusions de zone continues en fort flux lumineux.

Je ne suis pas persuadé que cela fonctionne aussi bien en travaillant sur des zones discontinues a faible flux.

L'approche Bayesienne de la déconvolution à une limite de validité dépendant des distributions de type de distorsion, ca reste pour le moment difficile a modéliser en faible flux. Il y a des recherche pointues sur le sujet en ce moment ou les pros se cassent les dents.

Mais c'est une piste...

Share this post


Link to post
Share on other sites
quote:
Sauf que dans la pratique, on ne connait pas précisément la fonction perturbatrice, que celle-ci n'est pas constante ni dans l'espace-image ni dans le temps
et que de plus, les images que nous avons avec nos moyens amateur ont un très médiocre rapport signal sur bruit.
Pas moyen d'avoir des étoiles artificielles à coup de lasers dans la haute atmosphère, ni de capteur à forte dynamique...
Et pas sûr qu'ils sachent faire sur des objets un peu étendus comme Jupiter par exemple mais ça peut évoluer.
Si tu as des pistes pour nos modestes capteurs...avec 6 à 8 bits de dynamique tout au plus sur des images individuelles.

Ben le but de ta manip reste de montrer un effet de la turbulence sur l'image et sur son aquisition ? Donc voir l'effet du rolling shutter sur des images dont la déformation est simulée devrait déjà être suffisant, ou je me trompe ?

Share this post


Link to post
Share on other sites
J'ai commencé avec une cible terrestre type US Air Force 1951, en faisant varier la distance mais aussi le flux lumineux.

Ces premiers essais terrestres m'ont permis d'avancer sur la Lune, Jupiter, Saturne et même quelques objets du ciel profond.

La super-résolution d'objets en mouvement et la fusion de zones discontinues à faible flux sont 2 sujets qui font encore l'objet de recherches. A ma connaissance ces 2 sujets ont été abordés par Van Eeckeren vers 2010 et peut-être par Vorontsov plus récemment dans le cadre du projet MURI.

Ma prochaine étape sera d'embarquer les algorithmes dans une carte Linux multi-coeurs afin de créer une boite noire permettant la correction de la turbulence en temps réel.

Share this post


Link to post
Share on other sites
"Gardez vos vidéos (avi ou ser) toutes pourrites car un trésor est caché dedans ... dans chaque trame (mêmes celles que vous jetez habituellement) il y a des régions exploitables"

ça rappelle ce que fait Avistack...

Share this post


Link to post
Share on other sites
Chez les astrams, tu as (pour les plus utilisés) AviStack, Registax et Autostakkert qui font du recalage élastique (non-rigid registration).

Tu as aussi plein de logiciels et d'API qui font ce genre de chose et même plus dans le domaine médical (recalage rigide et non-rigide, segmentation, fusion, reconstruction, déconvolution aveugle, ...).

Le problème qui m'intéresse est un peu différent : comment à partir d'images brutes contenues dans des vidéo (avi, ser) obtenues sous des conditions de turbulence telles que D/r0 < 10, peut-on sortir en temps réel des images correspondant à D/r0 = 1 ?

Après comme dit brizhell plus haut : comment étendre cela au ciel profond ou plus généralement à des objets à faible flux ?

Pour prendre une image ma chaîne d'aquisition/traitement ressemble plus au projet RAMS de 5Gait ci-dessous (avec un ordinateur de la taille d'une carte de crédit)qu'à AviStack :

Share this post


Link to post
Share on other sites
brizell

"Ben le but de ta manip reste de montrer un effet de la turbulence sur l'image et sur son aquisition ? Donc voir l'effet du rolling shutter sur des images dont la déformation est simulée devrait déjà être suffisant, ou je me trompe ? "

C'est bien ça: il s'agissait au départ de comparer le 'rolling-shutter' au 'global shutter' sur des images turbulentes et à faible flux.
Et pas vraiment d'étudier la turbulence ou comment corriger ses effets.
Même si ce deuxième sujet et passionnant.

Lucien

Share this post


Link to post
Share on other sites
Juste pour faire la jonction avec les infos que nous indique ms :

Le comportement de l'obturateur n'est pas du tout indifférent si l'on tente de reconstruire un signal dégradé.

A priori je dirais que le rolling-sutter c'est pas vraiment le mode qui facile ce travail de reconstruction.

L’idéal serait un obturateur/capteur qui n'introduise pas d'écart temporel de prise de vue, entre les différentes sections d'une image.
Ou alors un écart de temps négligeable par rapport aux variations de la perturbation.
Me trompe-je ?

Lucien

Share this post


Link to post
Share on other sites
quote:
L’idéal serait un obturateur/capteur qui n'introduise pas d'écart temporel de prise de vue, entre les différentes sections d'une image.

Dans le cas du planétaire (fort flux lumineux et courtes poses de 10ms environ), tu peux effectivement envisager le traitement d'un maillage en temps réel par FPGA pour traiter le modèle de Frakes comme dans l'exemple suivant :

Voir aussi ce qui se passe à l'intérieur d'une sous-région d'une quinzaine de pixels (zone de lucky imaging) pour comprendre que le roller-shutting n'est pas la bonne façon de procéder (sauf si l'on souhaite se compliquer encore plus la tâche) :

Dans le cas du ciel profond (faible flux lumineux et courtes poses de 30ms environ), tu es obligé de cumuler les poses à l'aveugle pour retrouver à posteriori le modèle de Frakes précédent. Comme je l'ai déjà indiqué à plusieurs reprise, il n'est pas nécessaire de posséder l'EMCCD hypersensible de dernière génération quand on a compris comment réaliser le cumul.

Pour résumer, une caméra assez sensible capable de travailler entre 30fps et 100fps permet de traiter les problèmes liés à la turbulence en planétaire comme en ciel profond. Le modèle chinois lowcost ZWO ASI120MM fait parfaitement l'affaire puisqu'en planétaire il permet de dépasser les 100ips et pour le ciel profond il permet d'atteindre 35fps.

Décomposition d'une trame :
image brute => 640x480 à 1280x960 => ansiso
région => 80x80 => pseudo iso
sous-région => 15x15 => iso

A ce jour, les algorithmes utilisés (recalage élastique aveugle ou pas d'une région, fusion des sous-régions, déconvolution aveugle bayésienne d'une image) vont me permettre de proposer une solution unique pour le traitement de la turbulence terrestre (surveillance, turbulence locale, turbulence instrumentale) et céleste (planétaire, ciel profond). Cette solution sera encapsulée dans une dispositif matériel de la taille d'une carte de crédit.

[Ce message a été modifié par ms (Édité le 02-03-2014).]

Share this post


Link to post
Share on other sites
Salut,

Heu, ms, si je puis me permettre, et on en a déjà discuté sur d'autres post, le modèle de Frakes, ou de qui tu veut d'autres (Zhu, etc...), n'a rien a voir avec le sujet de ce post (qui parle de l'effet du rolling shutter sur le planétaire)....

quote:
Dans le cas du ciel profond (faible flux lumineux et courtes poses de 30ms environ), tu es obligé de cumuler les poses à l'aveugle pour retrouver à posteriori le modèle de Frakes précédent. Comme je l'ai déjà indiqué à plusieurs reprise, il n'est pas nécessaire de posséder l'EMCCD hypersensible de dernière génération quand on a compris comment réaliser le cumul.

Redit : on en a déjà discuté, le cumul en ciel profond ne peut pas fonctionner (30ms c'est bien trop long)... Si tu ne dispose pas de suffisamment de sensibilité instrumentale (et des temps de poses supérieurs au temps de cohérence de la turbulence ne permettent pas d'être dans les conditions des modèles que tu cite), tu ne peut pas effectuer les opérations de sélection en "lucky région". Quoique tu en dise, sur le CP, hors de la sensibilité des EMCCD (poses a la millisecondes), un traitement de type sélection des lucky régions, tu peut oublier...

quote:
Pour résumer, une caméra assez sensible capable de travailler entre 30fps et 100fps permet de traiter les problèmes liés à la turbulence en planétaire comme en ciel profond. Le modèle chinois lowcost ZWO ASI120MM fait parfaitement l'affaire puisqu'en planétaire il permet de dépasser les 100ips et pour le ciel profond il permet d'atteindre 35fps.

Encore une fois, on est hors sujet (sujet qui m’intéresse d'ailleurs au premier chef, car les caractéristiques de dégradations dues à la turbulence en courte pose sont déjà critiques), mais l'effet du rolling shutter des caméras rapides ne me semble pas encore bien quantifié). Or vu les vitesses de lecture des cameras (en rolling shutter), on est pas dans le temps de cohérence de la turbulence donc exit les traitements de type autostakkert, qui en occurrence est ce qui se fait de mieux dans le domaine de la reconstruction par lucky régions.

Perso, je rejoint Lucien quand il dit :

quote:
A priori je dirais que le rolling-sutter c'est pas vraiment le mode qui facile ce travail de reconstruction.

Tu introduit une composante de distorsion de la turbulence supplémentaire, qui est une composante temporelle de déformation s'additionnant à celle de l'évolution naturelle de la turbu. A quel ordre, en quelle grandeur, c'est l'objet de la question de Lucien et creuser ce sujet (et pas un autre) me semble important.

Par contre, ton affirmation suivante me semble erronée pour un traitement tels que celui que tu l'annonce :

quote:
Pour résumer, une caméra assez sensible capable de travailler entre 30fps et 100fps permet de traiter les problèmes liés à la turbulence en planétaire comme en ciel profond. Le modèle chinois lowcost ZWO ASI120MM fait parfaitement l'affaire puisqu'en planétaire il permet de dépasser les 100ips et pour le ciel profond il permet d'atteindre 35fps.

Quand tu dit "assez sensible" en CP, à 30fps, tu est largement au dessus du temps de cohérence de turbulence. Donc sauf a avoir une camera fonctionnant en régime de comptage de photons et des poses inférieures a la milliseconde, tu peut oublier. Sur les cameras que tu cite, tu n'aura jamais assez de signal pour faire quelque chose d'exploitable en sélection de "lucky Régions".

Je précise par la que je n'ai pas d'action sur quelque fabricant que ce soit d'EMCCD, je suis simple utilisateur de ce genre de cameras, et pour ca, je fait comme tout le monde, je paie le prix fort.... Mais dire que tu peut avoir avec une camera chinoise à quelques centaines d'euros obtenir les résultats que tu peut obtenir avec des cameras au comptage de photon, tiens juste un peu de l'escroquerie intellectuelle........
Tu annonçait un soft de traitement basé sur les algo de sélection de "lucky regions" pour Avril 2013. J'ai au niveau hardware tout ce qu'il faut pour éprouver tes codes de calculs (les cartes multicoeur embarquées, c'est pas dand le budget standart de l'astram). Pourrait tu mettre quelques portions de ton code en ligne), je me ferait un plaisir (ainsi que certains chercheurs de mon entourage), de faire les béta testeurs.

Bernard

Share this post


Link to post
Share on other sites
Lucien, désolé d'avoir trusté ton post, mais il me semble aussi que le sujet de ms devrait se trouver dans un post indépendant du tiens, sachant que je suivrait de manière attentionné le tiens, qui me semble vraiment intéressant.

Share this post


Link to post
Share on other sites
Aucun problème, bien au contraire.
Et toutes tes remarques sont les bienvenues.

Il y a une dizaine d'années j'avais tenté de développer un soft, disons pour simplifier, qui fait ce que fait maintenant par exemple Autostakkert dans le domaine planétaire;
langage C++, fichiers AVI 8 bits...

Avec les webcams de l'époque et leur cadence, compression souvent, je ne voyait pas de différence par rapport à Registax; premières versions sans morphing (registration élastique comme la nomme ms).

Le projet mené avec un ami dans le cadre amateur, a fini dans l'oubli.

La grosse difficulté de l'algorithme c'était d'isoler des zones-image et de leur appliquer des corrections; déformations inverses et filtrages/déconvolutions spécifiques à chaque zone.

L'ennemi c'était le bruit de fond du au faible flux.

Afin que l'algorithme tienne la route en cas d'information non pertinente, on y ajoutait un forte dose d'analyse statistique.

C'est sans doute ce que fait Autostakkert afin de ne pas créer trop de faux détails ou d'artefacts lorsque le signal n'est pas pertinent.

Dans un cadre plus général, (voir ms), c'est sans doute faisable, si ce n'est pas encore fait, d'améliorer pourquoi pas en temps quasi-réel, l'effet de la turbulence.

Cependant, je suis sceptique qu'on puisse le faire avec des images faible flux ou alors l'amélioration ne serait guère meilleure que ce que l'on obtiendrait avec des algorithmes à dominante statistique.

Bon, avec tout ça, on remettrait presque le Visual C++ sur le portable.

Pour en revernir au Rolling Shutter, c'est sur que ça introduit une distorsion spatio-temporelle.
Ce que j'aurais aimé c'est de réaliser une manip qui permette de voir ses effets (ou pas) dans le cadre de nos images amateur à faible flux;
images 8 bits, RSB de 20 à 100, temps de pose de 10ms à 60ms disons.
Il se peut que cet effet soit négligeable dans la majorité des cas.
Mais c'est bien de tenter de comprendre.

Lucien

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this