Nebulium 999 Posted March 1, 2019 (edited) Il y a 3 heures, ms a dit : Cette méthode est détaillée ici : https://www.researchgate.net/publication/227172988_The_Centroid_Method_for_Imaging_through_Turbulence Merci J'ai aussi trouvé ceci ; https://github.com/mnhrdt/ipol_centroid L'un et l'autre sont bien au delà de mes compétences PS : http://www.lokminglui.com/TRN.html https://www.semanticscholar.org/paper/Subsampled-Turbulence-Removal-Network-Chak-Lau/1df3a1570e1dc0e6b0253eef2a7fc8f846c432b3 https://www.semanticscholar.org/paper/Atmospheric-turbulence-mitigation-based-on-He-Wang/d9ad646f5d66f786c00489e0cf4dd9218a81dbb5 et plein d'autres tous frais ... Edited March 1, 2019 by Nebulium Share this post Link to post Share on other sites
Advertising By registering on Astrosurf, this type of ad will no longer be displayed. Planetary Astronomy Observing, imaging and studying the planets A comprehensive book about observing, imaging, and studying planets. It has been written by seven authors, all being skillful amateur observers in their respective domains. More information on www.planetary-astronomy.com
ms 302 Posted March 2, 2019 (edited) Citation J'ai aussi trouvé ceci ; A éviter car c'est très lent quand le nombre d'images augmente. Les 2 autres liens sont intéressants mais ils ne règlent pas le problème de la cheminée ou de la fenêtre de droite (cisaillement local) et en plus ils sont très coûteux en temps de calcul : Pour revenir à la vidéo de polo et à l'exemple que tu donnais quelques posts plus hauts, il me faudra encore du travail pour atteindre l'image de droite mais l'image centrale est aujourd'hui à portée : Edited March 2, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 3, 2019 (edited) Je suis en train de reprendre les choses à la base. J'ai passé le SER dans AS!3 pour empiler les 300 meilleures. Cet empilement natif en 1304x976 a été centré et rogné en 512x512 avec le bien pratique Ninox. Pour des comparaisons à venir j'ai aussi trié un lot de 300 avec PIPP selon son algo de base, centrées et rognées en 512x512 également avec PIPP. J'aurais aussi pu faire cette opération avec Ninox, qui utilise (en l'expliquant) l'algorithme de tri de RGX (j'ignore d'ailleurs comment fonctionnent ceux utilisés par PIPP par défaut et AS!3). Je reviendrai plus loin sur les traitements à faire sur ce lot. L'alignement des couches de l'empilement des 300 AS!3 est estimé correct par RGX7. Le voici en version brute (non balancée) . Voyons déjà ce que l'on peut en tirer en apprentissage approfondi. Je vais par ailleurs reprendre mes essais de prétraitement par morphing et centroid (si je trouve un moyen à ma portée) sur une sélection visuelle réduite à quelques images parmi les 300 PIPP, beaucoup sont bien piquées mais très déformées, par exemple : Edited March 4, 2019 by Nebulium Share this post Link to post Share on other sites
ms 302 Posted March 4, 2019 (edited) Citation beaucoup sont bien piquées mais très déformées Ça se voit moins bien que dans les images sous-marines mais dans ton image piquée, tu as des patchs de bonne qualité, des patchs flous, etc ... Il ne faut pas chercher à redresser ces images tout de suite mais à obtenir des images déformées dé-bruitées et dé-floutées. Après l'algorithme du centroïde (ou un autre) permettra de les redresser dans de bonnes conditions. Un dernier algorithme combinera ces images mais en évitant de les re-flouter. Ton empilement se prête bien à une déconvolution aveugle mais il présuppose que tu as déjà les 300 meilleures images : Après, il est possible de faire un dé-bruitage aveugle tenant compte des patchs similaires : et la balance des blancs : Edited March 4, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 4, 2019 (edited) J'essaie de reconstituer ta méthodologie : Tu serais parti de mon empilement des 300 meilleures images du film de Polo , dans mon message précédent. Tes images : 1 2 3 1. Après une déconvolution aveugle. On peut en savoir plus sur la recette ? DStation ou similaire? Pas d'ondelettes ? 2. Débruitage aveugle, avec ? Le coup des patches similaires, c'est le truc de ton cru, inspiré par tes recherches pour EVA ? 3. Balance des blancs : Perso, si tu es resté linéaire (ce qui me semble le plus simple et le mieux pour ce film) je dirais qu'il y a 6-7%de B en trop et je donnerais 15% de gain général en final. Pour une publication chez CN, j'augmenterais un peu la saturation de couleurs... Et finalement, est-ce ton dernier mot avec ce film ? Avant de s'en prendre à Jupiter, bientôt Ohé, Paul ! Edited March 4, 2019 by Nebulium 1 Share this post Link to post Share on other sites
polo0258 20281 Posted March 4, 2019 bonjour jean ! pour jupiter , faudra attendre un peu ! la turbulence n'étant pas trop coopérative en ce moment , il ne faudra pas s'attendre à des images très pointues ! sinon j'ai du mars à vendre , du pas trop mauvais , mais c'est petit .....: polo Share this post Link to post Share on other sites
Nebulium 999 Posted March 4, 2019 (edited) Bonjour Paul il y a 23 minutes, polo0258 a dit : j'ai du mars à vendre , du pas trop mauvais On n'achète pas un chat dans un sac, alors il faudrait déjà commencer par nous montrer ton meilleur résultat (horodaté, stp) avec ce SER Edited March 4, 2019 by Nebulium Share this post Link to post Share on other sites
polo0258 20281 Posted March 4, 2019 il y a 14 minutes, Nebulium a dit : On n'achète pas un chat dans un sac, chez moi , on dit un lapin dans un sac ! un chat dans un sac , c'est dangereux !! bonne soirée jean Share this post Link to post Share on other sites
ms 302 Posted March 5, 2019 (edited) Citation 1. Après une déconvolution aveugle. On peut en savoir plus sur la recette ? DStation ou similaire? Pas d'ondelettes ? 2. Débruitage aveugle, avec ? Le coup des patches similaires, c'est le truc de ton cru, inspiré par tes recherches pour EVA ? 3. Balance des blancs : Tous ces algorithmes sont issus du passage dans le labyrinthe de ces 10 dernières années et les plus performants ont été portés sous CUDA. L'extraction des "bons patchs" ne demande plus que 2,3ms par image FULL HD avec une carte graphique 1050 Ti, ce qui laisse suffisamment de temps aux autres traitements pour tenir une cadence de 100 à 150 fps avec des images FULL HD ... mais déjà la 1150 Ti (50% plus rapide) pointe le bout de son nez. Citation Et finalement, est-ce ton dernier mot avec ce film ? Mon dernier mot c'est qu'il doit être possible d'atteindre ce type d'image à condition d'aller au delà des 21000 brutes de cette vidéo : Edited March 5, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 5, 2019 (edited) Le 05/03/2019 à 09:30, ms a dit : atteindre ce type d'image à condition d'aller au delà des 21000 brutes Ben, bon, en matière de finesse d'image, même avec 10, 100, 1000, ... fois plus d'images, m'est avis que floutée ou pas tu n'es pas près d'être rendu ! Et si encore plutôt que de nous abreuver de résultats et de performances aussi ésotériques que leurs moyens d’exécution, tu nous les rendais reproductibles par tout un chacun de notre corporation, même en y mettant le temps de traitement qu'il faut, non ? Assez déçu par mes essais de morphing, avant de repartir vers de nouvelles recherches, je suis revenu sur quelques éléments de base : Ci-dessous : 1 2 3 4 5 6 1. Celle qui m'a semblé la meilleure brute des 21000 2. L'empilement AS!3 des 16 meilleures brutes selon une rapide sélection visuelle parmi les 300 meilleures selon l'algo "qualité" de base de PIPP. 3. L'empilement AS!3 des 300 meilleures selon l'algo "qualité" de base de PIPP. Le contrôle d'alignement par RGX n'indique de problème sur aucune des images (AS!3 a dû s'en occuper...). Ces 3 images ont été recentrées au pixel près avec Ninox, avant de faire les différences avec l'ajout d'un offset 64 4 = 1-2 5 = 2-3 6 = 1-3 Et en prime, voici les FFT 2D : de haut en bas 1, 2, 3 : Le but du jeu est d'enlever le bruit, sans enlever les détails. Alors, est-ce que l'apprentissage approfondi peut apporter une aide, sachant que plus on empile, plus on empâte les détails ? Pour l'instant, le compromis ne saute pas aux yeux, mais le dernier mot n'est pas dit ! Pour voir la route encore à courir, j'ai rajouté en jaune la FFT2D de la JLD du Pic : PS : A propos des méthodes par apprentissage. Hum ??? Pour moi, en astrophoto, on n' a rien le droit d'inventer , seulement : - Nettoyer le bruit - Ressortir les détails dilués - Corriger statistiquement les déformations. Yapluka faire ce qui ne l'est pas déjà, ou mieux Edited March 6, 2019 by Nebulium 1 Share this post Link to post Share on other sites
ms 302 Posted March 8, 2019 (edited) Citation Le but du jeu est d'enlever le bruit, sans enlever les détails. Les 21204 images brutes ne sont pas floues comme celle du milieu (empilement de 16) ou celle de droite (empilement de 300). En empilant tu diminues le bruit mais tu amplifies le flou et après c'est la galère pour faire d'autres traitements. Il ne faut pas empiler, tu prends une image brute pas trop mauvaise et tu extrais les meilleurs patchs des 300 images brutes consécutives suivantes par exemple. Puis, tu complètes ton image brute initiale avec les meilleurs patchs, elle est plus détaillée et elle n'est pas floue. Quand tu as obtenu 70 images plus détaillées mais pas floues alors tu peux appliquer le centroïde (ou un autre algorithme plus rapide) pour les redresser et faire diminuer le bruit. Edited March 8, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 8, 2019 (edited) ********************************************************************************* ms vient de répondre pendant ma rédaction de ce message, je reviens plus tard pour mes commentaires ********************************************************************************** Hello Je crois qu'il est temps de tirer les conclusions sur cette série d'essais selon quelques techniques pointues récentes. Certainement ils seraient peaufinables, affaire de temps... Ces essais se rapportent à des indications de ces sites, en évitant les méthodes faisant appel à un apprentissage à partir de bases de données d'images, plus artistiques que scientifiques : - Nettoyer le bruit : https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art On y trouve aussi des liens qui débouchent sur : - Ressortir les détails dilués https://github.com/YapengTian/Single-Image-Super-Resolution - Corriger les déformations. J'ai essayé le "morphing" de Ninox http://www.acquerra.com.au/astro/software/ninox/ J'ai découvert ce site interactif permettant de traiter directement ses propres images : http://www.ipol.im/ pour essayer sommairement la méthode "Centroid" http://www.ipol.im/pub/art/2014/105/ Globalement, je dirais pour l'instant que je n'ai rien trouvé qui améliorerait d'un minimum les méthodes classiques, probablement il faudrait se faire sérieusement la main, et surveiller les progrès de la science et surtout de la technologie des capteurs. Voici mes conclusions du moment : - Nettoyer le bruit . Cette rubrique mérite d'être travaillée, voir à quel(s) niveau(x) de traitement. Je pense que l'utilisation de bases de données de bruit y resterait licite - Ressortir les détails dilués : la super-résolution Hum ! Une manip figure à la fin de ce message - Corriger les déformations. C'est le rôle des AP. Je n'ai rien tiré d'utilisable de Ninox. Pas sûr que de s'acharner serait payant, et Il se passe parfois des trucs bizarres. Pour la "Centroid", il faudrait implémenter le code. J'ai fait des essais rapides en mode interactif au pif à partir des paquets de 16 découpés dans les 300 meilleures, avec un nombre de seeds = 4 pour avoir moins de bruit. Les 16 résultats (redimensionnés d'office de 512x512 ves 384x384, ce qui dégrade la résolution en revenant en 100% de l'acquisition) sont bien alignés, mais leur empilement ne vaut pas celui directement des 300 dans AS!3 Mes essais sont restés accessibles ici : http://demo.ipol.im/demo/105/archive/ ANNEXE concernant la super-resolution : A partir d'une image de ce site semi-interactif (par mouseover...) : http://www.wisdom.weizmann.ac.il/~vision/zssr/ Le code lui-même est accessible ici https://github.com/assafshocher/ZSSR J'ai fabriqué le test suivant : 1 2 3 4 5 6 7 1 : c'est l'image "naturelle de départ", a priori obtenue sans floutage volontaire Sa fft2D figure en gris sur l'image 4 (Graph 4) et blanc sur l'image 5 (Graph 1) 2 : c'est une réduction 50% ("Lanczos") de l'image agrandie en super-résolution ZSSR Sa fft2D figure en jaune sur l'image 4 (Graph4) et 6 (Graph 6) Son gain en finesse est évident 5 : on détermine une correction (peaufinable...) en rouge de l'image 1 Son application donne l'image 3, pouième moins fine que la 2 (la flemme) 6 : (Graph 6) En jaune, la fft2D de l'image 2, en magenta celle l'image 3 En 7, agrandissement x4 pixellisé d'un détail des images 1, 2, 3. Tout ça pour ça ! Et encore, j'aurai pu faire des ondelettes sur l'image 1 Toutes remarques et commentaires sont bienvenus, merci Edited March 8, 2019 by Nebulium Share this post Link to post Share on other sites
Nebulium 999 Posted March 8, 2019 (edited) il y a une heure, ms a dit : En empilant tu diminues le bruit mais tu amplifies le flou et après c'est la galère pour faire d'autres traitements. Il ne faut pas empiler... Ben oui, c'est exactement l'origine de mes cogitations (j'avais démarré cette affaire avec une seule image), j'approuve totalement ta méthodologie, mais mes connaissances en informatique sont trop limitées pour l'implémenter efficacement. Il reste que le nettoyage du bruit des patches est fondamental et incontournable, je vais quand même regarder encore les autres avancées sur le deep prior. Pour ceux qui voudraient jouer : En passant, je préconiserais pour la balance : R 1/0.85 G 1/0.7 B 1/0.49 Et à vrai dire, un poil de saturation de couleur en final ne ferait pas de mal ... Edited March 8, 2019 by Nebulium Share this post Link to post Share on other sites
Lucien 6040 Posted March 8, 2019 Neb, La notion de finesse d'une image est purement subjective. On peut rendre des détails ' plus fins ' qu'ils ne sont en réalité, avec certains traitements, c'est un artefact aussi ! Avec les essais que vous faites, il faut annoncer la couleur : - on veut faire de belles images, ou bien, - on veut faire des images les plus 'fidèles' possibles. Dans le premier cas, tous les coups sont permis. Dans le second, il faut justifier du moindre paramètre et façon mesures physiques. Share this post Link to post Share on other sites
Nebulium 999 Posted March 8, 2019 (edited) Hello Lucien Il y a 5 heures, Lucien a dit : La notion de finesse d'une image est purement subjective Oui, mais on aimerait voir des images planétaires fines comme de bonnes photos classiques Citation on veut faire des images les plus 'fidèles' possibles. Oui, c'est dit comment en trois points plus haut. ---------------------------------------------------------------------------- Un essai de débruitage interactif ici : https://ipolcore.ipol.im/demo/clientApp/demo.html?id=242&key=2A3585D4A76206231041EEE68B41F9DD Nota ;: Régler zoom = 0.8 pour copie e'écran à l'échelle et un autre : https://ipolcore.ipol.im/demo/clientApp/demo.html?id=203&key=CB4E77B750BECDA15FB06A545CBBBF2C cette dernière piste est à creuser : Edited March 8, 2019 by Nebulium Share this post Link to post Share on other sites
ms 302 Posted March 8, 2019 (edited) Citation j'avais démarré cette affaire avec une seule image Avec une seule image brute ça me semble impossible. Tu prends par exemple cette image et tu l'enrichis des bons patchs extraits des 300 premières images brutes. Tu as plus de chance d'avoir une image fidèle en travaillant au niveau du patch que de l'image entière. L'image résultant de cette opération est encore bruitée, déformée mais elle n'est pas floue. Tu refais la même opération avec une autre image brute et 300 nouvelles images consécutives. A la fin, tu obtiens 70 images enrichies bruitées et déformées mais un algorithme comme le centroïde (ou autre) permet d'obtenir une image non déformée. Tu peux maintenant estimer le bruit et dé-bruiter cette image. Pour le moment je prends les images 1, 301, 601, 901, ... pour démarrer, c'est pas très malin parce que si l'image est très déformée, le résultat final sera moins bon. Il me faut trouver un algorithme rapide qui permette de sélectionner une image de départ sans image de référence. En attendant, je peux faire cette sélection en visuel mais ce serait mieux si c'était automatique. L'apprentissage profond pourrait être une solution pour sélectionner cette image de départ qui sera enrichie par la suite avec les "bons patchs" extraits des images brutes suivantes. Pour tester la validité de cette approche, la lune reste un objet de choix, elle permet même d'augmenter le nombre de détails en utilisant des prises faites à des dates différentes. Edited March 9, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 8, 2019 Le 01/03/2019 à 19:10, ms a dit : Cette méthode est détaillée ici Oui, le code a été publié sur le Github : https://github.com/mnhrdt/ipol_centroid/tree/master/src Ecrit en C. Pas trop envie d'expérimenter les convertisseurs C => Python D'ailleurs je me demande si cette méthode n'est pas tout simplement enfouie dans AS! et RGX, avec un paramétrage convivial Share this post Link to post Share on other sites
Nebulium 999 Posted March 9, 2019 Histoire de varier les plaisirs, je reviens sur le débruitage par traitement du flux optique. On peut supposer pour dire simple que la méthode exploite la non corrélation du bruit dans les images successives où les détails eux restent corrélés. Il est aisé avec Ninox ou PIPP de repérer les séquences où les images consécutives sont qualifiées comme parmi les meilleures . Voici une séquence de 7 images consécutives (la numérotation commence à 0) : Cette séquence a été exploitée ici avec un réglage de 'sigma' = 18 : https://ipolcore.ipol.im/demo/clientApp/demo.html?id=224&key=4E023DD9D2CE203CA6ED2BB39693A409 1 2 3 4 5 6 7 1 La brute n°15752 2 4 6 respectivement les résultat du débruitage des 15749 15752 15755 3 5 7 respectivement 2 4 6 accentuées rapidement en fft2D On peut aussi jouer sur ce site avec une seule image, la 15752 ('sigma' = 24): https://ipolcore.ipol.im/demo/clientApp/demo.html?id=231&key=00570D88C4C663992E72429BD779C1E7 Je laisse le soin aux astrams intéressés d'en tirer le meilleur Ah, oui, la brute : Share this post Link to post Share on other sites
ms 302 Posted March 10, 2019 (edited) Pourquoi cette précipitation pour ôter le bruit ? Ci-après le 2 premières images enrichies des meilleurs patchs de 40 images consécutives (à gauche l'image brute initiale) : etc ... En faisant la même manip avec ton image brute enrichie des meilleurs patchs de 40 autres images brutes : Edited March 10, 2019 by ms Share this post Link to post Share on other sites
Nebulium 999 Posted March 10, 2019 (edited) Il y a 9 heures, ms a dit : Pourquoi cette précipitation pour ôter le bruit ? Ma conviction est que plus on tripatouille une image en même temps que son bruit, plus celui-ci s'identifie aux détails de l'image et devient difficile à réduire : un compromis à trouver ! Déjà la débayérisation est couramment faite d'office à différentes sauces et je voudrais maintenant faire quelques manips sur les extractions RGGB des images "raw" si je trouve comment les sortir séparément "nature" (ce qui implique de facto une réduction en 50%), après tout ce sont les plus fidèles aux photons tombés sur le capteur ! Evidemment travailler sur les "raw" ne porterait aucun préjudice à l'intérêt de ta méthode des patches Edited March 10, 2019 by Nebulium Share this post Link to post Share on other sites