Le film "Saturne du 6 août" (2017) par Polo retraité avec un réseau de neurones convolutifs

[Nebulium 459]

Il y a 3 heures, ms a dit :

Cette méthode est détaillée ici :

https://www.researchgate.net/publication/227172988_The_Centroid_Method_for_Imaging_through_Turbulence

 

Merci

J'ai aussi trouvé ceci ;

https://github.com/mnhrdt/ipol_centroid

 

L'un et l'autre sont bien au delà de mes compétences 

 

PS :

 http://www.lokminglui.com/TRN.html

https://www.semanticscholar.org/paper/Subsampled-Turbulence-Removal-Network-Chak-Lau/1df3a1570e1dc0e6b0253eef2a7fc8f846c432b3

https://www.semanticscholar.org/paper/Atmospheric-turbulence-mitigation-based-on-He-Wang/d9ad646f5d66f786c00489e0cf4dd9218a81dbb5

 

et plein d'autres tous frais ...

 

Edited March 1 by Nebulium

[ms 301]

Citation

J'ai aussi trouvé ceci ;

A éviter car c'est très lent quand le nombre d'images augmente.

 

Les 2 autres liens sont intéressants mais ils ne règlent pas le problème de la cheminée ou de la fenêtre de droite (cisaillement local) et en plus ils sont très coûteux en temps de calcul :

 

Pour revenir à la vidéo de polo et à l'exemple que tu donnais quelques posts plus hauts, il me faudra encore du travail pour atteindre l'image de droite mais l'image centrale est aujourd'hui à portée :

 

Edited March 2 by ms

[Nebulium 459]

Je suis en train de reprendre les choses à la base.

J'ai passé le SER dans AS!3 pour empiler les 300 meilleures.   

Cet empilement natif en 1304x976 a été  centré et rogné en 512x512 avec  le bien pratique Ninox.

Pour des comparaisons à venir j'ai aussi trié un lot de 300  avec PIPP selon  son algo de base,  centrées et rognées en 512x512 également avec PIPP.

J'aurais aussi pu faire cette opération avec Ninox, qui utilise (en l'expliquant) l'algorithme de tri de RGX (j'ignore d'ailleurs comment fonctionnent ceux utilisés par PIPP par défaut et AS!3).

Je reviendrai plus loin sur les traitements à faire sur ce lot.

 

L'alignement des couches de l'empilement des 300 AS!3 est estimé correct par RGX7.

Le voici en version  brute  (non balancée) .

Voyons déjà ce que l'on peut en  tirer en apprentissage approfondi.

 

 

 

Je vais par ailleurs reprendre mes essais de prétraitement par morphing  et centroid (si je trouve un moyen à ma portée) sur une sélection  visuelle réduite à quelques images parmi les 300 PIPP, beaucoup sont bien piquées  mais très déformées, par exemple :

 

Edited March 4 by Nebulium

[ms 301]

Citation

beaucoup sont bien piquées  mais très déformées

Ça se voit moins bien que dans les images sous-marines mais dans ton image piquée, tu as des patchs de bonne qualité, des patchs flous, etc ...
Il ne faut pas chercher à redresser ces images tout de suite mais à obtenir des images déformées dé-bruitées et dé-floutées.
Après l'algorithme du centroïde (ou un autre) permettra de les redresser dans de bonnes conditions.

Un dernier algorithme combinera ces images mais en évitant de les re-flouter.

 

Ton empilement se prête bien à une déconvolution aveugle mais il présuppose que tu as déjà les 300 meilleures images :

 

Après, il est possible de faire un dé-bruitage aveugle tenant compte des patchs similaires :

 

et la balance des blancs :

 

Edited March 4 by ms

[Nebulium 459]

J'essaie de reconstituer ta méthodologie :

 

Tu serais parti de mon empilement des 300  meilleures images du film de Polo , dans mon message précédent.

Tes images :

1

2

3

 

1. Après une déconvolution aveugle. On peut en savoir plus sur la recette ? DStation  ou similaire? Pas d'ondelettes ?

2. Débruitage aveugle, avec ? Le coup des patches similaires, c'est le truc de ton cru, inspiré par tes recherches pour EVA ?

3. Balance des blancs :

Perso, si tu es resté linéaire (ce qui me semble le plus simple et le mieux pour ce film)  je dirais qu'il y a 6-7%de B en trop et je donnerais 15% de gain général en final.

Pour une publication chez CN, j'augmenterais un peu la saturation de couleurs...

 

Et finalement, est-ce ton dernier mot avec ce film ?

 

Avant de s'en prendre à Jupiter, bientôt   

Ohé, Paul !

Edited March 4 by Nebulium

[polo0258 8772]

bonjour jean !

 pour jupiter , faudra attendre un peu ! la turbulence n'étant pas trop coopérative en ce moment ,

il ne faudra pas s'attendre à des images très pointues !

 sinon j'ai du mars à vendre , du pas trop mauvais , mais c'est petit .....:

 polo

[Nebulium 459]

Bonjour Paul

 

il y a 23 minutes, polo0258 a dit :

j'ai du mars à vendre , du pas trop mauvais

 

On n'achète pas un chat dans un sac, alors il faudrait déjà commencer par nous montrer ton meilleur résultat  (horodaté, stp) avec ce SER 

 

Edited March 4 by Nebulium

[polo0258 8772]

il y a 14 minutes, Nebulium a dit :

On n'achète pas un chat dans un sac,

 chez moi , on dit un lapin dans un sac !   un chat dans un sac ,  c'est dangereux !!

 bonne soirée jean 

[ms 301]

Citation

1. Après une déconvolution aveugle. On peut en savoir plus sur la recette ? DStation  ou similaire? Pas d'ondelettes ?

2. Débruitage aveugle, avec ? Le coup des patches similaires, c'est le truc de ton cru, inspiré par tes recherches pour EVA ?

3. Balance des blancs :

Tous ces algorithmes sont issus du passage dans le labyrinthe de ces 10 dernières années et les plus performants ont été portés sous CUDA.

L'extraction des "bons patchs" ne demande plus que 2,3ms par image FULL HD avec une carte graphique 1050 Ti, ce qui laisse suffisamment de temps aux autres traitements pour tenir une cadence de 100 à 150 fps avec des images FULL HD ... mais déjà la 1150 Ti  (50% plus rapide) pointe le bout de son nez.

 

Citation

Et finalement, est-ce ton dernier mot avec ce film ?

Mon dernier mot c'est qu'il doit être possible d'atteindre ce type d'image à condition d'aller au delà des 21000 brutes de cette vidéo :

Edited March 5 by ms

[Nebulium 459]

Le 05/03/2019 à 09:30, ms a dit :

atteindre ce type d'image à condition d'aller au delà des 21000 brutes

 

Ben, bon, en matière de finesse d'image, même avec 10, 100, 1000, ... fois plus d'images, m'est avis que floutée ou pas tu n'es pas près d'être rendu !  

 

 

Et si encore plutôt que de nous abreuver de résultats et de performances aussi ésotériques que leurs moyens d’exécution, tu nous les rendais reproductibles par tout un chacun de notre corporation, même en y mettant le temps de traitement qu'il faut, non ?

 

Assez déçu par mes essais de morphing, avant de repartir vers de nouvelles recherches, je suis revenu sur quelques éléments de base :

Ci-dessous  :

1 2 3

4 5 6

1.  Celle qui m'a semblé la meilleure brute des 21000

2.  L'empilement  AS!3 des 16 meilleures brutes selon une rapide sélection visuelle parmi les 300 meilleures selon l'algo "qualité" de base de PIPP.

3. L'empilement  AS!3 des 300 meilleures selon l'algo "qualité" de base de PIPP.

 

Le contrôle d'alignement par RGX n'indique de problème sur aucune des images (AS!3 a dû s'en occuper...).

Ces 3 images ont été recentrées au pixel près avec Ninox, avant de faire les différences avec l'ajout d'un offset 64 

4 = 1-2

5 = 2-3

6 = 1-3

 

 

Et en prime, voici les FFT 2D : de haut en bas 1, 2, 3  :

 

 

Le but du jeu est d'enlever le bruit, sans enlever les détails.

Alors, est-ce que l'apprentissage approfondi peut apporter une aide, sachant que plus on empile, plus on empâte les détails ?

Pour l'instant, le compromis ne saute pas aux yeux, mais le dernier mot n'est pas dit !

 

Pour voir la route encore à courir, j'ai rajouté en jaune la FFT2D de la JLD du Pic :

 

 

PS : A propos des méthodes par apprentissage.

Hum ???

Pour moi, en astrophoto, on n' a rien le droit d'inventer , seulement :

- Nettoyer le bruit

- Ressortir les détails dilués

- Corriger statistiquement les déformations.

 

Yapluka faire ce qui ne l'est pas déjà, ou mieux 

 

Edited March 6 by Nebulium

[ms 301]

Citation

Le but du jeu est d'enlever le bruit, sans enlever les détails.

Les 21204 images brutes ne sont pas floues comme celle du milieu (empilement de 16) ou celle de droite (empilement de 300).

En empilant tu diminues le bruit mais tu amplifies le flou et après c'est la galère pour faire d'autres traitements.

Il ne faut pas empiler, tu prends une image brute pas trop mauvaise et tu extrais les meilleurs patchs des 300 images brutes consécutives suivantes par exemple.

Puis, tu complètes ton image brute initiale avec les meilleurs patchs, elle est plus détaillée et elle n'est pas floue.

Quand tu as obtenu 70 images plus détaillées mais pas floues alors tu peux appliquer le centroïde (ou un autre algorithme plus rapide) pour les redresser et faire diminuer le bruit.

Edited March 8 by ms

[Nebulium 459]

 

*********************************************************************************

ms vient de répondre pendant ma rédaction de ce message, je reviens plus tard pour mes commentaires

**********************************************************************************

Hello

 

Je crois qu'il est temps de tirer les conclusions sur cette série d'essais selon quelques techniques pointues récentes.

Certainement ils seraient peaufinables, affaire de temps...

Ces essais se rapportent à des indications de ces sites, en évitant les méthodes  faisant appel à un apprentissage à partir de bases de données d'images, plus artistiques que scientifiques :

 

- Nettoyer le bruit :

https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art

On y trouve aussi des liens qui débouchent sur :

 

- Ressortir les détails dilués

https://github.com/YapengTian/Single-Image-Super-Resolution

 

- Corriger les déformations.

J'ai essayé le "morphing" de Ninox

http://www.acquerra.com.au/astro/software/ninox/

 J'ai découvert  ce site interactif permettant de traiter directement ses propres images :

http://www.ipol.im/

pour essayer sommairement la méthode "Centroid" 

http://www.ipol.im/pub/art/2014/105/
 

 

Globalement, je dirais pour l'instant que je n'ai rien trouvé qui améliorerait d'un minimum les méthodes classiques, probablement il faudrait se faire sérieusement la main, et surveiller les progrès de la science et surtout de la technologie des capteurs.

 

Voici mes conclusions du moment :

 

- Nettoyer le bruit .

Cette rubrique mérite d'être travaillée, voir à quel(s) niveau(x) de traitement. Je pense que l'utilisation de bases de données de bruit y resterait licite

 

- Ressortir les détails dilués  : la super-résolution

Hum !  Une manip figure à la fin de ce message

 

- Corriger les déformations.

C'est le rôle des AP.

Je n'ai rien tiré d'utilisable de Ninox. Pas sûr que de s'acharner serait payant, et Il se passe parfois des trucs bizarres.

Pour la "Centroid", il faudrait implémenter le code.

J'ai fait des essais rapides en mode interactif au pif  à partir des paquets de 16 découpés  dans les 300  meilleures, avec un nombre de seeds = 4  pour avoir moins de bruit.

Les 16 résultats (redimensionnés d'office de 512x512 ves 384x384, ce qui dégrade la résolution en revenant en 100% de l'acquisition) sont bien alignés, mais leur empilement ne vaut pas  celui  directement des 300 dans AS!3

Mes essais sont restés accessibles  ici :

http://demo.ipol.im/demo/105/archive/

 

ANNEXE  concernant la super-resolution :

 

A partir d'une image de ce site semi-interactif (par mouseover...) :

http://www.wisdom.weizmann.ac.il/~vision/zssr/

Le code lui-même est accessible ici

https://github.com/assafshocher/ZSSR

 

J'ai fabriqué le test suivant :

 

1 2 3

4 5 6

   7

 

1 : c'est l'image "naturelle de départ", a priori obtenue sans floutage volontaire

Sa fft2D figure en gris sur l'image 4 (Graph 4) et blanc sur l'image 5 (Graph 1)

2 : c'est une réduction 50% ("Lanczos") de l'image  agrandie en super-résolution ZSSR

Sa fft2D figure en jaune sur l'image 4  (Graph4) et 6 (Graph 6)

Son gain en finesse est évident

5 :  on détermine une correction (peaufinable...) en rouge de l'image 1

Son application donne l'image 3, pouième moins fine que la 2  (la flemme)

6 : (Graph 6) En jaune, la fft2D de  l'image 2, en magenta celle l'image 3

 

En 7, agrandissement  x4  pixellisé  d'un détail des images 1, 2, 3.

 

Tout ça pour ça !

Et encore, j'aurai pu faire des ondelettes sur l'image 1

 

Toutes remarques et commentaires sont bienvenus, merci

 

 

 

 

Edited March 8 by Nebulium

[Nebulium 459]

il y a une heure, ms a dit :

En empilant tu diminues le bruit mais tu amplifies le flou et après c'est la galère pour faire d'autres traitements.

Il ne faut pas empiler...

 

Ben oui, c'est exactement l'origine de mes cogitations (j'avais démarré cette affaire avec une seule image), j'approuve totalement ta méthodologie, mais mes connaissances en informatique sont trop limitées pour l'implémenter efficacement.

Il reste que le nettoyage du bruit des patches est fondamental et incontournable, je vais quand même regarder encore les autres avancées sur le deep prior.

 

Pour ceux qui voudraient jouer :

 

 

En passant, je préconiserais pour la balance :

 R  1/0.85

 G  1/0.7

 B  1/0.49

 

Et à vrai dire, un poil de saturation  de couleur en final ne ferait pas de mal ...

 

 

 

 

Edited March 8 by Nebulium

[Lucien 1928]

Neb,

 

La notion de finesse d'une image est purement subjective.

 

On peut rendre des détails ' plus fins ' qu'ils ne sont en réalité, avec certains traitements, c'est un artefact aussi !

 

Avec les essais que vous faites, il faut annoncer la couleur :

- on veut faire de belles images,

ou bien,

- on veut faire des images les plus 'fidèles' possibles.

 

Dans le premier cas, tous les coups sont permis.

Dans le second, il faut justifier du moindre paramètre et façon mesures physiques.

 

[Nebulium 459]

Hello Lucien

 

Il y a 5 heures, Lucien a dit :

La notion de finesse d'une image est purement subjective

 

Oui, mais on aimerait  voir des images planétaires  fines comme de bonnes photos classiques

 

 

Citation

on veut faire des images les plus 'fidèles' possibles.

 

Oui, c'est dit comment en trois points plus haut.

----------------------------------------------------------------------------

 

 

Un essai de débruitage interactif ici :

 

https://ipolcore.ipol.im/demo/clientApp/demo.html?id=242&key=2A3585D4A76206231041EEE68B41F9DD

 

Nota ;: Régler zoom = 0.8 pour copie e'écran à l'échelle

 

 

et un autre : 

https://ipolcore.ipol.im/demo/clientApp/demo.html?id=203&key=CB4E77B750BECDA15FB06A545CBBBF2C

 

 

cette dernière piste est à creuser :

 

 

Edited March 8 by Nebulium

[ms 301]

Citation

j'avais démarré cette affaire avec une seule image

Avec une seule image brute ça me semble impossible.

Tu prends par exemple cette image et tu l'enrichis des bons patchs extraits des 300 premières images brutes. Tu as plus de chance d'avoir une image fidèle en travaillant au niveau du patch que de l'image entière. L'image résultant de cette opération est encore bruitée, déformée mais elle n'est pas floue.
Tu refais la même opération avec une autre image brute et 300 nouvelles images consécutives.

A la fin, tu obtiens 70 images enrichies bruitées et déformées mais un algorithme comme le centroïde (ou autre) permet d'obtenir une image non déformée.
Tu peux maintenant estimer le bruit et dé-bruiter cette image.

 

Pour le moment je prends les images 1, 301, 601, 901, ... pour démarrer, c'est pas très malin parce que si l'image est très déformée, le résultat final sera moins bon. Il me faut trouver un algorithme rapide qui permette de sélectionner une image de départ sans image de référence. En attendant, je peux faire cette sélection en visuel mais ce serait mieux si c'était automatique.
L'apprentissage profond pourrait être une solution pour sélectionner cette image de départ qui sera enrichie par la suite avec les "bons patchs" extraits des images brutes suivantes.

 

Pour tester la validité de cette approche, la lune reste un objet de choix, elle permet même d'augmenter le nombre de détails en utilisant des prises faites à des dates différentes.

Edited March 9 by ms

[Nebulium 459]

Le 01/03/2019 à 19:10, ms a dit :

Cette méthode est détaillée ici

 

Oui, le code a été publié sur le Github :

https://github.com/mnhrdt/ipol_centroid/tree/master/src

Ecrit en C.

Pas trop envie d'expérimenter les convertisseurs C => Python

 

D'ailleurs  je me demande si cette méthode n'est pas tout simplement enfouie dans AS! et RGX, avec un paramétrage convivial

 

 

[Nebulium 459]

Histoire de varier les plaisirs, je reviens sur le débruitage par traitement du flux optique.

On peut supposer pour dire simple que la méthode exploite la non corrélation du bruit dans les images successives où les détails eux restent corrélés.

Il est aisé avec Ninox ou PIPP de repérer les séquences où les images consécutives sont qualifiées comme parmi les meilleures .

Voici une séquence de 7 images consécutives (la numérotation commence à 0) :

 

 

Cette séquence a été exploitée ici  avec un  réglage de 'sigma' =  18 :

https://ipolcore.ipol.im/demo/clientApp/demo.html?id=224&key=4E023DD9D2CE203CA6ED2BB39693A409

 

 

1   2 3   4 5   6 7

 

1  La brute n°15752

2  4  6  respectivement  les résultat du débruitage  des  15749    15752   15755

3  5  7  respectivement    2  4  6   accentuées rapidement en fft2D

 

On peut aussi jouer sur ce site avec une seule image, la 15752  ('sigma' = 24):

https://ipolcore.ipol.im/demo/clientApp/demo.html?id=231&key=00570D88C4C663992E72429BD779C1E7

 

 

Je laisse le soin aux astrams intéressés d'en tirer le meilleur

Ah, oui, la brute :

 

 

 

 

 

[ms 301]

Pourquoi cette précipitation pour ôter le bruit ?

 

Ci-après le 2 premières images enrichies des meilleurs patchs de 40 images consécutives (à gauche l'image brute initiale) :

 

 

 

etc ...

 

En faisant la même manip avec ton image brute enrichie des meilleurs patchs de 40 autres images brutes :

 

Edited March 10 by ms

[Nebulium 459]

Il y a 9 heures, ms a dit :

Pourquoi cette précipitation pour ôter le bruit ?

 

Ma conviction est que plus on tripatouille une image en même temps que son bruit, plus celui-ci s'identifie aux détails de l'image et devient difficile à réduire : un compromis à trouver !

Déjà la débayérisation  est couramment faite d'office à différentes sauces et je voudrais maintenant faire quelques manips sur les extractions RGGB des images "raw" si je trouve comment les sortir  séparément "nature" (ce qui implique de facto une réduction en 50%),  après tout ce sont les plus fidèles aux photons tombés sur le capteur !

 

Evidemment travailler sur les "raw"  ne porterait aucun préjudice à l'intérêt de ta méthode  des patches

Edited March 10 by Nebulium