Le film "Saturne du 6 août" (2017) par Polo retraité avec un réseau de neurones convolutifs

[Nebulium 640]

Hello

 

Ce remarquable film de Polo a déjà fait l'objet de multiples expérimentations, voir par exemple ici.

Je l'ai repris récemment  dans ce fil pour tester un nouveau genre de traitement  ((en anglais CNN ou ConvNet pour Convolutional Neural Networks)  dans une version n'utilisant pas d'apprentissage.

 

L'idée de base est la suivante :

Classiquement, pour diminuer le bruit et surmonter les méfaits de la turbulence, on empile un maximum d'images.

Plus on en prend, plus le bruit diminue mais plus on empâte l'image.   
On pourrait espérer une meilleure résolution en n'empilant que les toutes meilleures images (lucky shots) et en  débruitant  au mieux l'empilement  pour pouvoir finalement améliorer la résolution apparente par accentuation.

 

Dans le fil précédent j'étais parti d'une image unique pour tester la limite du procédé.
Voici maintenant les premiers résultats avec l'empilement des 30 meilleures  (parmi un pré-tri de 3000) selon AS!3  :

 

 

De gauche à droite :
- Empilement des 30 meilleures prises
- Réglage de la balance
- Synthèse RVB débruitée CNN
- Accentuation (à fignoler...)

 

[EDIT] Il y a un truc foireux dans les 3ème et 4ème (les débruitées). Correction à venir, après sur la 2ème celle faite plus loin du décalage des couches signalé par Valère [/EDIT]

 

Edited January 31, 2019 by Nebulium

[ALAING 20476]

Belle démo Neb et je suis vraiment admiratif de ton travail

Mais pas encore convaincu par le résultat final qui donne l'impression d'une image très surtraitée.

Bonne soirée,

AG

[Nebulium 640]

Merci Alain

 

 

Il y a 1 heure, ALAING a dit :

une image très surtraitée

 

Ouiiiii. je suis allé un peu fort avec les ondelettes de R6 pour lesquelles je manque d'expérience mais  qui me semblent plus performantes que la simplissime FFT 2D de FitsWork.

Mais tu peux reprendre la 3ème  (et aussi la 2ème non débruitée  ou encore la 1ère, brute d'empilement) et voir de ton côté si la manip CNN est valable.

 

Tiens, je mets la 2 en TIF 3x16  (il suffit de cliquer sur le nom pour la télécharger) pour ceux qui voudraient jouer avec le bruit et la résolution sans faire intervenir aussi la balance que je pense recevable telle quelle.

 

satpol_c_30_16.tif

 

 

Edited January 29, 2019 by Nebulium

[ValereL 5006]

Salut Jean,

 

y'a un soucis sur la dernière, algorithmes utilisés(?) et décalage prononcé des couches !

J'en ai profité pour refaire joujou sur ta TIF avec 3 essais de traitement ( sous Iris ) :

- La double ondelettes 300% -> 100% n'apporte rien par rapport à la 200% -> 100%.

J'ai tenté une taille à 150% avec du double ondelettes en repartant sur du 300%.

 

Calage des couches + black et white pour la balance couleur.

[MICALEF 595]

  MOI  j'aimerai  bien arrivé a ce résultat   bravo 

 

     MICA

[polo0258 15469]

 bravo ! le résultat de valère est très bon ! avec seulement 30 images !

 polo

[ALAING 20476]

C'est aussi mon avis

Bonne journée,

AG

[Nebulium 640]

Merci Mica, Polo, Alain et Valère

 

=>Valère

 

Merci pour ta contribution.

 

Il y a 12 heures, ValereL a dit :

décalage prononcé des couches

 

Paul utilise une caméra couleur, donc en principe la cause pourrait être la dispersion atmosphérique, en l'absence de correcteur ou par correction insuffisante,  Paul nous éclairera.

Il est vrai que le film original SER est passé par PIPP et AS!3 sans fignolages spécifiques.

Et pour cette manip, il est certain qu'un décalage de couches dès le départ est néfaste et que la faible exposition du bleu conduit à une solide correction de balance. D'ailleurs il y a un souci qu'il faut que j'éclaircisse pour ce film avec la couche bleue quand on empile 16 images et moins avec AS!3

Personnellement, je considère que l'anneau clair (B ?) à l'intérieur de Cassini doit être neutre légèrement chaud (5 à 10 points sRGB) en son milieu.

 

Cette manip CNN s'inscrit dans le contexte suivant en essayant de garder un maximum de paramètres constants pour faciliter les comparaisons :

 

L'idée est de réduire l’empâtement des images dû à la turbulence quand on en empile de plus en plus pour réduire le bruit. 

Donc je cherche à empiler un minimum d'excellentes prises unitaires en utilisant une autre méthode pour combattre le bruit.

Dans ce but je me cale sur la démarche suivante :

-  Régler la caméra pour le temps d'exposition le plus court possible.

- Choisir une focale finale suffisamment longue pour un échantillonnage correct et même ne pas mégoter pour l'allonger pour avoir une image plus grande et bruitée

- Régler le gain (si possible avec une balance correcte) pour avoir un signal utilisant 2/3 à 3/4 de la dynamique.

 

On devrait ainsi avoir un film assez bruité (ce n'est pas la cas  - et c'est normal, Paul s'y connait ! )- du film que j'ai sous la main, et c'est pour ça que j'ai fait des essais sur une seule prise unitaire.

Je compte sur Paul  (et d'autres, merci :)) pour proposer de réaliser le moment venu un tel film dans la foulée de l'habituel

 

On pourrait donc en final estimer quel progrès apporte cette procédure par rapport à l'habituelle.

 

 

En attendant, je vais d'abord revoir l'élaboration de cette TIF pour régler le décalage de couches et revoir la méthode de tri en qualité (dans PIPP et AS!3, Siril et Lucien je ne les ai pas encore regardés) pour gérer cette histoire du bleu.

 

A ceux qui voudraient participer, je demanderai de tirer simplement le mieux à leur goût de cette image en conservant l'échelle et la balance, sachant que de mon côté je la passerai au débruitage CNN

 

 

 

Edited January 30, 2019 by Nebulium

[JB Gayet 1261]

Moi, ce qui m'étonne c'est la "courbure" induite dans les bandes (cf. flèches) :

 

[Nebulium 640]

Hello

 

Il y a 12 heures, JB Gayet a dit :

la "courbure" induite dans les bandes

 

Merci de ta visite, JB

Je dois commencer à avoir les yeux fatigués, je ne vois pas trop ce que tu veux dire ...

 

En tout état de cause, j'ai refait la TIF  en 2ème position en empilant avec AS!3  seulement  les  16  meilleures images (selon l'algo de base de PIPP) d'un pré-tri de 3000 sur les quelque  20000 du SER, avec  recalage des couches par AS!3 puis FitsWork (ceinture et bretelles ?)

 

satpol_16_bal_al_.tif

Elle est délicatement bruitée

 

Valère , qu'en penses-tu ?

 

 

[ms 301]

Et les satellites ?

 

 

La première c'est 'satpol_16_bal_al_.tif' du post ci-dessus.

[ALAING 20476]

Il serait vraiment intéressant de connaitre le type de traitement appliqué

Bonne journée,

AG

[Nebulium 640]

Il y a 3 heures, ms a dit :

Et les satellites ?

 

Hors sujet pour l'instant !

 

Il y a 3 heures, ms a dit :

La première c'est 'satpol_16_bal_al_.tif' du post ci-dessus.

 

Intéressant, mais comme d'hab, pas de légende ...

 

J'aimerais , si c'est possible, les voir côte à côte en PNG et avec des indications sur leurs traitements respectifs, merci

Mais pt'être que Linux ne saut pas faire !

 

Je vais tout à l'heure envoyer la ci-dessus après débruitage CNN

[ms 301]

Le résultat correspond à l'empilage de 14 images obtenues à partir des images alignées ne dépassant pas "0,03" :

 

 

Dans la pratique tout ce qui dépasse "0,03" est écarté  lors de l'acquisition et au final 14 images corrigées sont empilées :

 

 

Pour obtenir une image mieux résolue, il suffit de mettre la barre à "0,02" ou mieux "0,01"  si les conditions le permettent.

Pour les planètes, j'utilise des paquets de 1500 images brutes et pour la lune 150 images brutes suffisent.

 

Citation

Il serait vraiment intéressant de connaitre le type de traitement appliqué

Au départ, il faut aligner (en temps réel) sur une image brute initiale les 1500 images brutes consécutives qui ne dépassent pas "0,03" par exemple.
Dans la vidéo de polo, cela se fait 14 fois.
L'image résultante étant le centre de gravité des 14 images retenues.
Il n'y a donc pas d'image de référence à priori comme dans la plupart des logiciels actuels mais à posteriori puisque cette image est le centre de gravité des images retenues avec leur pondération éventuelle.
A partir de quelle valeur du seuil apparaît la division d'Encke ?

Edited February 2, 2019 by ms

[Nebulium 640]

Il y a 4 heures, Nebulium a dit :

J'aimerais , si c'est possible, les voir côte à côte en PNG et avec des indications sur leurs traitements respectifs, merci

 

Je crois que j'ai du mal à me faire comprendre, alors j'essaie différemment, voici le GIF  (génétiquement palettisé, mais c'est mieux que rien!) démonté :

0  1  2

3  4  5

 

 

- 0  me semble être  = "satpol_16_bal_al_.tif"

- 1 = ?

- 2 = ?

- 3 = ?

- 4 = ?

- 5 = ?

 

 

Merci de remplacer les "?" par  quelques explications.

 

PS : J'ai bien vu un satellite apparaître sur  3, 4 et 5.

Mais de ceci, on reparlera plus tard 

 

Du coup, je me permets en passant une autre excursion hors sujet concernant la balance :

Des tonnes de discussions (comme pour Encke d'ailleurs) ont eu lieu sur le sujet.

Je pense quand même, très personnellement , que  bien que l'anneau de référence soit paraît-il constitué de matériaux glacés donc de couleur froide (mais ce n'est pas une raison ), il est aussi éclairé par le globe.

Donc plutôt que R=G=B, je pencherais pour R>G>B légèrement.

Dont acte pour  la "0" et ses descendantes

 

 

 

 

Edited January 31, 2019 by Nebulium

[ValereL 5006]

Ben rien de plus, c'est plus bruité pour le même type de traitement ( double ondelettes ).

Je ne vois pas bien l'intérêt par rapport à une compile classique du style le 1/4 des images ?

[ms 301]

Citation

Merci de remplacer les "?" par  quelques explications.

J'ai expliqué dans mon post précédent comment j'obtenais la dernière image de l'animation.

Dans le cas présent, j'ai cumulé tout ce qui était en dessous de la barre de "0,03".

Pour obtenir un meilleur résultat, il faudrait descendre à "0,02" mais pour cela il faudrait 2 à 3 fois plus d'images brutes.

J'ai pris ton image (première image de l'animation) pour montrer que l'image obtenue à posteriori avait le même profil.

C'est l'acquisition qui est importante, il faut capturer à la volée les lots d'images qui donneront la meilleure résolution possible une fois empilées.

Ici avec 14 lots le résultat est encourageant mais il faudrait 2 à 3 fois plus d'images brutes (voir le deuxième graphique) pour pouvoir descendre à "0,02" et certaines nuits en dessous de "0,01".

A 150fps sur 5 à 10 minutes, en gérant la dé-rotation cela doit être possible (45000 à 90000 images brutes) pour retenir un peu plus d'une douzaines d'images corrigées.

Après on peut appliquer tout ce que l'on veut sur ces images corrigées (dé-bruitage aveugle sur une image, déconvolution aveugle sur une image, super résolution, ...), y compris les CNN qui font déjà cela depuis quelques années.

 

Edited February 1, 2019 by ms

[Nebulium 640]

Hello Valère 

 

Merci

 

Le 31/01/2019 à 21:56, ValereL a dit :

Je ne vois pas bien l'intérêt par rapport à une compile classique du style le 1/4 des images ?

 

En testant des publications récentes sur le traitement d'images, j`apprends des trucs nouveaux comme de jouer avec le Python interactif ici par exemple :

 

 je cherche à empiler un minimum (contrrairement à ms) d'excellentes prises unitaires en utilisant une autre méthode pour combattre le bruit.

Dans ce but je me cale sur la démarche suivante :

-  Régler la caméra pour le temps d'exposition le plus court possible.

- Choisir une focale finale suffisamment longue pour un échantillonnage correct et même ne pas mégoter pour l'allonger pour avoir une image plus grande et bruitée

- Régler le gain (si possible avec une balance correcte) pour avoir un signal utilisant 2/3 à 3/4 de la dynamique.

 

On devrait ainsi avoir un film assez bruité (ce n'est pas le cas ici - et c'est normal, Paul s'y connait ! )- du film que j'ai sous la main, et c'est pour ça que j'ai fait des essais sur une seule prise unitaire.

Je compte sur Paul  (et d'autres, merci :)) pour proposer de réaliser le moment venu un tel film dans la foulée de l'habituel

 

Par ailleurs, je n'ai pas encore publié  la nouvelle image debruitée.

 

* Et quid de la correction du calage des couches maimtenant ?

 

# A venir : la super résolution

 

 

 

 

Edited February 2, 2019 by Nebulium

[ValereL 5006]

J'ai du la corriger encore un p'tit peu.

[Nebulium 640]

il y a une heure, ValereL a dit :

J'ai du la corriger encore un p'tit peu

 

Merci Valère

 

Peux-tu me passer en TIF ta version un ptit peu corrigée ? Merci

 

 

Le 01/02/2019 à 09:05, ms a dit :

y compris les CNN qui font déjà cela depuis quelques années.

 

 

Et les applications sans apprentissage, c`est nouveau ?

[ValereL 5006]

Bah c'est déjà parti à la corbeille malheureusement.

[Nebulium 640]

Il y a 19 heures, ValereL a dit :

déjà parti à la corbeille

 

Ça, ce n'est pas sympa !  

   Ne t'inquiète, je sais faire aussi, con la mane  mais dis-moi quand même ta méthode. Iris ?

Ici, je voulais  juste comparer  par soustraction pour savoir ce que donnaient des moyens automatiques d'AS!3 et FitsWork, imparfaits, semble-t'il.

[ValereL 5006]

J'ai fait ça manuellement avec la fonction LRGB dans le menu visualisation d' Iris, c'est très précis si les yeux fonctionnent bien. Mais je répète que c'était une toute petite retouche.

D'ailleurs je ne sais pas si c'est bien connu, mais quand on clique sur appliquer, Iris fait le même alignement ensuite sur tout un lot d'images issues d'une séance d'acquisition.

Normalement, l'alignement auto sous AS3 fonctionne très bien.

[Nebulium 640]

OK

 

il y a 21 minutes, ValereL a dit :

Normalement, l'alignement auto sous AS3 fonctionne très bien.

 

 

Oui, mais pas suffisant ?

A moins que je l'ai mal invoqué.

 

Le débruitage RGB  CNN sans apprentissage, tel que je l'ai fait en 1er jus,  a un problème, donc je suis repassé au débruitage couche par couche,  bien plus performant,  et sur lequel j'ai plus d'expérience , voir la HST monochrome du fil précédent mais il est long.

R et G sont faits, le B mouline.

Ensuite je ferai un recalage  manuel  avec FW et publierai la synthèse débruitée avant accentuation

[Nebulium 640]

Voici donc quelques premiers résultats du débruitage couche par couche.

 

J'ai donc passé l'empilement des 16 meilleures prises, indiqué plus haut  comme "satpol_16_bal_al_.tif " couche par couche dans la moulinette CNN, elle apparaît à droite dans la planche ci-dessous, la débruitée  CNN est à gauche.

 

Nota : pour une raison inconnue, probablement l'effet des réglages légèrement différents pour chaque couche, j'ai dû reprendre la balance.

 

J'ai accentué la planche aux ondelettes R6 sans trop  fignoler :

 

 

et accentuée à la FFT de FW  itou :

 

 

 

Je passe  maintenant le relais à qui veut bien contribuer  - merci -pour traiter au mieux en bruit et résolution (par éventuel débruitage classique et accentuation) la "satpol_16_bal_al_.tif "  et /ou l'image de gauche de  la 1ère planche que je remets ci-dessous (elle sort  de la moulinette) en PNG 3x8 bits :

 

 

En attendant,  pour changer un peu, je vais tâter  de l'application des CNN sans apprentissage à la super-résolution  puis passer au CP .

Edited February 4, 2019 by Nebulium