Super-résolution en "apprentissage profond" : Essais sur Mars

[-ms- 2]

On ne peut pas trop dire sur une image mais il semble qu'il y ait un apport dans les basses fréquences.

Est-ce que SRGAN, reconstitue une texture comme EnhanceNet ?

 

[Nebulium 1 436]

Il y a 13 heures, polo0258 a dit :

on a l'impression que le logiciel a fabriqué des taches surtout dans la couche bleu

 

Bonjour Paul

 

Il est vrai que le bleu semble un plus parlant, mais aussi  que ces taches bleues ne semblent pas naturelles.

Pour  confirmer une fabrication, il faudrait disposer de prises synchrones avec un plus gros instrument.

Je vais regarder ce que je peux faire avec les images d'amateur publiées à l'occasion des divers périjoves de Juno

Par ailleurs, je crois bien que même alimentés en R G B, ces logiciels de "Deep learning"  travaillent en Y Cr Cb.

Si au niveau du résultat visuel ça ne change rien, un traitement couche par couche  pourrait s'avérer utile pour mieux analyser les  écarts.

Je ferai un essai sur ta Juju, c'est facile et rapide.

 

Entre temps, je viens de traiter mes autres images de départ au SRGAN : la Mars d Yann et une version pour moi colorimétriquement conforme de ta Saturne d'août 2017 (à gauche).

Les résultats (au centre) sont encore plus subtils  que pour ta Juju, du coup j'ai ajouté (à droite) un coup de pouce en FFT pour arriver au bruit :

 

 

 

Modifié 2 mars 2018 par Nebulium

[Nebulium 1 436]

Il y a 4 heures, ms a dit :

Est-ce que SRGAN, reconstitue une texture comme EnhanceNet ?

 

Le SRGAN est beaucoup moins agressif que le EnhanceNet.

La théorie résumée est ici,  la communication complète là.

Je n'ai pas réussi à faire tourner la version "image unique" sur ma bécane, par contre j'ai pu faire fonctionner la version "Vidéo"  (avec une modif perso pour sortir en 4x  avec  un  codage "Fullframes" au lieu du MP4 ) sur des AVI  de 1 image.  Ça me coûte un simple aller-retour vers VirtualDub.

Cependant, en répétant l'image de départ pour obtenir un AVi plus long, j'ai encore un résidu de flicker, ce n'est pas très normal en principe.

 

En dézippant le "Master", on trouve un  "Final Report.pdf" détaillé.

 

En vidéo, le SPMC serait plus convaincant  en astro car travaillant en glissant sur  plusieurs images.

Mais pas de retour suite à ma demande... 

Modifié 2 mars 2018 par Nebulium

[Nebulium 1 436]

Voici le test RGB séparés au SRGAN sur Juju :

 

R      G

B    RGB  direct

 

 

Pas vraiment convaincant pour le B.

Du coup, j'ai eu un doute :

 

Original    Traitement direct    Synthèse des traitements séparés R G B :

 

 

C'était prévisible, rien n'est simple !

Le modèle SRGAN réagit différemment au moins en balance des blancs  (avec incidence sur la résolution ?) sur des images couleur et des monochromes...

 

 

Ayé, Paul, j'ai trouvé le bon réglage :  

Super, hein !

 

Crédit : Ceres-00

 

Bon, on avance !

Peux-tu m'indiquer l'horodatage de ta Juju ?

 

Modifié 2 mars 2018 par Nebulium

[-ms- 2]

Ton image de juju correspond en gros à l'image de gauche et l'objectif d'EVA c'est d'atteindre en 3 paliers l'image de droite :

 

Pour Jupiter, on dispose en gros de 2,5minutes soit 18000 images à 120fps. Les détails sont recherchés dans 1024 patchs de 16x16 pixels pour une image de 512x512 pixels. La probabilité de remplir les 1024 patchs est quasiment nulle (il y a des trous) mais une vidéo sur 7,5mn va permettre de boucher les trous restants pour atteindre l'image de droite parce que l'on voit évoluer les détails (inpainting et flot optique). C'est sur cette dernière image que TensorFlow peut être intéressant pour de la super résolution x2.

Pour l'acquisition, j'utilise une fenêtre de 528x528 (512+16=528) parce que la planète gigote et je la réduis à 512x512 à l'arrivée.

 

J'ai toujours la vidéo de 21.205 images de saturne de polo que je vais pouvoir maintenant traiter par paliers. 

 

Pour la puissance de calcul, le processeur graphique doit être dimensionné pour des images 512x512 à 120fps c'est en gros ce que permet une carte GTX 1050 Ti.

Pour du 1024x1024 à 120fps, il faut passer aux modèles au dessus : GTX 1060 ou GTX 1070.

 

Modifié 5 mars 2018 par ms

[Nebulium 1 436]

En attendant  de trouver un traitement vidéo multi-images, je laisse de côté le SRGAN qui me fabrique des taches bleues avec son modèle généraliste pour revenir au DCSCN  tout aussi subtil mais  plus propre et surtout qui me permet de fabriquer des modèles spécialisés astro.

Voici donc un comparatif :  1. Original  2. DCSCN  peaufiné  3. SRGAN.

 

 

Dès que Polo m'aura donné l'horodatage de sa Juju, j'irai voir si Ceres-00 (ou d'autres ?) a (ont) shooté à la même époque.

 

[Q 99]

Ma conclusion est qu'il vaut mieux passer du temps à soigner l'acquisition qu'à triturer des courbes pendant deux heures pour un gain négligeable puisque limité par les conditions à l'acquisition et que non on ne fera pas une image façon Hubble si les conditions sont pas bonnes !

 

Quant à faire de l'image de synthèse... on en parle même pas...

Modifié 4 mars 2018 par Q

[Nebulium 1 436]

il y a 12 minutes, Q a dit :

triturer des courbes pendant deux heures pour un gain négligeable puisque limité par les conditions à l'acquisition

 

Hello 

 

Le but de ces cogitations est précisément  en travaillant bout par bout de simplifier tout le bazar  (empilement, ondelettes, déconvolutions, masques flous, etc...) pour obtenir, automatiquement une fois les conditions matérielles de prise de vue bien réglées, une image finale optimale en résolution prenant le meilleur selon les variations à court terme des conditions  et ceci non pas par images entières mais par zones bénéficiant de "lucky imaging" .

L'objectif d' EVA  est de le faire en temps réel avec une configuration musclée, mais on peut espérer des retombées en temps différé  à partir d'un SER ou similaire avec les bécanes de M. Toulemonde.

 

[-ms- 2]

On fera des images façon Hubble même si les conditions ne sont pas bonnes, je compte profiter des prochaines oppositions de Jupiter, Saturne et Mars pour montrer cela avec la puissance de calcul d'une GTX 1050 Ti c'est à dire un matériel tout à fait abordable.

[Nebulium 1 436]

J'ai reparcouru le site Junocam.

Il est évident que les images de Ceres-00 sont de très loin les meilleures.

On peut voir sur la planche ci-dessous (horodatage UTC au-dessus des images) l'évolution très rapide des formations nuageuses.

La plus proche de la prise  de Polo est celle du 25/04/17. Je n'ai pas trouvé d'image exploitable à une date ultérieure proche, mais il me semble que l'image de Polo pourrait être du 24.

 

 

 

 

Modifié 4 mars 2018 par Nebulium

[-ms- 2]

 

Le maximum de détails doit être capté en 2,5 minutes (18.000 images brutes) avec la possibilité de compléter quelques zones en faisant glisser la fenêtre sur 3 images (t-2,5mn, t, t+2,5mn), au delà c'est pas raisonnable (ci dessus sur 10 images c'est trop).
Par contre faire une vidéo de 120 images avec un pas de 2,5 minutes sur 5 heures c'est le genre de manip que je pourrai bientôt réaliser avec EVA.

[Nebulium 1 436]

Ayé, le contact est établi avec Hong-Kong, je vais  pouvoir me remettre au SMPC-video.

En attendant, j'ai refait un passage en DCSCN avec un modèle entraîné avec les 7 images de cette période  comportant la GTRe  publiées par ceres-.00, identifié grâce à Emily comme étant Christopher GO (tenez, devinez qui sont Alananderson-82 et  Murdoch-11  )  pivotées et miroitées pour ne pas être suspecté de clonage   

 

Le résultat  (en 2) 4x  puis réduit en 25% reste toujours dans la subtilité par rapport à l'original (en 1).

Je lui ai fait subir un post -traitement (en 3) uniquement en résolution pour s'approcher de l'image de Christopher (en 4)

A noter en passant la remarquable similitude de rendu en dynamique et colorimétrie du travail de Polo avec celui de Christopher.

 

Bravo Paul !

 

 

Modifié 5 mars 2018 par Nebulium

[polo0258 38 359]

bonjour jean et ms ! très bon travail !

c'est plutôt le 23.04.2017 vers 22h59 loc  soit 20h59tu  confirmé par winjupos !

polo

Modifié 6 mars 2018 par polo0258

[Nebulium 1 436]

Bonjour Paul

 

Il y a 6 heures, polo0258 a dit :

très bon travail

 

Merci  

Je suis en train de tester  le  SPMC-video ( celui du film avec les immeubles proposé plus haut par "ms") qui tourne enfin chez moi, après correction de diverses bogues.

 

Tu n'aurais pas un bout de film  de ta Juju du 23/04/17 ? Ce serait plus causant que le film Saturne...

 

 

[polo0258 38 359]

je regarde ,mais j'ai fait de la place sur le disque dur !!

polo

[polo0258 38 359]

je t'en envoie un du 9/4/2017  j'upload !

je n'avais pas tout jeté ,heureusement !

polo

Modifié 6 mars 2018 par polo0258

[Nebulium 1 436]

OK, Paul, ça tombe bien, je viens juste de valider l'intérêt du SPMC.

Sauf erreur il empile en glissant 3 images successives ici issues d'un panoramique régulier avec agrandissement 4x pour obtenir une résolution de fraction depixel d'origine.

En astro, c'est différent, mais le concept mérite d'être testé.

 

Ci dessous, à gauche, une image  4x issue d'un film où toutes les images sont identiques (FFT blanche) , à droite l'image correspondante issue du panoramique (FFT jaune).

 

 

 

En pratique, on en est là, par apport au bicubique, à l'échelle 2 de l'original  :

 

 

Le graphe des FFT est éloquent (SPMC jaune, bicubique blanc) :

 

 

Je vais voir avec l'auteur comment augmenter le nombre d'images empilées.

 

Modifié 6 mars 2018 par Nebulium

[-ms- 2]

 

C'est pas plus net comme ça ?

 

[Nebulium 1 436]

 

 

il y a 29 minutes, ms a dit :

C'est pas plus net comme ça ?

 

Pour l'instant, il n'est pas question de tripoter la dynamique de rendu d'origine mais de déterminer l'amélioration de résolution SANS AUCUN RÉGLAGE , puisque l'on cause ici d'intelligence artificielle !

 

[polo0258 38 359]

bonjour jean :

voila: http://dl.free.fr/getfile.pl?file=/xA0Pa0tI

polo

[polo0258 38 359]

 1.6 go compressé !

polo

[Nebulium 1 436]

Il y a 3 heures, polo0258 a dit :

 1.6 go compressé

 

Merci Polo, bien reçu !

 

Les brutes sont verdâtres. Normal ?

 

 

 

Tant qu'à tester les  possibilités de l'IA, je vais d'abord m'en servir pour ce truc  si j'arrive à le faire  fonctionner.

 

[polo0258 38 359]

tu chipotes jean ! on règle wr à 63 et wb à 99  ,on ne peut régler wv !! donc c'est un peu vert mais ça se corrige ensuite !

 

si j'ai compris ta manipulation , te te set d'une image de référence avec ton IA  donc le résultat final est un peu des deux ! comme celle de cérès OO

 

polo

[Nebulium 1 436]

il y a 9 minutes, polo0258 a dit :

tu chipotes jean

 

Non, c'était juste pour vérifier si la débayerisation  par défaut de PIPP  entrait en jeu, je ne connais pas  bien ce soft, sauf pour extraire très occasionnellement les SER en PNG ou AVI.

 

il y a 13 minutes, polo0258 a dit :

 

si j'ai compris ta manipulation , te te set d'une image de référence avec ton IA  donc le résultat final est un peu des deux !

 

En fait, pas exactement :

Je montre au soft de belles images de tous genres y compris ou non astro (il me semble d(ailleurs que l'ajout des astros ne change à peu près rien à la chose) pour lui apprendre à quoi  ressemble une belle image , et après, il essaie de traiter automatiquement les prises astro selon le même style, comme tu le fais toi mais à la main.

 

Par ailleurs, je  crois avoir réussi à intéresser  Xin  (SMPC-video) à notre affaire, il va  me bidouiller des trucs pour mes essais

[-ms- 2]

 

Un essai rapide à partir du fichier SER de polo qui montre le balayage (raw->denoise->deblur) des 100 premières trames via une grille de 32x32 pixels.

Un balayage des 86x100 trames conduirait après post-traitement (super résolution) à une image beaucoup plus détaillée.

Des essais restent à faire en fonction de différentes tailles de patchs 8x8, 16x16, 32x32, 64x64.

C'est pour le post-traitement que TensorFlow peut être très utile, en entrée j'ai 86 images que ce réseau va exploiter pour construire la meilleure image possible un peu comme notre ami chinois avec ses 3 images.
 

J'ai fait la même manip pour les 2 paquets de 100 trames suivants, la qualité des patchs est très variable comme le montre l'image qui suit où 1 et 3 sont globalement de meilleure qualité :

 

Citation

 

Tant qu'à tester les  possibilités de l'IA, je vais d'abord m'en servir pour ce truc  si j'arrive à le faire  fonctionner.

 

Ce truc ne traite que le bruit gaussien mais c'est déjà pas mal de commencer par celui-là.
Au bruit gaussien peuvent s'ajouter un bruit poissonnier, un bruit multiplicatif, ... c'est à dire un mélange de bruits.

Dans EVA, le mélange de bruits est traité localement au niveau du patch.

Pour le flou c'est un peu le même principe mais je suis moins avancé que pour le bruit.

Modifié 7 mars 2018 par ms