Nebulium

Super-résolution en "apprentissage profond" : Essais sur Mars

Recommended Posts

On ne peut pas trop dire sur une image mais il semble qu'il y ait un apport dans les basses fréquences.

Est-ce que SRGAN, reconstitue une texture comme EnhanceNet ?

 

Share this post


Link to post
Share on other sites
Publicité
En vous inscrivant sur Astrosurf,
ce type d'annonce ne sera plus affiché.
Astronomie solaire : la bible est arrivée !
400 pages, plus de 800 illustrations !
Les commandes sont ouvertes sur www.astronomiesolaire.com
Il y a 13 heures, polo0258 a dit :

on a l'impression que le logiciel a fabriqué des taches surtout dans la couche bleu

 

Bonjour Paul

 

Il est vrai que le bleu semble un plus parlant, mais aussi  que ces taches bleues ne semblent pas naturelles.

Pour  confirmer une fabrication, il faudrait disposer de prises synchrones avec un plus gros instrument.

Je vais regarder ce que je peux faire avec les images d'amateur publiées à l'occasion des divers périjoves de Juno

Par ailleurs, je crois bien que même alimentés en R G B, ces logiciels de "Deep learning"  travaillent en Y Cr Cb.

Si au niveau du résultat visuel ça ne change rien, un traitement couche par couche  pourrait s'avérer utile pour mieux analyser les  écarts.

Je ferai un essai sur ta Juju, c'est facile et rapide.

 

Entre temps, je viens de traiter mes autres images de départ au SRGAN : la Mars d Yann et une version pour moi colorimétriquement conforme de ta Saturne d'août 2017 (à gauche).

Les résultats (au centre) sont encore plus subtils  que pour ta Juju, du coup j'ai ajouté (à droite) un coup de pouce en FFT pour arriver au bruit :

 

Presse-papier02.png.0497c62173ca512f4b5a72b30c74ff7c.png

 

 

Presse-papier03.png.bb3c1206de213030bab63d813506b561.png

Edited by Nebulium

Share this post


Link to post
Share on other sites
Il y a 4 heures, ms a dit :

Est-ce que SRGAN, reconstitue une texture comme EnhanceNet ?

 

Le SRGAN est beaucoup moins agressif que le EnhanceNet.

La théorie résumée est ici,  la communication complète .

Je n'ai pas réussi à faire tourner la version "image unique" sur ma bécane, par contre j'ai pu faire fonctionner la version "Vidéo"  (avec une modif perso pour sortir en 4x  avec  un  codage "Fullframes" au lieu du MP4 ) sur des AVI  de 1 image.  Ça me coûte un simple aller-retour vers VirtualDub.

Cependant, en répétant l'image de départ pour obtenir un AVi plus long, j'ai encore un résidu de flicker, ce n'est pas très normal en principe.

 

En dézippant le "Master", on trouve un  "Final Report.pdf" détaillé.

 

En vidéo, le SPMC serait plus convaincant  en astro car travaillant en glissant sur  plusieurs images.

Mais pas de retour suite à ma demande...  :(

Edited by Nebulium

Share this post


Link to post
Share on other sites

Voici le test RGB séparés au SRGAN sur Juju :

 

R      G

B    RGB  direct

 

Presse-papier04.png.3e4766e7c9eabd44fa0e0e2f9c9b05ec.png

 

Pas vraiment convaincant pour le B.

Du coup, j'ai eu un doute :

 

Original    Traitement direct    Synthèse des traitements séparés R G B :

 

Presse-papier06.png.26b0209f9470b73be17cef7883357277.png

 

C'était prévisible, rien n'est simple !

Le modèle SRGAN réagit différemment au moins en balance des blancs  (avec incidence sur la résolution ?) sur des images couleur et des monochromes...

 

 

Ayé, Paul, j'ai trouvé le bon réglage : :) 

Super, hein !

 

Presse-papier01.png.e96919e3600a0cc3f37c7afc339dfc82.png

Crédit : Ceres-00

 

Bon, on avance ! :)

Peux-tu m'indiquer l'horodatage de ta Juju ?

 

Edited by Nebulium
  • Like 1

Share this post


Link to post
Share on other sites

Ton image de juju correspond en gros à l'image de gauche et l'objectif d'EVA c'est d'atteindre en 3 paliers l'image de droite : ¬¬

jupiter_eva.thumb.png.683afa7ee37a436268f71f048e540ea0.png

 

Pour Jupiter, on dispose en gros de 2,5minutes soit 18000 images à 120fps. Les détails sont recherchés dans 1024 patchs de 16x16 pixels pour une image de 512x512 pixels. La probabilité de remplir les 1024 patchs est quasiment nulle (il y a des trous) mais une vidéo sur 7,5mn va permettre de boucher les trous restants pour atteindre l'image de droite parce que l'on voit évoluer les détails (inpainting et flot optique). C'est sur cette dernière image que TensorFlow peut être intéressant pour de la super résolution x2.

Pour l'acquisition, j'utilise une fenêtre de 528x528 (512+16=528) parce que la planète gigote et je la réduis à 512x512 à l'arrivée.

 

J'ai toujours la vidéo de 21.205 images de saturne de polo que je vais pouvoir maintenant traiter par paliers. 

 

Pour la puissance de calcul, le processeur graphique doit être dimensionné pour des images 512x512 à 120fps c'est en gros ce que permet une carte GTX 1050 Ti.

Pour du 1024x1024 à 120fps, il faut passer aux modèles au dessus : GTX 1060 ou GTX 1070.

 

Edited by ms

Share this post


Link to post
Share on other sites

En attendant  de trouver un traitement vidéo multi-images, je laisse de côté le SRGAN qui me fabrique des taches bleues avec son modèle généraliste pour revenir au DCSCN  tout aussi subtil mais  plus propre et surtout qui me permet de fabriquer des modèles spécialisés astro.

Voici donc un comparatif :  1. Original  2. DCSCN  peaufiné  3. SRGAN.

 

Presse-papier01.png.f25bca34f13e3c47e87efe7dfba2a793.png

 

Dès que Polo m'aura donné l'horodatage de sa Juju, j'irai voir si Ceres-00 (ou d'autres ?) a (ont) shooté à la même époque.

 

  • Like 1

Share this post


Link to post
Share on other sites

Ma conclusion est qu'il vaut mieux passer du temps à soigner l'acquisition qu'à triturer des courbes pendant deux heures pour un gain négligeable puisque limité par les conditions à l'acquisition et que non on ne fera pas une image façon Hubble si les conditions sont pas bonnes !

 

Quant à faire de l'image de synthèse... on en parle même pas...

Edited by Q
  • Like 3

Share this post


Link to post
Share on other sites
il y a 12 minutes, Q a dit :

triturer des courbes pendant deux heures pour un gain négligeable puisque limité par les conditions à l'acquisition

 

Hello  :)

 

Le but de ces cogitations est précisément  en travaillant bout par bout de simplifier tout le bazar  (empilement, ondelettes, déconvolutions, masques flous, etc...) pour obtenir, automatiquement une fois les conditions matérielles de prise de vue bien réglées, une image finale optimale en résolution prenant le meilleur selon les variations à court terme des conditions  et ceci non pas par images entières mais par zones bénéficiant de "lucky imaging" .

L'objectif d' EVA  est de le faire en temps réel avec une configuration musclée, mais on peut espérer des retombées en temps différé  à partir d'un SER ou similaire avec les bécanes de M. Toulemonde.

 

Share this post


Link to post
Share on other sites

On fera des images façon Hubble même si les conditions ne sont pas bonnes, je compte profiter des prochaines oppositions de Jupiter, Saturne et Mars pour montrer cela avec la puissance de calcul d'une GTX 1050 Ti c'est à dire un matériel tout à fait abordable. ^_^

  • Haha 1

Share this post


Link to post
Share on other sites

J'ai reparcouru le site Junocam.

Il est évident que les images de Ceres-00 sont de très loin les meilleures.

On peut voir sur la planche ci-dessous (horodatage UTC au-dessus des images) l'évolution très rapide des formations nuageuses.

La plus proche de la prise  de Polo est celle du 25/04/17. Je n'ai pas trouvé d'image exploitable à une date ultérieure proche, mais il me semble que l'image de Polo pourrait être du 24.

 

 

Presse-papier01.png.91b86bf097dd40d6d2dcf2fea0ebb0f4.png

 

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

1250_1316.png.e1990a4acdbbe623bae2bf1bdfe752a2.png

 

Le maximum de détails doit être capté en 2,5 minutes (18.000 images brutes) avec la possibilité de compléter quelques zones en faisant glisser la fenêtre sur 3 images (t-2,5mn, t, t+2,5mn), au delà c'est pas raisonnable (ci dessus sur 10 images c'est trop).
Par contre faire une vidéo de 120 images avec un pas de 2,5 minutes sur 5 heures c'est le genre de manip que je pourrai bientôt réaliser avec EVA. ¬¬

  • Love 1

Share this post


Link to post
Share on other sites

Ayé, le contact est établi avec Hong-Kong, je vais  pouvoir me remettre au SMPC-video.

En attendant, j'ai refait un passage en DCSCN avec un modèle entraîné avec les 7 images de cette période  comportant la GTRe  publiées par ceres-.00, identifié grâce à Emily comme étant Christopher GO (tenez, devinez qui sont Alananderson-82 et  Murdoch-11  ;) )  pivotées et miroitées pour ne pas être suspecté de clonage -_-  

 

Le résultat  (en 2) 4x  puis réduit en 25% reste toujours dans la subtilité par rapport à l'original (en 1).

Je lui ai fait subir un post -traitement (en 3) uniquement en résolution pour s'approcher de l'image de Christopher (en 4)

A noter en passant la remarquable similitude de rendu en dynamique et colorimétrie du travail de Polo avec celui de Christopher.

 

Bravo Paul ! :)

 

Presse-papier01.png.4bebadeaea9683a88a9c24f9aa60388e.png

 

Edited by Nebulium
  • Like 1

Share this post


Link to post
Share on other sites

bonjour jean et ms ! très bon travail !

c'est plutôt le 23.04.2017 vers 22h59 loc  soit 20h59tu  confirmé par winjupos !

polo

Edited by polo0258

Share this post


Link to post
Share on other sites

Bonjour Paul :)

 

Il y a 6 heures, polo0258 a dit :

très bon travail

 

Merci :) 

Je suis en train de tester  le  SPMC-video ( celui du film avec les immeubles proposé plus haut par "ms") qui tourne enfin chez moi, après correction de diverses bogues.

 

Tu n'aurais pas un bout de film  de ta Juju du 23/04/17 ? Ce serait plus causant que le film Saturne...

 

 

Share this post


Link to post
Share on other sites

je regarde ,mais j'ai fait de la place sur le disque dur !! ;)

polo

Share this post


Link to post
Share on other sites

je t'en envoie un du 9/4/2017  j'upload !

je n'avais pas tout jeté ,heureusement !

polo

Edited by polo0258

Share this post


Link to post
Share on other sites

OK, Paul, ça tombe bien, je viens juste de valider l'intérêt du SPMC.

Sauf erreur il empile en glissant 3 images successives ici issues d'un panoramique régulier avec agrandissement 4x pour obtenir une résolution de fraction depixel d'origine.

En astro, c'est différent, mais le concept mérite d'être testé.

 

Ci dessous, à gauche, une image  4x issue d'un film où toutes les images sont identiques (FFT blanche) , à droite l'image correspondante issue du panoramique (FFT jaune).

 

Presse-papier02.png.23ee9d788a1df126a143229dffbf2545.png

 

 

En pratique, on en est là, par apport au bicubique, à l'échelle 2 de l'original  :

 

Presse-papier04.png.10ed280657578d94e76cb0ab22a81783.png

 

Le graphe des FFT est éloquent (SPMC jaune, bicubique blanc) :

 

Graph_8.png.4a5e4b6c40f7ee6552b06c87a9c67715.png

 

Je vais voir avec l'auteur comment augmenter le nombre d'images empilées.

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

neb_def.png.05dfb9dd51c411e673dc5b6563ea488e.png

 

C'est pas plus net comme ça ? ¬¬

 

Share this post


Link to post
Share on other sites

 

 

il y a 29 minutes, ms a dit :

C'est pas plus net comme ça ?

 

Pour l'instant, il n'est pas question de tripoter la dynamique de rendu d'origine mais de déterminer l'amélioration de résolution SANS AUCUN RÉGLAGE , puisque l'on cause ici d'intelligence artificielle !

 

Share this post


Link to post
Share on other sites
Il y a 3 heures, polo0258 a dit :

 1.6 go compressé

 

Merci Polo, bien reçu ! :)

 

Les brutes sont verdâtres. Normal ?

 

Jup_004026_f0001.png.a2d49c4c45788fa5e20626f7ee12ba78.png

 

 

Tant qu'à tester les  possibilités de l'IA, je vais d'abord m'en servir pour ce truc  si j'arrive à le faire  fonctionner.

 

Share this post


Link to post
Share on other sites

tu chipotes jean ! on règle wr à 63 et wb à 99  ,on ne peut régler wv !! donc c'est un peu vert mais ça se corrige ensuite !

 

si j'ai compris ta manipulation , te te set d'une image de référence avec ton IA  donc le résultat final est un peu des deux ! comme celle de cérès OO

 

polo

Share this post


Link to post
Share on other sites
il y a 9 minutes, polo0258 a dit :

tu chipotes jean

 

Non, c'était juste pour vérifier si la débayerisation  par défaut de PIPP  entrait en jeu, je ne connais pas  bien ce soft, sauf pour extraire très occasionnellement les SER en PNG ou AVI.

 

il y a 13 minutes, polo0258 a dit :

 

si j'ai compris ta manipulation , te te set d'une image de référence avec ton IA  donc le résultat final est un peu des deux !

 

En fait, pas exactement :

Je montre au soft de belles images de tous genres y compris ou non astro (il me semble d(ailleurs que l'ajout des astros ne change à peu près rien à la chose) pour lui apprendre à quoi  ressemble une belle image , et après, il essaie de traiter automatiquement les prises astro selon le même style, comme tu le fais toi mais à la main.

 

Par ailleurs, je  crois avoir réussi à intéresser  Xin  (SMPC-video) à notre affaire, il va  me bidouiller des trucs pour mes essais :)

  • Like 1

Share this post


Link to post
Share on other sites

eva_1.png.e4df3419151bad96c1c0947fa5dd04a3.png

 

Un essai rapide à partir du fichier SER de polo qui montre le balayage (raw->denoise->deblur) des 100 premières trames via une grille de 32x32 pixels.

Un balayage des 86x100 trames conduirait après post-traitement (super résolution) à une image beaucoup plus détaillée.

Des essais restent à faire en fonction de différentes tailles de patchs 8x8, 16x16, 32x32, 64x64.

C'est pour le post-traitement que TensorFlow peut être très utile, en entrée j'ai 86 images que ce réseau va exploiter pour construire la meilleure image possible un peu comme notre ami chinois avec ses 3 images.
 

J'ai fait la même manip pour les 2 paquets de 100 trames suivants, la qualité des patchs est très variable comme le montre l'image qui suit où 1 et 3 sont globalement de meilleure qualité :

eva_1_2_3.thumb.png.21982307c23a2bd2d2a623ba0aa475ae.png

 

Citation

 

Tant qu'à tester les  possibilités de l'IA, je vais d'abord m'en servir pour ce truc  si j'arrive à le faire  fonctionner.

 

Ce truc ne traite que le bruit gaussien mais c'est déjà pas mal de commencer par celui-là.
Au bruit gaussien peuvent s'ajouter un bruit poissonnier, un bruit multiplicatif, ... c'est à dire un mélange de bruits.

Dans EVA, le mélange de bruits est traité localement au niveau du patch.

Pour le flou c'est un peu le même principe mais je suis moins avancé que pour le bruit.

Edited by ms

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now