Nebulium

Le film "Saturne du 6 août" (2017) par Polo retraité avec un réseau de neurones convolutifs

Recommended Posts

Il y a 4 heures, polo0258 a dit :

on voit bien les déformations sur une seule image  de la bande de Cassin

 

Oui Paul !

C'est le "hic" de la méthode !

D'ailleurs il pourrait être utile de trouver un moyen pour introduire la déformation planétaire géométrique dans la mesure de qualité (couplage avec Winjupos ?), ça faciliterait aussi le travail des points de placement.

Je me demande  même si Emil ne cogite pas là-dessus pour AS!4 à venir bientôt.

Edited by Nebulium

Share this post


Link to post
Share on other sites
Publicité
En vous inscrivant sur Astrosurf,
ce type d'annonce ne sera plus affiché.
Astronomie solaire : la bible est arrivée !
400 pages, plus de 800 illustrations !
Les commandes sont ouvertes sur www.astronomiesolaire.com
Il y a 3 heures, Nebulium a dit :

"A" résulte de l'empilement AS!3 des 16 meilleures prises de Polo avec recalage automatique des couches par AS!3 puis RGX6.

A la main, avec FitsWork, je ne vois plus rien à faire. J'ai ensuite ajusté la balance (plus ou moins arbitrairement)

Je l'ai proposée  en version TIF 3x16 : satpol_c_30_16.tif et je la rajoute ci-dessous en PNG 3x8 bits :

 

L'image "A" satpol_c_30_16.tif TIF 3x16 est bien celle dont je suis parti . Avec l'autre "B" PNG 3x8 bits je ne peux rien faire avec IRIS (trop peu de dynamique).

Share this post


Link to post
Share on other sites
Il y a 3 heures, CPI-Z a dit :

je ne peux rien faire avec IRIS (trop peu de dynamique).

 

Je vais revoir ça :

Voilà la version B1, en TIF 3x16 bits :

B1.tif

 

En refaisant la synthèse et de nouveau la balance, j'ai vérifié qu'effectivement le passage dans le CNN couche par couche donne  une normalisation 0-255 .

Je vais chercher sur le net si on peut  l'inhiber dans cette commande  ipython ou dans le code en amont:

 


"source": [
    "out_np = torch_to_np(net(net_input))\n",
    "q = plot_image_grid([np.clip(out_np, 0, 1), img_np], factor=16.5);"

]

Il me reste à éclaircir pourquoi j'ai dû modifier expérimentalement le "factor"  à 16.5 pour garder les dimensions d'origine et trouver comment paramétrer la commande "savefig" pour enregistrer directement les résultats.

Help !

Merci  :)

 

Pur l'instant, je m'initie aux "linked wavelets" de RGX6 (une invention de membres d'AS bien connus, J-J P t Elie R adoptée et implémentée par Cor) , ça m'a l'air diantrement puissant !

Edited by Nebulium

Share this post


Link to post
Share on other sites

Voici en retour en 2 versions png et tif:

B1-a.png.0c2fc284246e3f717c294c0871f3c5ec.png

B1-a.tif

je ne sais quoi dire, sinon que dans le B1.tif d'origine il y a des pixels à valeurs négatives

Share this post


Link to post
Share on other sites

Merci CPI-Z :)

La main un peu lourde, non ? ;)

 

il y a 42 minutes, CPI-Z a dit :

dans le B1.tif d'origine il y a des pixels à valeurs négatives

 

Hum, étrange !

Ni PxIn ni FW ne me le disent, et pour cause,  le TIF classique  3x16 ne possède pas de valeurs négatives.

Par contre Iris traite les 16 bits en 15 + signe, donc voir plutôt si l'importation se passe bien.

Share this post


Link to post
Share on other sites

Après vérification effectivement il n'y a pas de pixels négatifs. c'était une erreur de ma part.

Share this post


Link to post
Share on other sites
Citation

Après correction du décalage RGB dans l'image source de Polo : :)

 

sat_polo_2.png.aed1e2e25c79fecb7d5d72c262f5f813.png

 

Pour ce qui concerne l'empilage de 16 images, l'algorithme "centroid" devrait corriger un peu mieux la déformation observée à 8h sur la division de Cassini.
Il faudrait faire un essai avec les 16 images initiales bruitées comme dans l'exemple suivant :

5c613524527e4_Capturedu2019-02-1109-39-22.png.cf8d58c7e4b8200134a6874e9b15feb8.png

 

Bon, pour que tout soit bien droit, il faudrait 2 à 3 fois plus d'images c'est à dire entre 30 et 50, ce qui correspond au moins dans le cas de Saturne à 5 minutes de vidéo assistée :

5min x 60s x 150fps / 1500img = 30 images.

 

Edited by ms

Share this post


Link to post
Share on other sites

C'est bien ce que je pensais : :)

 

satpol.png.d20e0e55f5099089309464b69bac8b42.png

 

satpol_4.png.1954547a192bd30b10ee3b0479363ffc.png

 

Celle du haut c'est en sortie du centroïde et celle du bas c'est après dé-bruitage. Pour la balance des blancs, tu utilises quoi ?

C'est cool cette technique avec 16 trames, tu utilises le centroïde pour redresser les images puis tu empiles tes 16 images puis tu utilises un algorithme de dé-bruitage et dé-floutage à l'aveugle.
Sous CUDA cela prend moins de 1s pour obtenir l'image finale.

 

Avec le centroïde pas besoin de recentrer les 16 meilleures images brutes puisqu'il utilise le flot optique pour le faire : :)

 

5c6150bbbdc38_Capturedu2019-02-1111-38-21.png.f3ee1b6b4e0b4e5258af520560e6ab37.png

 

Tiens, j'ai testé la qualité des images alignées avec mon algo de sélection (inférieur à 0,012) : ¬¬

 

quality.png.72268cf102e21b0e2e9e3665e6b8be30.png

 

Edited by ms

Share this post


Link to post
Share on other sites
il y a 43 minutes, ms a dit :

Pour la balance des blancs, tu utilises quoi ?

 

Les histogrammes selon expérience et contrôle à la pipette

Ajustage des seuils hauts pour obtenir un gris chaud sur la zone de mesure dans l'anneau.

 

Presse-papier01.png.63684bec889fe3a8b670bc9a94588468.png

 

Ensuite, si nécessaire, retouche de la saturation de couleur et/ou du gamma.

 

il y a 43 minutes, ms a dit :

je vais tester la qualité de tes 16 images avec mon algo de sélection.

 

Pipp propose aussi celui de Ninox, détail sur le site Acquerra

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

J'ai cet algo qui à l'air de s'y rapprocher :

 

satpol_5.png.e040c5d3b8b493a7f1a522e2f1623ffb.png

 

Share this post


Link to post
Share on other sites

Un petit coup de lime encore ?

Mais comme l'impression d'un reste de chromatisme...

Et beaucoup d'eau à courir pour la finesse !

 

satpol_5_3.png.ed229685a1cbaf75d1e53a85cb1f9a21.png

 

 

Avec bien plus d'images , on avait vu ça :

 

SatPoloI1.png

 

De g. à d. :

- 1er traitement Polo

-  Bidouille expérimentale avec un filtre neuronal éduqué  (trop ?) selon l'image à droite

- T1m du Pic, redimensionnée.

 

 

Et on passe à 8 images, maintenant ? B|

Ou plutôt la super-résolution :)

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

On va plutôt passer a un post de trente pages nan ?

😀😆😉

  • Haha 3

Share this post


Link to post
Share on other sites

Celle du milieu avec un filtre un peu mieux éduqué pourrait être sympat. :)

Dans ce post, on voit déjà ce qu'il est possible d'obtenir avec 16 bonnes images brutes.

 

Citation

Ou plutôt la super-résolution

Je te posterai une version "Deep Image Prior" réalisée avec tensorflow-gpu à partir de tes 16 images brutes sélectionnées.
Cette approche sans apprentissage apporte plus de finesse et une correction correcte du bruit.

Je suis parti du modèle suivant pour la super résolution :

https://github.com/beala/deep-image-prior-tensorflow

 

Edited by ms

Share this post


Link to post
Share on other sites
Il y a 6 heures, ValereL a dit :

On va plutôt passer a un post de trente pages nan ?

 

Oui, si on totalise toutes les pages  déjà consacrées à ce film de Polo  :D :D :D

Malheureusement, beaucoup d'images de celles éditées sur l'ancien fofo sont perdues :o

 

Valère, je te fais une confidence privée :

Pour améliorer sensiblement tes images, change de caméra plutôt que de t'emm***er avec ces trucs dont l'intérêt principal est d'agiter surtout nos neurones 9_9


 

Il y a 6 heures, ms a dit :

un filtre un peu mieux éduqué pourrait être sympa

 

L'apprentissage avec des images astro m'est apparue une fausse bonne idée.

Les trucs en aveugle me semblent plus sains, il y moins de risques d'influence. 

L'exemple ancien extrême repris  ci-dessus (je ne sais plus comment j'avais fait exactement, c'était un début) en témoigne.

 

 

Il y a 6 heures, ms a dit :

Je suis parti du modèle suivant pour la super résolution :

 

Merci pour le tuyau, si ça marche ça va me simplifier la vie !

 

Super, c'est OK,  j'ai 2.5 s par itération pour une image 256x256,  mais la GPU est inactive, il me faut revoir l'install de TF avec CUDA

Je laisse rouler ce soir, pour voir déjà l'enfant

Edited by Nebulium
  • Like 1
  • Confused 1

Share this post


Link to post
Share on other sites

Hein ? 😯

Quels trucs que je fais qui m'emmerdent ? Changer de caméra pour améliorer mes images ??! O.o

Je vais te faire moi aussi deux confidences, d'une changer de caméra n'améliorera rien du tout, c'est le faux espoir du débutant en imagerie ça !!! 😆

Et de deux vous n'aurez pas mieux que l'image que je vous ai proposé avec le traitement que j'utilise, le truc qui m'emmerde donc si j'ai bien compris ??!

A mon humble avis, ce ne sont pas mes trucs qui agitent vos neurones, c'est fort de café quand même ?! Je veux dire, je m'exprime assez peu avec des termes pseudo techniques pour épater la galerie, ...moi. 😀

Share this post


Link to post
Share on other sites
Il y a 9 heures, ValereL a dit :

changer de caméra n'améliorera rien du tout

 

Au fil des années, l'amélioration des images a été due essentiellement aux progrès des capteurs donc des caméras.

Si la tienne est récente, ne te presse pas!

 

Il y a 9 heures, ValereL a dit :

le traitement que j'utilise, le truc qui m'emmerde donc si j'ai bien compris ??!

 

Toujours aussi soupe au lait , Valère !

Meuh non, il ne s'agit pas du truc que tu utilises, très bien d'ailleurs, mais de ces trucs d'IA à la mode dont il vaut mieux pas te préoccuper pour l'instant.

Et pour ce qui est d'épater la galerie, ça la ferait plutôt rigoler !

Tiens en avant-première de super-résolution, voici la dernière Saturne  (réduite aux 2/3 pour les besoins de la cause) en 5000 itérations :

 

5000_pupper.png.6a8ea413c84627d19576bcbe12ab05c4.png

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

Je ne sais pas de quoi tu me parles avec les trucs IA à la mode ??! Eh, oh, c'est Valère au bout du fil, pas ms. O.o

C'est quoi cette dernière image immonde ? C'est une plaisanterie ?! O.o

Je ne suis pas soupe au lait Jean, l'écrit est affreusement réducteur, nan, je suis plutôt interloqué en fait...Mais bon passons.

Pour les caméras, non, le progrès est bien plus notable sur le traitement que sur les capteurs depuis une dizaine d'années déjà, pour le planétaire.

Pour l'imagerie du ciel profond, OK, la sensibilité et le bruit de lecture d'aujourd'hui sont des arguments forts et permettent à des planeteux de faire du ciel profond sérieux avec des poses relativement courtes.

Mais en planétaire, et particulièrement en lunaire, on peut encore aujourd'hui n'y voir que du feu, si un gars expérimenté poste une image faite avec une DMK, Basler et cie.

Share this post


Link to post
Share on other sites
Il y a 8 heures, ValereL a dit :

C'est quoi cette dernière image immonde ? C'est une plaisanterie ?!

 

Ce n'était qu'une image  en début de régénération, je viens de mettre la finale en  1er jus :) 

Toujours immonde ? ;)

Share this post


Link to post
Share on other sites

Bien Neb et tu peux encore améliorer ton image (voir extrait du code suivant ) en 448x448 ou même 896x896 :

import tensorflow as tf
import numpy as np
import scipy.stats as st

# Name of image to upscale. Must be a dimxdim PNG.
image_name = "sat_polo_3.png"
dim = 448

def load_image(filename, dim):
    with open(image_name, 'rb') as f:
        raw_image = tf.image.decode_png(f.read())

    converted = tf.image.convert_image_dtype(
        raw_image,
        tf.float32,
        saturate=True
    )
    
    resized = tf.image.resize_images(
        images = converted,
        size = [dim, dim]
    )

    resized.set_shape((dim,dim,3))

    #blur = gblur(tf.expand_dims(resized, 0))
    blur = tf.expand_dims(resized, 0)

    return blur

...

 

Tu n'a pas à flouter l'image puisque celle que tu veux améliorer est déjà floutée (le fichier corrupt.png doit être l'image que tu veux améliorer).

Si tu veux faire de la super résolution X2 il faut doubler la variable dim (dim = 448*2).

 

Comme je l'avais indiqué précédemment, l'utilisation de "tensorflow-gpu" facilite pas mal la tâche.

D'autre part seuls numpy, scipy.stats et tensorflow sont nécessaires avec python (2 ou 3) bien sûr.  

 

J'ai fait un test sur "sat_polo_3.png" en x1 et x2, le résultat est bluffant (image beaucoup plus fine). :)

 

Avec les mêmes outils, tu peux aussi gérer le dé-bruitage, le dé-floutage, l'inpainting, ... il suffit de se plonger dans la doc de Tensorflow.

 

Enfin pour ceux qui n'ont pas de carte graphique, il existe le dispositif Intel® Movidius™ Myriad™ 2 qui se branche sur un port USB3, il supporte TensorFlow et Caffe :

5c627ffcd79f6_Capturedu2019-02-1209-12-11.png.6faa957071382e77ced23885c4488734.png

 

C'est cool de faire tourner une application sous Ubuntu sur un RPi3 (ou similaire UDOO X86 ou mieux UDOO Bolt) avec un dispositif coûtant moins de 100 euros. ¬¬

Edited by ms

Share this post


Link to post
Share on other sites

=> @ms

Merci pour ces infos, je vais pouvoir jouer plus efficacement avec le python.

Pour l'instant, je suis en train d'installer le TensorFlow- GPU.

 

Il y a 12 heures, ValereL a dit :

le progrès est bien plus notable sur le traitement que sur les capteurs depuis une dizaine d'années déjà, pour le planétaire

 

Et bien, justement, on essaie de continuer les progrès ici en impliquant l'IA .

Pas si simple...

 

On malaxe avec des milliers d'itérations cette image  de synthèse aléatoire :

 

0_pupper.png.fa026092ead6c6a3888a4a817803b935.png

 

avec celle-ci, selon un échange intelligent de pixels (?) :

 

corrupt.png.ce48e48ad7e1d844d21b222e05c28723.png

 

pour en réduire le bruit et augmenter sa résolution apparente.

 

Au début, ça ressemble à ça (100 it.) :

 

100_pupper.png.0b89541ed18e0a599ca79651b36f8e92.png

 

et après 5000 it. :

 

5000_pupper.png.68575fb35a4d78076bb92fdda3202391.png

 

Ceci est un 1er jus "par défaut".

ms dit que l'on peut faire bien mieux, je vais voir.

Mais surtout, ne me demande pas comment ça marche ! :)

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

J'ai mis l'image 896x896 (SR x2) à la même échelle que la tienne et avec le même nombre d'itérations :

 

5000_sat_eva.png.c71b7e68dd9b684626246dd528d7d59e.png

Edited by ms

Share this post


Link to post
Share on other sites

Sur mon téléphone, ça n'a pas l'air tip top non plus jean. 😉

ms, pour la nième, nième fois, ta dernière image ne relève pas d'une soi disante super résolution, elle n'apporte absolument rien, et qui plus est, elle est surtraitee. Si c'est un concours de surtraitement, faut le dire tout de suite hein, je peux faire pareil avec moins de bordels au niveau des algorithmes que ton usine à gaz !! 😆

Arrêtez de vous égarer les gars, il faut partir d'un quart du total d'images en gros ( un bon lot de 500-600 images ), vous obtiendrez ainsi la quantité d'infos optimale à faire sortir en douceur avec de l'ondelettes et pis c'est tout.

Le reste est de l'enfumage technologique de premier ordre.

Le problème ( insoluble ? ) est que tant que ms croira à la qualité de ses résultats, ça continuera encore pendant un bon bout de temps cette histoire !

 

  • Like 1

Share this post


Link to post
Share on other sites

Au fait Jean, c'est toi qui me parle d'IA dans le protocole de traitement, et tu me dis plus haut qu'il faut que je m'arrête de m'emmerder avec ça ??!! 😆😆

Tu as très certainement confondu avec quelqu'un d'autre, c'est pas possibe. 😀😆

Share this post


Link to post
Share on other sites
il y a 51 minutes, ValereL a dit :

 tu me dis plus haut qu'il faut que je m'arrête de m'emmerder avec ça ??!!

 

Ben oui, puisqu'il me semble que tu ne croies pas que les méthodes d'IA  (par apprentissage et en aveugle) puissent faire mieux que les méthodes actuelles par empilement et filtrages classiques ;)

Pourtant quand tu utilises une animation pour percevoir des détails dans des bandes de Saturne bruitées, tu fais appel à ton cerveau (= intelligence naturelle). Avec l'IA on peut espérer  voir ces détails sur une image fixe.

 

Mais je voulais quand même te donner une idée du bazar.

On en reparlera dans 10 ans si mes neurones existent toujours, à mon âge ça craint !

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now