Le film "Saturne du 6 août" (2017) par Polo retraité avec un réseau de neurones convolutifs

[Nebulium 462]

Il y a 4 heures, polo0258 a dit :

on voit bien les déformations sur une seule image  de la bande de Cassin

 

Oui Paul !

C'est le "hic" de la méthode !

D'ailleurs il pourrait être utile de trouver un moyen pour introduire la déformation planétaire géométrique dans la mesure de qualité (couplage avec Winjupos ?), ça faciliterait aussi le travail des points de placement.

Je me demande  même si Emil ne cogite pas là-dessus pour AS!4 à venir bientôt.

Edited February 10 by Nebulium

[CPI-Z 106]

Il y a 3 heures, Nebulium a dit :

"A" résulte de l'empilement AS!3 des 16 meilleures prises de Polo avec recalage automatique des couches par AS!3 puis RGX6.

A la main, avec FitsWork, je ne vois plus rien à faire. J'ai ensuite ajusté la balance (plus ou moins arbitrairement)

Je l'ai proposée  en version TIF 3x16 : satpol_c_30_16.tif et je la rajoute ci-dessous en PNG 3x8 bits :

 

L'image "A" satpol_c_30_16.tif TIF 3x16 est bien celle dont je suis parti . Avec l'autre "B" PNG 3x8 bits je ne peux rien faire avec IRIS (trop peu de dynamique).

[Nebulium 462]

Il y a 3 heures, CPI-Z a dit :

je ne peux rien faire avec IRIS (trop peu de dynamique).

 

Je vais revoir ça :

Voilà la version B1, en TIF 3x16 bits :

B1.tif

 

En refaisant la synthèse et de nouveau la balance, j'ai vérifié qu'effectivement le passage dans le CNN couche par couche donne  une normalisation 0-255 .

Je vais chercher sur le net si on peut  l'inhiber dans cette commande  ipython ou dans le code en amont:

 

"source": [
    "out_np = torch_to_np(net(net_input))\n",
    "q = plot_image_grid([np.clip(out_np, 0, 1), img_np], factor=16.5);"

]

Il me reste à éclaircir pourquoi j'ai dû modifier expérimentalement le "factor"  à 16.5 pour garder les dimensions d'origine et trouver comment paramétrer la commande "savefig" pour enregistrer directement les résultats.

Help !

Merci  

 

Pur l'instant, je m'initie aux "linked wavelets" de RGX6 (une invention de membres d'AS bien connus, J-J P t Elie R adoptée et implémentée par Cor) , ça m'a l'air diantrement puissant !

Edited February 10 by Nebulium

[CPI-Z 106]

Voici en retour en 2 versions png et tif:

B1-a.tif

je ne sais quoi dire, sinon que dans le B1.tif d'origine il y a des pixels à valeurs négatives

[Nebulium 462]

Merci CPI-Z

La main un peu lourde, non ?

 

il y a 42 minutes, CPI-Z a dit :

dans le B1.tif d'origine il y a des pixels à valeurs négatives

 

Hum, étrange !

Ni PxIn ni FW ne me le disent, et pour cause,  le TIF classique  3x16 ne possède pas de valeurs négatives.

Par contre Iris traite les 16 bits en 15 + signe, donc voir plutôt si l'importation se passe bien.

[CPI-Z 106]

Après vérification effectivement il n'y a pas de pixels négatifs. c'était une erreur de ma part.

[ms 301]

Citation

Après correction du décalage RGB dans l'image source de Polo :

 

 

Pour ce qui concerne l'empilage de 16 images, l'algorithme "centroid" devrait corriger un peu mieux la déformation observée à 8h sur la division de Cassini.
Il faudrait faire un essai avec les 16 images initiales bruitées comme dans l'exemple suivant :

 

Bon, pour que tout soit bien droit, il faudrait 2 à 3 fois plus d'images c'est à dire entre 30 et 50, ce qui correspond au moins dans le cas de Saturne à 5 minutes de vidéo assistée :

5min x 60s x 150fps / 1500img = 30 images.

 

Edited February 11 by ms

[Nebulium 462]

Hello

 

Voici les 16 meilleures triées et recentrées  par PIPP (critère par défaut)  :

http://dl.free.fr/iPEachAxZ

[ms 301]

C'est bien ce que je pensais :

 

 

 

Celle du haut c'est en sortie du centroïde et celle du bas c'est après dé-bruitage. Pour la balance des blancs, tu utilises quoi ?

C'est cool cette technique avec 16 trames, tu utilises le centroïde pour redresser les images puis tu empiles tes 16 images puis tu utilises un algorithme de dé-bruitage et dé-floutage à l'aveugle.
Sous CUDA cela prend moins de 1s pour obtenir l'image finale.

 

Avec le centroïde pas besoin de recentrer les 16 meilleures images brutes puisqu'il utilise le flot optique pour le faire :

 

 

Tiens, j'ai testé la qualité des images alignées avec mon algo de sélection (inférieur à 0,012) :

 

 

Edited February 11 by ms

[Nebulium 462]

il y a 43 minutes, ms a dit :

Pour la balance des blancs, tu utilises quoi ?

 

Les histogrammes selon expérience et contrôle à la pipette

Ajustage des seuils hauts pour obtenir un gris chaud sur la zone de mesure dans l'anneau.

 

 

Ensuite, si nécessaire, retouche de la saturation de couleur et/ou du gamma.

 

il y a 43 minutes, ms a dit :

je vais tester la qualité de tes 16 images avec mon algo de sélection.

 

Pipp propose aussi celui de Ninox, détail sur le site Acquerra

 

Edited February 11 by Nebulium

[ms 301]

J'ai cet algo qui à l'air de s'y rapprocher :

 

 

[Nebulium 462]

Un petit coup de lime encore ?

Mais comme l'impression d'un reste de chromatisme...

Et beaucoup d'eau à courir pour la finesse !

 

 

 

Avec bien plus d'images , on avait vu ça :

 

 

De g. à d. :

- 1er traitement Polo

-  Bidouille expérimentale avec un filtre neuronal éduqué  (trop ?) selon l'image à droite

- T1m du Pic, redimensionnée.

 

 

Et on passe à 8 images, maintenant ? 

Ou plutôt la super-résolution

 

Edited February 11 by Nebulium

[ValereL 2639]

On va plutôt passer a un post de trente pages nan ?

😀😆😉

[ms 301]

Celle du milieu avec un filtre un peu mieux éduqué pourrait être sympat.

Dans ce post, on voit déjà ce qu'il est possible d'obtenir avec 16 bonnes images brutes.

 

Citation

Ou plutôt la super-résolution

Je te posterai une version "Deep Image Prior" réalisée avec tensorflow-gpu à partir de tes 16 images brutes sélectionnées.
Cette approche sans apprentissage apporte plus de finesse et une correction correcte du bruit.

Je suis parti du modèle suivant pour la super résolution :

https://github.com/beala/deep-image-prior-tensorflow

 

Edited February 11 by ms

[Nebulium 462]

Il y a 6 heures, ValereL a dit :

On va plutôt passer a un post de trente pages nan ?

 

Oui, si on totalise toutes les pages  déjà consacrées à ce film de Polo    

Malheureusement, beaucoup d'images de celles éditées sur l'ancien fofo sont perdues 

 

Valère, je te fais une confidence privée :

Pour améliorer sensiblement tes images, change de caméra plutôt que de t'emm***er avec ces trucs dont l'intérêt principal est d'agiter surtout nos neurones 

 

Il y a 6 heures, ms a dit :

un filtre un peu mieux éduqué pourrait être sympa

 

L'apprentissage avec des images astro m'est apparue une fausse bonne idée.

Les trucs en aveugle me semblent plus sains, il y moins de risques d'influence. 

L'exemple ancien extrême repris  ci-dessus (je ne sais plus comment j'avais fait exactement, c'était un début) en témoigne.

 

 

Il y a 6 heures, ms a dit :

Je suis parti du modèle suivant pour la super résolution :

 

Merci pour le tuyau, si ça marche ça va me simplifier la vie !

 

Super, c'est OK,  j'ai 2.5 s par itération pour une image 256x256,  mais la GPU est inactive, il me faut revoir l'install de TF avec CUDA

Je laisse rouler ce soir, pour voir déjà l'enfant

Edited February 11 by Nebulium

[ValereL 2639]

Hein ? 😯

Quels trucs que je fais qui m'emmerdent ? Changer de caméra pour améliorer mes images ??! 

Je vais te faire moi aussi deux confidences, d'une changer de caméra n'améliorera rien du tout, c'est le faux espoir du débutant en imagerie ça !!! 😆

Et de deux vous n'aurez pas mieux que l'image que je vous ai proposé avec le traitement que j'utilise, le truc qui m'emmerde donc si j'ai bien compris ??!

A mon humble avis, ce ne sont pas mes trucs qui agitent vos neurones, c'est fort de café quand même ?! Je veux dire, je m'exprime assez peu avec des termes pseudo techniques pour épater la galerie, ...moi. 😀

[Nebulium 462]

Il y a 9 heures, ValereL a dit :

changer de caméra n'améliorera rien du tout

 

Au fil des années, l'amélioration des images a été due essentiellement aux progrès des capteurs donc des caméras.

Si la tienne est récente, ne te presse pas!

 

Il y a 9 heures, ValereL a dit :

le traitement que j'utilise, le truc qui m'emmerde donc si j'ai bien compris ??!

 

Toujours aussi soupe au lait , Valère !

Meuh non, il ne s'agit pas du truc que tu utilises, très bien d'ailleurs, mais de ces trucs d'IA à la mode dont il vaut mieux pas te préoccuper pour l'instant.

Et pour ce qui est d'épater la galerie, ça la ferait plutôt rigoler !

Tiens en avant-première de super-résolution, voici la dernière Saturne  (réduite aux 2/3 pour les besoins de la cause) en 5000 itérations :

 

 

Edited February 12 by Nebulium

[ValereL 2639]

Je ne sais pas de quoi tu me parles avec les trucs IA à la mode ??! Eh, oh, c'est Valère au bout du fil, pas ms. 

C'est quoi cette dernière image immonde ? C'est une plaisanterie ?! 

Je ne suis pas soupe au lait Jean, l'écrit est affreusement réducteur, nan, je suis plutôt interloqué en fait...Mais bon passons.

Pour les caméras, non, le progrès est bien plus notable sur le traitement que sur les capteurs depuis une dizaine d'années déjà, pour le planétaire.

Pour l'imagerie du ciel profond, OK, la sensibilité et le bruit de lecture d'aujourd'hui sont des arguments forts et permettent à des planeteux de faire du ciel profond sérieux avec des poses relativement courtes.

Mais en planétaire, et particulièrement en lunaire, on peut encore aujourd'hui n'y voir que du feu, si un gars expérimenté poste une image faite avec une DMK, Basler et cie.

[Nebulium 462]

Il y a 8 heures, ValereL a dit :

C'est quoi cette dernière image immonde ? C'est une plaisanterie ?!

 

Ce n'était qu'une image  en début de régénération, je viens de mettre la finale en  1er jus  

Toujours immonde ?

[ms 301]

Bien Neb et tu peux encore améliorer ton image (voir extrait du code suivant ) en 448x448 ou même 896x896 :

import tensorflow as tf
import numpy as np
import scipy.stats as st

# Name of image to upscale. Must be a dimxdim PNG.
image_name = "sat_polo_3.png"
dim = 448

def load_image(filename, dim):
    with open(image_name, 'rb') as f:
        raw_image = tf.image.decode_png(f.read())

    converted = tf.image.convert_image_dtype(
        raw_image,
        tf.float32,
        saturate=True
    )
    
    resized = tf.image.resize_images(
        images = converted,
        size = [dim, dim]
    )

    resized.set_shape((dim,dim,3))

    #blur = gblur(tf.expand_dims(resized, 0))
    blur = tf.expand_dims(resized, 0)

    return blur

...

 

Tu n'a pas à flouter l'image puisque celle que tu veux améliorer est déjà floutée (le fichier corrupt.png doit être l'image que tu veux améliorer).

Si tu veux faire de la super résolution X2 il faut doubler la variable dim (dim = 448*2).

 

Comme je l'avais indiqué précédemment, l'utilisation de "tensorflow-gpu" facilite pas mal la tâche.

D'autre part seuls numpy, scipy.stats et tensorflow sont nécessaires avec python (2 ou 3) bien sûr.  

 

J'ai fait un test sur "sat_polo_3.png" en x1 et x2, le résultat est bluffant (image beaucoup plus fine).

 

Avec les mêmes outils, tu peux aussi gérer le dé-bruitage, le dé-floutage, l'inpainting, ... il suffit de se plonger dans la doc de Tensorflow.

 

Enfin pour ceux qui n'ont pas de carte graphique, il existe le dispositif Intel® Movidius™ Myriad™ 2 qui se branche sur un port USB3, il supporte TensorFlow et Caffe :

 

C'est cool de faire tourner une application sous Ubuntu sur un RPi3 (ou similaire UDOO X86 ou mieux UDOO Bolt) avec un dispositif coûtant moins de 100 euros. 

Edited February 12 by ms

[Nebulium 462]

=> @ms

Merci pour ces infos, je vais pouvoir jouer plus efficacement avec le python.

Pour l'instant, je suis en train d'installer le TensorFlow- GPU.

 

Il y a 12 heures, ValereL a dit :

le progrès est bien plus notable sur le traitement que sur les capteurs depuis une dizaine d'années déjà, pour le planétaire

 

Et bien, justement, on essaie de continuer les progrès ici en impliquant l'IA .

Pas si simple...

 

On malaxe avec des milliers d'itérations cette image  de synthèse aléatoire :

 

 

avec celle-ci, selon un échange intelligent de pixels (?) :

 

 

pour en réduire le bruit et augmenter sa résolution apparente.

 

Au début, ça ressemble à ça (100 it.) :

 

 

et après 5000 it. :

 

 

Ceci est un 1er jus "par défaut".

ms dit que l'on peut faire bien mieux, je vais voir.

Mais surtout, ne me demande pas comment ça marche !

 

Edited February 12 by Nebulium

[ms 301]

J'ai mis l'image 896x896 (SR x2) à la même échelle que la tienne et avec le même nombre d'itérations :

 

Edited February 12 by ms

[ValereL 2639]

Sur mon téléphone, ça n'a pas l'air tip top non plus jean. 😉

ms, pour la nième, nième fois, ta dernière image ne relève pas d'une soi disante super résolution, elle n'apporte absolument rien, et qui plus est, elle est surtraitee. Si c'est un concours de surtraitement, faut le dire tout de suite hein, je peux faire pareil avec moins de bordels au niveau des algorithmes que ton usine à gaz !! 😆

Arrêtez de vous égarer les gars, il faut partir d'un quart du total d'images en gros ( un bon lot de 500-600 images ), vous obtiendrez ainsi la quantité d'infos optimale à faire sortir en douceur avec de l'ondelettes et pis c'est tout.

Le reste est de l'enfumage technologique de premier ordre.

Le problème ( insoluble ? ) est que tant que ms croira à la qualité de ses résultats, ça continuera encore pendant un bon bout de temps cette histoire !

 

[ValereL 2639]

Au fait Jean, c'est toi qui me parle d'IA dans le protocole de traitement, et tu me dis plus haut qu'il faut que je m'arrête de m'emmerder avec ça ??!! 😆😆

Tu as très certainement confondu avec quelqu'un d'autre, c'est pas possibe. 😀😆

[Nebulium 462]

il y a 51 minutes, ValereL a dit :

 tu me dis plus haut qu'il faut que je m'arrête de m'emmerder avec ça ??!!

 

Ben oui, puisqu'il me semble que tu ne croies pas que les méthodes d'IA  (par apprentissage et en aveugle) puissent faire mieux que les méthodes actuelles par empilement et filtrages classiques 

Pourtant quand tu utilises une animation pour percevoir des détails dans des bandes de Saturne bruitées, tu fais appel à ton cerveau (= intelligence naturelle). Avec l'IA on peut espérer  voir ces détails sur une image fixe.

 

Mais je voulais quand même te donner une idée du bazar.

On en reparlera dans 10 ans si mes neurones existent toujours, à mon âge ça craint !