Nebulium

Saturne traitée par CNN.

Recommended Posts

 

Hello :)

 

Ici, CNN est l'abréviation anglo-saxonne de "Convolutional Neural Networks", en français :
réseau de neurones convolutifs.


Pour en savoir plus sur ce sujet, c'est ici pour commencer.
Bon courage ! En ce qui me concerne, c'est bien au-dessus de mes capacités de comprenure.
Ce que j'ai quand même compris, c'est que ce schmilblick est utilisable pour les traitements d'images -suivez mon regard ;) - et que grâce aux publications de dévoués   chercheurs, on peut quand même jouer avec.


Généralement, ces réseaux utilisent un apprentissage à partir de bases de données d'images réelles de très bonne qualité pour ensuite débarrasser les images à traiter de leurs diverses corruptions.
Dans des fils antérieurs, par exemple , j'avais entrepris quelques essais avec des bonheurs divers, mes premiers résultats n'avaient pas de quoi casser trois pattes à un canard, il est vrai que je n'avais pas trop persisté, vu d'autres occupations.
Tout récemment, je suis tombé sur une publication fort bien présentée qui montrait comment utiliser ces réseaux  SANS APPRENTISSAGE à partir d' image aléatoires  automatiquement élaborées comme celles-ci, en trichrome et monochrome selon le cas de figure :

 

altri.png.9f77f9ee43c4745d7db015552d0bec13.pngAleamono.png.a141965ea5760ce88390cad912a03f67.png  

 

Ci-dessous, j'ai commencé simple, en monochrome, à partir d'une Saturne HST redimensionnée et décolorée (à gauche), copieusement corrompue (à droite) en la multipliant par la sortie d'un générateur  de bruit  aléatoire (au centre)  :

 

debut.png.cc76d12f8c2b4165718a1a55751ebf87.png

Credits: NASA/HST


En moulinant quelques milliers de fois  dans le CNN l'image corrompue avec l'image aléatoire, on obtient le résultat ci-dessous, où je ne vous dis pas où sont l'original de référence ( image à gauche ci-dessus) et le résultat :

 

fin.png.f813a21564062436832b579eee8cc390.png

 Credits: NASA/HST


Est-ce que ça intéresserait quelqu'un, ce truc ?

Moi oui, en tous cas :
En ce moment, je travaille sur la version trichrome pour application sur des films astro aimablement mis à disposition sur le fofo il y a quelque temps par qui vous savez ;) 

Et puis si je trouve un peu de temps, je monterai une animation montrant l'évolution du résultat au fur et à mesure du moulinage.

  • Like 5
  • Love 2

Share this post


Link to post
Share on other sites
Publicité
En vous inscrivant sur Astrosurf,
ce type d'annonce ne sera plus affiché.
Astronomie solaire : la bible est arrivée !
400 pages, plus de 800 illustrations !
Les commandes sont ouvertes sur www.astronomiesolaire.com

Original à droite je dirais, on a plus de nuances fines.

La technique a l'air intéressante, je suivrai ça avec intérêt.

Share this post


Link to post
Share on other sites

C'est bien joli, mais pour nos images à nous, qui fait l'image de référence ?

Des nouvelles de notre ami ?

  • Haha 2

Share this post


Link to post
Share on other sites

Jose et Alain, merci pour votre visite :)

 

Il y a 6 heures, ALAING a dit :

pour nos images à nous, qui fait l'image de référence

 

Dans l'exemple ci-dessus, l'image de référence est utilisée pour la promotion du procédé.

Pour nos images, on n'a justement pas besoin de référence, on injecte directement  des images brutes, en voici une (parmi les meilleures) brute unitaire extraite d'un film de Polo et son résultat débruité avec  1450 itérations .

 

Presse-papier01.png.89527dd85636525feccbdc5a9d34fadf.png

 

Indépendamment de la balance à ajuster,  on peut essayer d'évaluer le potentiel de cette image en matière d'accentuation comparativement à d'autres procédés de débruitage.

Mais déjà, on voit par exemple que la déformation de la brute par la turbulence instantanée est conservée.

Tiens, très vite fait :

 

Presse-papier02.png.7747df87d5b6396d04e3c211d03c7eb3.png

 

Et toujours vite fait un coup de balance pour ce qui  pourrait s'appeler un "lucky shot" :

 

 

0239_1450_4h.png.0e9fc46621d5b476233be750d1b179c3.png

Pas terrible, mais je sais comment faire mieux, en y mettant le temps ;)

 

 

 

Il y a 6 heures, ALAING a dit :

Des nouvelles de notre ami ?

 

Si on pense au même, je crains  qu'après les turbulences qu'il a subies dans le fofo, il ne s'en soit EVAnoui pour un bon bout de temps...

Dommage !:/

 

 

Edited by Nebulium
  • Haha 3

Share this post


Link to post
Share on other sites

 bonjour jean ! je suis tes essais avec intérêt ! :)

 polo

Share this post


Link to post
Share on other sites

Salut :)

 

Je m'abonne car les CNN c'est un truc qui m'intéresse au plus haut point, et c'est clair qu'il y aurait des applications à trouver en astro...

Du coup merci pour ces essais et les précédents !

 

Pas vraiment convaincu sur l'aspect "restitution de détails cachés", par contre pour une aide au tri des images, oui complètement.

 

Romain

  • Like 1

Share this post


Link to post
Share on other sites

Bonsoir Paul :)

 

Il y a 21 heures, polo0258 a dit :

je suis tes essais avec intérêt !

 

Merci Paul, je te contacterai bientôt pour des essais sur Mars

 

 

Bonsoir Romain, merci :)

 

Il y a 18 heures, Roch a dit :

Pas vraiment convaincu sur l'aspect "restitution de détails cachés"

 

En effet, ce n'est pas une méthode d'accentuation genre ondelettes ou FFT, encore moins déconvolution.

On peut même craindre que les détails fins cachés soient escamotés avec le bruit et il n'est pas sûr (ce que j'ai l'intention de vérifier) que débruiter avant d'empiler soit bénéfique.

 

Ce procédé  de débruitage utilisant les CNN sans apprentissage devrait permettre d'exploiter des prises sous-exposées pour cause de plus longue focale effective et/ou de temps de pose raccourci après empilement et accentuation pour améliorer l'esthétique en nettoyant le bruit résiduel sans casser les détails fins révélés.

 

Les auteurs proposent d'autres applications de traitement d'images, celles intéressantes pour l'astro concernent la super-résolution et une autre méthode de débruitage.

Mais pour les tester, il me faut bidouiller les programmes de démo publiés écrits en Python et je n'y connais rien, donc je modifie quelques paramètres par-ci par là souvent au hasard quand je ne sais pas à quoi ils correspondent.

Il me faut dire cependant que je viens de découvrir les propriétés la publication en *.ipynb  et donc que l’exécution avec le navigateur permet des manips interactives géniales, mais le langage est assez ésotérique, et les aides sur le net le sont souvent tout autant.

Par exemple, je n'ai pas (encore) réussi à sauver automatiquement une image "plot_image_grid "  dans le programme lui-même. Heureusement que c'est possible manuellement  par clic droit dans le navigateur avec "Enregistrer l'image".  

 

 

Edited by Nebulium
  • Like 1

Share this post


Link to post
Share on other sites
Citation

Des nouvelles de notre ami ?

J'ai un prototype embarqué qui tourne depuis le début du mois et qui ne consomme que 12W ¬¬ c'est 10 fois moins que le portable avec carte GTX 1050 Ti.

Ci-après un petit test fait sur la Lune, c'est la sixième image de la vidéo assistée (les autres sont à peu près de même qualité) :

 

6_v1.thumb.png.bebf8e6fbc587812627f1b6c94c93a8a.png

 

6_v2.thumb.png.03b49409c87952719d4cc101e1e3d88c.png

 

1: image brute

2: alignement et empilement (150 images consécutives)

3: dé-floutage
4: post-traitement

 

6_1_4.png.0919d2d931f34da538e00eef82d7875e.png

 

Edited by ms
  • Like 2

Share this post


Link to post
Share on other sites

Salut ms ! :)

 

Il y a 5 heures, ms a dit :

un prototype embarqué qui tourne depuis le début du mois

 

Ben voilà, les affaires repartent, bonne nouvelle, EVA m'a l'air d'être de meilleure humeur cette année et ne te ferait plus tourner en bourrique,  alors une bise  à EVA  :x !

 

Alors où en était-on ?

On attendait un bout de vidéo capturée en temps réel avec un lent déplacement sur la Lune  ?

Quelque chose comme la version temps réel de la partie droite de celle-ci...     Je rêve ?9_9

 

Tiens, et si on allait voir un peu le secteur avec cette météorite encore toute chaude ? B|

 

Au fait, ipython, tu dois connaître, toi, non ? ^_^

Edited by Nebulium

Share this post


Link to post
Share on other sites

Ha ha il nous suivait de loin le coquinou :)

  • Haha 2

Share this post


Link to post
Share on other sites

Ben, non je passe 1 fois par semaine. ¬¬

 

Pour en revenir à cette Saturne de Polo, en 4 étapes comme pour la Lune :

 

1.png.240b682f917e57fd3d91404e4c013f27.png

 

 

Citation

Au fait, ipython, tu dois connaître, toi, non ?

Oui mais je préfère C/C++ même si Python a le vent en poupe ces derniers mois.

Edited by ms

Share this post


Link to post
Share on other sites

Je commence juste ce type d'approche dans mon travail en microscopie. Il ya notamment une librairie keras dans python. Sinon j'ai laissé un message dans la zone coopération pro et amateur si cela vous intéresse. Je fait beaucoup de travail d'inversion. Mais en tout cas on comprend pas tout encore, mais pour le debruitage c'est assez efficace aux dernières nouvelles. 

Share this post


Link to post
Share on other sites
Il y a 2 heures, TMangeat a dit :

j'ai laissé un message dans la zone coopération pro et amateur

 

Hello :)

 

Je viens de  lire ce message.

Polo0258 (parmi d'autres) a ce qu'il te faut et il est très coopératif.

Je possède encore quelques films qu'il a publiés, dont le Saturne ci-dessus.

Donc affaire à suivre. !

Edited by Nebulium

Share this post


Link to post
Share on other sites
Il y a 13 heures, ms a dit :

Pour en revenir à cette Saturne de Polo, en 4 étapes

 

Il est vachement bon aux manettes de son scope, le Polo !

Et toi, ms, tu en as fait quoi exactement, de ce tournage, stp?

Un clonage par IA de la HST ?  B|

  • Like 1

Share this post


Link to post
Share on other sites
Citation

Et toi, ms, tu en as fait quoi exactement, de ce tournage, stp?

C'est traité par lots de 1500 images au lieu de 150 pour la lune. A 60fps pour la Lune et 100fps pour Saturne.
La planche représente un des lots cumulé.

 

Citation

On attendait un bout de vidéo capturée en temps réel avec un lent déplacement sur la Lune  ?

L'objectif c'est de faire un pano de 7600x7600 en balayant la lune quand les conditions le permettront.
En attendant, j'ai pris un morceau du pano réalisé par astroavani que j'ai agrandi 4 fois puis j'ai comparé à ma prise du 27/09/2018 pour avoir une idée de la taille et de la résolution finale (cliquer 2 fois dessus pour avoir la bonne taille) :

astroavani.thumb.jpg.e90615de50ea30005308e452de2a8eec.jpg

Edited by ms

Share this post


Link to post
Share on other sites
il y a une heure, ms a dit :

L'objectif c'est de faire un pano

 

Alors la vision en temps réel ce sera pour des temps meilleurs ?:(

EVA a été répudiée ?

Share this post


Link to post
Share on other sites

Non, le pano se fait automatiquement à partir des images de la vidéo assistée quand la vidéo est terminée. 
La vidéo assistée est en temps réel et la construction du pano ou d'une image HR prend quelques secondes :

 

http://gpu-vision.com/index.php/lune-du-27-09-2018/

Edited by ms

Share this post


Link to post
Share on other sites

Hello ms :)

 

Le 24/01/2019 à 21:04, ms a dit :

Pour en revenir à cette Saturne de Polo, en 4 étapes comme pour la Lune :

 

Bon en effet,  j'utilise ce film de Polo  sur lequel tu as aussi travaillé pour mon étude sur le débruitage  et autres traitements par les CNN  en mode "prior" sans apprentissage et j'aimerai pouvoir échanger sur ce sujet et si possible trouver de l'aide pour bidouiller des programmes écrits en  .ipynb

 

J'ai vu avec plaisir que tu ne boudais pas le fofo et aussi apprécié que tu nous fasses connaître l'état de tes divers travaux.

 

Ceci étant, je te remercie maintenant d'ouvrir un autre fil pour discuter de  tes affaires de  panos de Lune et autres, que je visiterai toujours avec intérêt, et pour commencer te dire ce que je pense de cette première vidéo longtemps attendue.

 

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

Hello :)

 

J'ai continué mon évaluation du débruitage par CNN, en travaillant couche par couche, après correction de la balance de la prise unique originale :

 

Couche R

restoration_0239R00_0001_4000_07.png.d58781b45506d20cb4114de9554abc4c.png

Couche V

restoration_0239G60_0001_4000_8_final.png.1763cfea448027ef2300776c2735e088.png

Couche B

restoration_0239B60_0001_4000_6_final.png.bfd407193e210c766a8db957786d3d44.png

 

Et en final :

Presse-papier01.png.0230b5816330b884471931b81e89e54b.png

 

De gauche à droite :

- Prise unitaire originale de Polo

- Réglage de la balance

- Synthèse RVB débruitée

- Accentuation (à fignoler...)

 

Je rappelle que ceci n'est qu'un exercice de test.

En pratique il convient d'empiler d'abord une sélection des meilleures images en acceptant un certain niveau de bruit, que l'on pourra éliminer ensuite  avant l'accentuation finale.

 

Donc manip à continuer sur ce même film de Polo pour comparaison du résultat final avec ceux obtenus par d'autres traiteurs, visibles dans un fil à retrouver.

 

 

 

Edited by Nebulium
  • Like 1

Share this post


Link to post
Share on other sites

bonjour Nebuliun

j'adore ce truc la... je suis l'affaire de près

mais peux t'il se faire avec une seule image  , en espérant avoir mieux en final ..... ?

Merci du partage 

Marc

Edited by belier1762

Share this post


Link to post
Share on other sites

Bonjour Marc :)

Merci pour ton intérêt dans cette affaire

Elle continue ici :

 

 

Le 31/01/2019 à 15:18, belier1762 a dit :

peux t'il se faire avec une seule image  , en espérant avoir mieux en final

 

Oui, bien sûr, et le procédé est à expérimenter sur des images du CP "mono"- shootées avec un APN à des dizaines de milliers d'ISO.

C'est à venir,  ici j'ai commencé par hasard avec du matériau que j'avais sous la main,  ou plutôt retrouvé dans un coin (ben oui, même s'il est rond ;)) du HDD, à savoir ce film de Polo qui avait déjà servi à beaucoup d('expérimentations 

Share this post


Link to post
Share on other sites

Bonsoir, ce qui me gêne un peu dans cette technique c'est que "l'apprentissage" se fait à partir des meilleures images réalisées. Or, au bout du compte pourquoi pas carrément substituer.. (je trolle un peu).

Non, mais cette technique pourra peut être effacer les défauts du tube....ou les tempêtes sur Saturne!

Edited by chinois02

Share this post


Link to post
Share on other sites
Il y a 21 heures, chinois02 a dit :

c'est que "l'apprentissage" se fait à partir des meilleures images réalisées.

 

Hello  :)

A vrai dire, il n'y a pas d'apprentissage du tout. Ce serait plutôt de l'imagination -bridée, certes-.

Ce bazar part d'une image aléatoire synthétique comme montrée plus haut.

Il la malaxe avec l'image bruitée par itérations successives  ( il en faut quelques milliers) dans le réseau selon une méthode à laquelle je n'ai absolument rien compris, sauf peut-être que ça imiterait un cerveau qui petit à petit arriverait à faire abstraction du bruit (évidemment aléatoire) pour aboutir' à une image dont les structures  fines sont  cohérentes et donc recevables, en quelque sorte comme au bon vieux  temps de la TV analogique , où passionné par le programme, on oublie de voir le bruit.

Les résultats successifs donnés avec des mesures de PNSR s'améliorent lentement vers un asymptote.

Je pourrai en faire un GIF animé un de ces jours si mes  essais astro  s'avèrent probants, ce qui n'est pas encore le cas.

Pour le débruitage-restoration, j'ai dû laisser de côté  l'option RGB  (modèle "kate") pour revenir à la monochrome (modèle "barbara")

Les traitements sont longs : Avec un portable de l'an dernier équipé d'un i7 et d'une GPU  Nvidia  940MX que par miracle j'ai réussi à mettre au boulot, sur une image monochrome  512x512, on tourne à 1000 itérations /h.

Je pense faire la 1ère synthèse ce soir.

 

La théorie est ici, accrochez-vous ! 

Ce document une fois digéré (la cuisine est russe, alors la vodka peut aider... ¬¬), vous pouvez passer à celui-là.

Bon courage ! :)

 

Et si quelqu'un peut expliquer  en français de M. Toulemonde, merci  ! :)

 

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now