Super-résolution en "apprentissage profond" : Essais sur Mars

[Nebulium 1 436]

Hello

 

Les prémisses de ce fil sont ici.

 il faut trier un peu, ça part dans tous les sens !

 

L'apprentissage profond (en anglais "Deeplearning") concerne les applications d'intelligence artificielle, dans le vent actuellement et certainement encore plus dans le futur !.
La documentation sur le sujet est abondante, je cite ce lien par exemple, qui résume la chose et peut aussi servir pour ceux qui voudraient mettre les mains dans le cambouis.

J'ai voulu voir ce que que ça donnait en ce moment (ça évolue très vite !) en astrophotographie.
ll faut savoir que les moyens actuels permettent aux astrams qui le souhaitent de tirer le maximum de leurs prises (peine que ne prennent pas les smartphotographieurs en général), les limites physiques en résolution étant principalement imposées par le diamètre de l'instrument réputé de qualité optique correcte.
Pour l'instant, on ne voit pas très bien comment des moyens automatiques pourraient faire mieux, quand tous les réglages de prise de vue ont été faits correctement (échantillonnage spatial, linéarité, etc).
Par contre des progrès sont toujours à attendre pour combattre les conditions externes ennemies de l'astram : turbulence, défauts optiques, qualité du capteur,  et même les erreurs de l'astram : mise au point, bougé, etc, les limitations dans l'amélioration seront principalement dues à l'incontournable bruit.  Ce qu'il faut éviter absolument ce sont les non-linéarités, irrécupérables.

Et aussi, certains apprécieraient un post-traitement de leurs prises "tout en aveugle" !  

 

Le principe est d'utiliser une base de données d'images réputées excellentes à tous points de vue (= dataset)
Pour des raisons diverses (droits d'auteur, confidentialité, etc.) ces bases de données sont rarement publiques, mais on en trouve sur le net.
Des réseaux neuroniques entraînés selon l'un ou l'autre de ces dataset sont parfois publiés, sous forme de fichiers associés à des logiciels de traitement dédiés.
Ces dataset concernent les diverses formes de photo classique.
Certains sites  permettent de se fabriquer ses propres réseaux pré-entraînés et de les utiliser comme les réseaux  généralistes pour faire des traitements de netteté, de débruitage et d'agrandissement 2x et 4x en super-résolution.

Ces traitements essaient de faire ressembler l'image de départ à une synthèse robotisée des images de référence, et en astro il faut trouver la limite de ce qui n'est plus véridique, on ne fait que débuter  dans ce domaine !
Et quand on est béotien  en informatique comme moi, on essaie de s'instruire, grâce au net .

 

Pour le rendu des détails on peut avoir une idée de l'asymptote des traitements par comparaison avec les images des gros scopes publiées sur le net (soigneusement redimensionnées) et en jouant avec ce bon vieux mais toujours d'actualité Aberrator.

 

Pour ces premiers essais, j'ai trouvé dans un fil de Christophe P consacré à Billyjoe (Yann), que je remercie d'avance de me permettre d'utiliser ses images, une très belle vue de Mars :

 

 

Alors pourquoi vouloir  "l'améliorer" ? Et bien, juste pour voir, pour commencer avec une déjà excellente image pour moi (on continuera plus tard avec les bouses), ce qu'apporte tout ce bazar d'IA.

Pour la comparaison des résultats, j'ai trouvé une vue de Mars au HST en 2016
qui  correspond assez bien à la prise de Yann, à redimensionner en 17%
 et une autre en 2001 un peu plus décalée en latitude mais bien exploitable aussi pour valider des détails.

 

Pour appliquer les traitements IA à l'image de Yann  (j'aimerais bien pouvoir partir ensuite aussi de l'empilement non traité, merci Yann, si tu passes par là ), je propose trois méthodes, noter que les sites cités ci-dessous ne sont pas exclusifs :

- 1. Les sites "one drop" :
On leur jette simplement une image, ils renvoient le résultat.

a) Le plus simple : http://phancer.com/
Cliquer sur "UPLOAD YOUR OWN", faire glisser l'image dans la case "Select picture", sans s'occuper des histoires de smartphones.
Ce site permet aussi de jouer dans la catégorie 3 ci-dessous, mais pas avec un PC, je vous laisse l'explorer

b) Plus technique : https://blog.deepsense.ai/using-deep-learning-for-single-image-super-resolution/
Pour des images de taille  > 128x128, il faut bidouiller :
Découper l'original (ici 256x256) en tuiles128x128 se chevauchant, les jeter une par une, on les récupère traitées et agrandies 4x, les assembler (j'ai utilisé ICE) et  redimensionner  l'assemblage en 25%

2. Les sites "Réseau prétraité et logiciel d'application"

a) http://webdav.tuebingen.mpg.de/pixel/enhancenet/
Il faut télécharger "Pre-trained model (zip)" et avoir un  "Python" dans sa bécane.

Pour un simple essai de béotien, je conseille "Winpython", c'est ensuite facile à faire, je peux dire comment si ça intéresse quelqu'un.

b) https://github.com/alexjc/neural-enhance
Très technique et pas évident pour les non-informaticiens, projet apparemment en rade, j'en parle abondamment dans le fil des prémisses.

Mais il ouvre la porte vers la catégorie 3 :

3.  Sites "Réseau personnalisé et logiciel d'application"

a) https://github.com/alexjc/neural-enhance

J'ai constitué un micro-dataset avec trois images HST de Mars (différente de celle de Yann, pour débusquer un risque de clonage) Jupiter, Saturne :

 

 

 

Pour éduquer le modèle, je me suis limité à 10 itérations (une longue nuit d'hiver !) au lieu des 250 préconisées, mais c'est déjà parlant!

b) http://phancer.com/
Seulement pour certains smartphones  !

Alors voici les résultats (cliquer plusieurs fois dans l'image jusqu'à obtenir l'affichage 100%) :

 

 

 

De gauche à droite :
Haut :
1 L'original de Yann
2 Traitement 1a
3 Traitement 1b
4 Traitement 2a
5 Traitement 2b, avec  le réseau proposé par défaut
6  Traitement 3, avec réseau personnalisé astro rudimentaire

 

A l'oeil, pour moi, la 4 mène la course ! Elle  s'en sort bien mieux que les autres pour les Fs > 0.3

 

Au centre :

7  L'image HST en 17 %
8  Simple reprise en FFT 2D de la 4 alignée (à un petit coup de pouce près )

 

En bas, les FFT  :
1  Gris
4 Jaune
7 Rouge
8 Magenta

Pour l'instant, sauf erreur, l'apprentissage profond ne mène pas directement au meilleur résultat final mais peut y contribuer de manière importante.
WebDav mérite d'être suivi de près. Il propose par ailleurs des dataset de très haute qualité.
Contacté au sujet de la possibilité de la création d'un réseau personnalisé, l'auteur m'a répondu :
"We are currently not planning to release training code"

Il reste à faire le plus important : tester sur des empilements bruts et les autres planètes.

PS:  Pour en savoir plus sur la super-résolution, vous pouvez parcourir les messages de "ms" sur les divers forums d'Astrosurf et visiter régulièrement son site  EVA  

Modifié 29 janvier 2018 par Nebulium

[CAZILHAC Robert 674]

Post très intéressant  qui prouve que l'imagerie planétaire  n'a pas fini de nous surprendre !

Et pour les images du ciel  profond  !!!!   :-)

 

[polo0258 38 353]

bonjour et bravo jean pour tes essais  !

je ne sais que penser de ces essais ! ,car si tu prends une Mars proche du hst proche de l(image de départ  ,l 'IA risque de faire une moyenne des 2 images et cela n'aura plus rien à voir azvec une amélioration de la définition !

polo

 

[Christophe Pellier 8 854]

Hello

Je viens faire encore mon rabat joie  mais à part des artefacts... ces traitements n'apportent rien. Il n'y a que la 3 et la 6 qui ressemblent à des images correctement traitées et on n'y voit pas plus de détails  

Déjà, partir d'une image qu'on peut considérée comme parfaite dans les conditions de prise de vue qui ont été les siennes, offre sans doute peu de marges de manoeuvre. Il faudrait peut-être partir de l'image non traitée.

[-ms- 2]

Une petite simulation à partir de l'image du HST fourni par Neb :

a) à gauche l'image d'Hubble

b) au milieu l'image que l'on peut obtenir en vidéo assistée avec EVA ou avec d'autres méthodes

c) à droite l'apport de TensorFlow avec un algorithme type EnhanceNet ou NeuralEnhance

 

 

Ce n'est pas encore parfaitement au point mais cela donne déjà une idée du post-traitement de super résolution avec TensorFlow d'une vidéo obtenue avec EVA.

Il ne faut pas perdre de vue l'essentiel : la détection du capteur, ce n'est qu'à partir d'une estimation fiable du bruit que l'on peut espérer (pour un capteur donné) accéder à ces détails que l'intelligence artificielle ne peut fabriquer. A défaut d'obtenir directement le signal, il faut détecter dans une rafale d'images un nombre suffisant de zones homogènes de bruit. La super résolution révélera par la suite des détails existant dans la vidéo comme dans l'image de droite.

Il doit même être possible d'intégrer la super résolution à la vidéo assistée d'EVA en faisant un apprentissage par domaine (astro, médecine, surveillance, ...). Il y a l'équivalent de TensorFlow chez Nvidia (TensorRT3 est 18 fois plus rapide) ou dans ArrayFire ce qui permet d'intégrer ce type de moteur directement en langages C/C++, c'est plus rapide que Python. Pour la super résolution, je ne parle pas à partir d'une image mais d'une vidéo.

Modifié 29 janvier 2018 par ms

[ALAING 58 805]

Whaou ! Mieux que Hubble avec nos p'tits scopes terrestres !

J' en veux

[-ms- 2]

Le jour où depuis ton jardin, tu vois cela à l'écran ou en réalité virtuelle ... et ce jour là, approche.

Modifié 29 janvier 2018 par ms

[Kaptain 5 875]

J’ai toujours ce vieux doute par rapport à tous ces tripatouillages informatiques : obtient-on au final une image réelle ou une image « vraisemblable » ?  La réponse me semble plus qu’ambigüe… 

[Christophe Pellier 8 854]

Il y a 2 heures, ms a dit :

c) à droite l'apport de TensorFlow avec un algorithme type EnhanceNet ou NeuralEnhance

 

La finesse apparente de cette image est complètement fictive... il faut relire ma présentation sur l'objectivité du traitement planétaire. Je dis ça...

[Masmich 557]

il y a une heure, Kaptain a dit :

J’ai toujours ce vieux doute par rapport à tous ces tripatouillages informatiques : obtient-on au final une image réelle ou une image « vraisemblable » ?  La réponse me semble plus qu’ambigüe…

 

Idem....

[-ms- 2]

Sur une seule image comme ici c'est quasiment improbable mais sur une rafales d'images dont le bruit aura été correctement estimé (comme ce sera le cas avec EVA), ce type d'algorithme apportera quelque chose car chaque détail pourra être corrélé sur une dizaine d'images. Pour obtenir une de ces images, il aura déjà fallu une trentaine de rafales d'une dizaine d'images brutes, c'est le prix qu'il faut payer pour être pratiquement sûr de détecter les détails.

 

 

[spaceju 1 173]

Toutes les initiatives de recherche sont positives ! Même si perso j'ai un doute ici sur le résultat.

Je me demande : que ferait cette technique d'un détail nouveau authentique mais non présent sur les datasets ? tempête, etc...

Bravo pour l'exploration en tout cas !

[Christophe H 6 378]

Et pour déconner :

Si on fait l'apprentissage du réseau avec des images de la lune qui comportent un vélo en ombre chinoise et qu'on lui fait avaler ensuite une image de la lune sans vélo, on obtient quoi? 

Ok, je sors.

 

Christophe

[Nebulium 1 436]

Hello

 

Merci à tous pour votre visite et appréciations 

 

Il y a 14 heures, CAZILHAC Robert a dit :

Et pour les images du ciel  profond ?

 

Je pense que (pour l'instant ?) ce genre de traitement ne concerne que la photo planétaire.
Pour le CP,  il faut plutôt miser sur les progrès dans la technologie des capteurs, "ms" pourrait peut-être nous dire
 si nous sommes encore loin de :

 1 photon => 1 électron, à multiplier ensuite sans bruit

 

 

Il y a 13 heures, polo0258 a dit :

l 'IA risque de faire une moyenne des 2 images

 

Non, Paul, ça ne marche pas comme ça ! 
Ici, la seule image des résultats qui pourrait avoir des gènes communs avec la HST est la 6.

 

 

Il y a 13 heures, Christophe Pellier a dit :

Je viens faire encore mon rabat joie

Pas du tout, Christophe, ton avis est précieux !

 

 

Il y a 13 heures, Christophe Pellier a dit :

Il faudrait peut-être partir de l'image non traitée

 

Ben oui, c'est ce que  j'écrivais à la fin du message.

Et puisque tu as le contact avec Yann, je pourrais refaire la manip.

 

 

 

Il y a 12 heures, ms a dit :

l'apport de TensorFlow avec un algorithme type EnhanceNet ou NeuralEnhance

 

Il faudrait déjà voir avec l'image de Yann.

Mais au juste, que fait précisémentTenserFlow ?

Est ce que c'est un logiciel pour l'IA avec des algorithmes originaux dédiés ou un moteur mathématique puissant pour accélérer avec une GPU sur la carte graphique  des calculs interminables quand exécutés par la CPU du PC ?

 

 

Il y a 10 heures, Kaptain a dit :

obtient-on au final une image réelle ou une image « vraisemblable » ?

 

Il y a 8 heures, Masmich a dit :

Idem....

 

Sauf à recevoir sur vos rétines des photons originaux délicatement déviés par de multiples surfaces optiques, point de salut, ce sera toujours du bidon ! 

 

 

Il y a 9 heures, Christophe Pellier a dit :

il faut relire ma présentation sur l'objectivité du traitement planétaire.

 

La flemme de chercher !

Tu nous donnes le lien ? Merci

 

 

Il y a 4 heures, spaceju a dit :

que ferait cette technique d'un détail nouveau authentique mais non présent sur les datasets ? tempête, etc...

 

Elle devrait s'en sortir sans problème,  les dataset  de 2 à 5 sont généralistes, le 6 comporte les seulement les trois planètes, mes essais très limités réalisés  en y ajoutant quelques images classiques très détaillées n'ont pas montré de différence perceptible.

Mais Christophe semble avoir apprécié la 6.

De toute façon, la manip est facile à faire, si tu veux me faire ton collage préféré sur l"image de Yann  

 

 

 

Il y a 2 heures, Christophe H a dit :

Si on fait l'apprentissage du réseau avec des images de la lune qui comportent un vélo en ombre chinoise et qu'on lui fait avaler ensuite une image de la lune sans vélo, on obtient quoi?

 

 

Un Chinois à pied sur la Lune, évidemment ! 

 

-----------------------------------------------------------------------------

En conclusion provisoire, je vais travailler un peu avec le WebDav (2a), une certaine collaboration avec l'auteur Mehdi me semble envisageable.

J'ai fait un essai avec la Juju de Polo du fil précédent : L'image  traitée me semble plus agréable,  moins bruitée ce qui donne une impression de meilleure résolution. Les opticiens connaissent bien cette affaire pour les objectifs photo.

 

Le site 3a (pour un réseau personnalisé, le réseau par défaut produit un surtraitement peu recevable) a tourné court. L'auteur est passé en silence radio total malgré les appels

Il faudrait un spécialiste pour reprendre le programme Python avec un TenserFlow compatible Windows et aussi que j'arrive à faire tourner ma GPU CUDA, j'ai passé sans succès un tas d'heures à cause d'incompatibilités de versions de programmes et disparition de certains modules.

Cette affaire de Python est très chatouilleuse : 

Par exemple le logiciel WebDav tourne sur W10  impec et sort le résultat trèsvvite avec  le dernier WinPython 3.6.3 (WinPython s'auto-installe et  fonctionne en mode portable sans  aucune interférence avec les autres installations) mais il faut surtout s'aviser de ne faire aucune mise à jour de ses modules.

Modifié 29 janvier 2018 par Nebulium

[-ms- 2]

Pour se rapprocher de l'image réelle, il faut au moins une dizaine d'images comme celle du milieu qui peuvent s'obtenir à partir d'une dizaine d'images de la vidéo assistée d'EVA.

L'image de droite correspondant à la fusion de zones de ces 10 images en utilisant le critère du maximum de vraisemblance renforcé par un dictionnaire propre au domaine (la nature ici).

Il faut donc 1000 images brutes d'où l'intérêt d'une caméra rapide (300ips+) si on veut que la sauterelle reste dans le champs.

 

 

La clé du problème reste l'estimation d'un bruit hybride.

 

Il y a des réseaux de neurones qui fonctionnent en cascade avec des encodeurs débruiteurs en entrée mais le résultat est moins bon parce que l'intelligence artificielle se prête moins bien au débruitage d'images naturelles. Par contre si on leur donne en entrée des images artificielles comme celles obtenues avec EVA par exemple alors là ils sont imbattables. Nous avons du soucis à nous faire avec ces réseaux car comme les rats, ils ont des capacités d'apprentissage très étendues.

[Nebulium 1 436]

Hello

 

Le criquet ci-dessus montré par "ms" est évoqué dans le document WebDav  (traitement 2a, résultat 4) alimente les inquiétudes, hein Polo !  quant à l'usage astronomique de la méthode (Christophe, assieds toi-bien !   ): 

 

Dans le document :

 

 

A gauche, le classique "Bicubique"  4x

 

Au centre gauche,  remise à l'échelle avec  restauration  par une méthode IA, au top de l'état de l'art, en optimalisant le PSNR. 

 

Au centre droit, remise à l'échelle avec  restauration WebDav, avec utilisation de textures issues d'un dataset. 

 

A droite l'original 

 

No comment !

 

L'original  a été dégradé par un sous-échantillonnage en réduisant ses dimensions.

Je n'ai pas vu l'image correspondante, mais je crois qu'il s'agit d'une réduction par 4 utilisant PIL (dont j'ignore tout...) .

Elle doit ressembler à ceci, ci-dessous à gauche , selon un algorithme non PIL.

J'ai complété par :

Au centre, le traitement avec le logiciel proposé (version  low cost  ?) entraîné selon la réduction PIL.

A droite, le classique "bicubique" venu avec.

 

 

   

 

 

Mais cette histoire reste très intéressante, car elle débouche aussi sur des possibilités de créativité permettant à tout un chacun de faire son petit Van Gogh à partir de ses propres prises astro 

 

-----------------------------------------------------------------------------------------------

Rappel des images de "ms" :

 

 

 

 

 

 

 

Modifié 30 janvier 2018 par Nebulium

[-ms- 2]

C'est un peu normal car j'utilise le même type d'architecture de réseau qui lui-même a été repris de travaux datant de 2015 et 2016 :

 

Par contre, au lieu de travailler sur une image, je travaille sur une rafale d'images ce qui permet d'atteindre l'image de référence.
Ici j'ai fabriqué mes 100 images brutes en ajoutant un bruit hybride + du flou local et des déformations donc mes images brutes ne sont pas 100% naturelles mais cela permet de voir que la vidéo assistée correspond à ce que l'on fait de mieux en PSNR et que la fusion de zone permet de retrouver l'image de référence.

Voir par exemple les différences entre 1/10 et 2/10 ainsi que la façon dont cela influence l'image finale après fusion de 3/10, 4/10, ... , 10/10 :

 

Il reste maintenant à vérifier cela sur des exemples réels comme la vidéo de polo.

Modifié 30 janvier 2018 par ms

[Nebulium 1 436]

As-tu le vrai original de la sauterelle ?

[-ms- 2]

Non j'ai repris celui qui était dans le document pour faire un test. Il faudrait voir dans les bases d'images s'il est présent.

[DOLGULDUR 121]

@ms, tu utilise un gan ? à quel article fais-tu reference ?

Modifié 30 janvier 2018 par DOLGULDUR

[Nebulium 1 436]

Cherché sur Gogo : Presque la même

Sinon, ici, mais rien de nouveau

Rien  non plus dans les dataset de WebDav

 

Alors  reste une saisie propre (?) du PDF, en 380x380 . Mais la "presque" est plus fine, cette "Ground truth"""""""""" n'est pas exploitable en tant qu'original en très haute définition.

 

 

   

 

 

-------------------------------------------------------------------------------

J'ai  retrouvé un dossier Saturne / Polo de 3029 PNG  "result.zip"

Je ne me souviens pas si c'est un original ou un prétraitement par ms ???

Modifié 30 janvier 2018 par Nebulium

[-ms- 2]

C'est la partie "super résolution" de cet article qui a servi de point de départ à l'article EnhanceNet cité par Neb :

http://arxiv.org/pdf/1603.08155.pdf

 

Toutes sortes d'architectures de réseaux pourraient convenir c'est pour cela que TensorFlow est intéressant pour débroussailler le terrain.

L'idée de la fusion de zones permet de faire un lien entre le planétaire et le ciel profond.
En planétaire, on peut faire de la super résolution à partir d'une dizaine d'images issues de la vidéo assistée puis on peut fusionner les zones pour obtenir l'image la plus vraisemblable compte tenu du domaine.

Pour le ciel profond, on ne fait pas de la super résolution mais comme dans l'article fourni ci-dessus, on a 2 styles d'images différents : le cœur de la nébuleuse qui ne doit pas être surexposé et les faibles extensions qui doivent ressortir ou le cœur de la galaxie spirale et les bras ou etc ...

[Nebulium 1 436]

Malgré de tout ce que l'on peut dire du procédé, j'ai lancé le traitement batch du film Saturne de Polo, en 3029 images.

Pour faire sûr, j'espère que c'est un AVI issu du SER et non  la version prétraitée par "ms" (= Result" ?)

Ça va prendre trois bonnes heures en CPU.

 

En attendant, voici une comparaison FFT de l'image 0000 :

 

 

Le traitement WebDav (jaune) apporte une petite réduction du bruit sans casser les détails pas trop fins qui donnent la pêche.

 

Sitôt fini, je l'upl pour Paul et d'autres qui voudraient jouer .

 

Pour faire bonne mesure, j'ajoute la FFT (en magenta) de l'image passée au Neat, Polo avait bien  aimé

J'augure un  résultat intéressant avec la jaune 

 

 

 

Modifié 30 janvier 2018 par Nebulium

[Nebulium 1 436]

Voilà  Paul :

 

http://dl.free.fr/opV8VEbkd

 

300 Mo, 3029 images enhanced  

 

Merci de me faire passer ton empilement brut et tes anciens résultats pour comparer   

 

Les limites (et les dangers) de l'affaire : (tout est  affiché en 200%)

 

1 2 3 4

5 6 7 8

 

1 : Image de départ, extraite du PDF en 100%

2, 3, 4  : Floutage gaussien 1, 2, 3 avec IrfanView

5 6 7 8  : résultats du traitement WebDav 

 

 

Il faut avoir la foi du charbonnier !  

Modifié 30 janvier 2018 par Nebulium

[-ms- 2]

Citation

5 6 7 8  : résultats du traitement WebDav 

Quand on l'utilise sur une image, cet algorithme génère des artefacts à la pelle (images 5 et 6) c'est pour cela que le PSNR est mauvais.

En fait il faut faire de la super résolution en multiframe pour déjà limiter cela, il y a donc d'autres pistes à explorer avec TensorFlow et c'est tout l'avantage de cet environnement.  

La VSR (Video Super Resolution) c'est encore tout jeune comme approche.

http://ivpl.eecs.northwestern.edu/sites/default/files/07444187.pdf

http://cs231n.stanford.edu/reports/2016/pdfs/212_Report.pdf

 

Pour changer de la sauterelle :

TensorFlow permet de tester plein d'architectures de réseaux c'est à dire ce qui se trouve entre la vidéo assistée EVA en entrée et la super résolution en sortie.

 

Citation

Il faut avoir la foi du charbonnier!

Ou aimer se promener dans les labyrinthes.

Modifié 31 janvier 2018 par ms