Super-résolution en "apprentissage profond" : Essais sur Mars

[Nebulium 1 436]

Il y a 2 heures, ms a dit :

Parce que l'algorithme de flot optique parcourt les déplacements de l'image

 

OK pour la découpe, mais pour le petit agrandissement, je ne vois pas le rapport ???

Bref, passons...

 

Je poursuis mes essais avec ce que je peux faire tourner, à savoir  l'image unique de départ en DCSCN et leur modèle généraliste proposé pour l'échelle 3.

Pour l'échelle 4, il me faudrait faire un entraînement (20h en GPU), je verrais plus tard...

 

Donc 1  2  3  4

1  DCSCN à l'échelle 3

2  EVA réduite au pif en 90% (j'aurais dû faire 89 ou 88 % ???)

3  DCSCN réduite en 33%

4  SPCM 4x  réduite en 25% 

 

Pour les redimensionnements, je suis repassé au bicubique plutôt qu'au Lanczos3, car plus propre à l'oeil pour les fines structures périodiques (par exemple l'immeuble au 1/3 en partant de la droite.

 

RAPPEL :  cliquer même plusieurs fois sur l'image ne garantit pas toujpurs un affichage 100% !

SVP, enregistrer l'image pour une évaluation correcte

 

 

Pour les FFT, yafoto :

- En blanc, toujours l'EVA trop grande

- En rouge, l'EVA en 90%, elle a repris le tonus attendu

- En magenta, la DCSCN -3x en 33%

- En jaune, toujours la SPMC-4x  en 25%

 

Donc, comme la théorie le dit, les multi-images mènent la course avec la chinoise en tête, EVA doit faire quelques progrès.

Si l'éminent Xin-Tao publie ses codages d'entraînement et se met au Python 3, on pourra continuer à jouer, les paris sont ouverts,

Polo, tu peux  faire chauffer ton nouveau tube !  

 

 

 

 

Modifié 19 février 2018 par Nebulium

[-ms- 2]

Citation

Donc, comme la théorie le dit, les multi-images mènent la course avec la chinoise en tête, EVA doit faire quelques progrès.

Non, c'est uniquement l'image d'indice 0 après il faut faire la même chose avec les indices 1,2, ..., 30 donc 31 images qui fusionnées vont largement faire remonter la courbe blanche.
D'autre part, EVA c'est du temps réel alors que TensorFlow c'est en moyenne 100 fois plus lent.
Il faut comparer ce qui est comparable.

[Nebulium 1 436]

Il y a 17 heures, ms a dit :

31 images qui fusionnées vont largement faire remonter la courbe blanche

 

Wait & see  ... 

 

Il faut comparer ce qui est comparable

 

Oui, ici  un unique résultat final !

Modifié 20 février 2018 par Nebulium

[Nebulium 1 436]

Voilà, j'en ai trouvé un autre (SRGAN mode video, basé sur  "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network) qui marche avec mes outils, WP 3.6, LayerFlow, TensorFlow et  GPU CUDA, je vais donc  pouvoir travailler plus efficacement.

Ici un brut de 1er jus.

En résolution, il y a  un peu de mieux parfois mais plus de moins bien, me semble-t'il au 1er coup d'oeil. Voir si on peut affiner.

Mais je crains bien qu'il n'y ait pas de traitement multi-images glissant :

"We have added an L1 loss in the training code to get rid of the flickering frames problem found in videos that were super resolved using plain SRGANs."

 

 

 

 

Puis en réduction à 50% (= 2x final, le résultat qui compte):

 

 

 

Modifié 21 février 2018 par Nebulium

[Nebulium 1 436]

Dans la mesure où le site SRGAN permet un contrôle plus complet des opérations, j'essaie de partir sur des bases saines :

J'ai pu modifier le codage de la vidéo résultante 4x pour faire du RGB sans pertes (FFT jaune), à droite  et j'ai refait la comparaison avec la SMPC.(FFT blanche) à gauche.

Sûr que globalement la SMPC est mieux résolue. Pour finasser la comparaison, il conviendrait d'égaliser les contrastes (et ou les gammas), ce sera pour plus tard.

La différence d'interprétation de l'immeuble est intéressante (à visionner en 100% !). L'original 1x vu à la loupe à pixels 8x ne permet pas de savoir laquelle est la bonne.

Je n'ai pas encore trouvé la vidéo originale, à défaut j'irai voir avec GogoEarth, ce pourrait être à Hong Kong où bossent ces éminents Chinois.

 

 

 

La suite de mon programme est d'essayer d'améliorer le résultat SRGAN avec les moyens courants  à disposition  de M. Toulemonde pour comparer avec les promesses d'EVA.

Ensuite, je reviendrai sur les essais planétaires.

 

PS : Retour de Hong Kong. EFFARANT !

Combien de centaines de millions d'habitants vivent là-bas ?

Pas vu cette tour au sommet caractéristique = une aiguille dans une botte de foin !

 

Un essai d'égalisation rapide de SRGAN : contraste, gamma, FFT :

 

 

 

Modifié 22 février 2018 par Nebulium

[-ms- 2]

 

1 : image d'origine x2 (interpolation Cubique pour comparer)

2: super résolution x2 traitée comme un problème inverse par EVA

 

 

La super résolution pourra être intégrée en temps réel à la vidéo assistée ce qui rend l'utilisation de TensorFlow moins intéressante car 100 à 300 fois plus lent.

 

L'image x4 de droite de Neb est intéressante mais il y a des artefacts.

 

EVA traire maintenant la super résolution comme un problème inverse.

Modifié 22 février 2018 par ms

[Nebulium 1 436]

Il y a 2 heures, ms a dit :

L'image x4 de droite de Neb est intéressante mais il y a des artefacts

 

Oui, mais c'est son premier mot!    

 

J'ai repris ta dernière EVA 2x, à gauche, la SRGAN 2x (réduction bicubique en 50% de la 4x) au centre, la SMPC  2x à droite.

Puis modifié ces deux dernières en contraste et gamma pour les égaliser (à peu près) avec EVA.

 

 

Pour moi,  a priori, yorépafoto, EVA paraît légèrement en retrait des deux autres pour la netteté,  ces  deux-là très proches à ce point de vue.

Mais j'ai quand même fait la photo, EVA en jaune, SRGAN en blanc, SPMC en magenta. EVA repasserait devant  

Ça me donne à réfléchir sur l'interprétation de ces mesures par  cet outil que j'apprécie beaucoup pour confirmer mes impressions, seraient-ce les Fs > 0.5 qui feraient la différence ?

 

Globalement, ces diverses techniques de SR me semblent assez valables pour agrandir  2x sans perte de netteté apparente des images déjà assez nettes.

En astrophoto planétaire classique, pratiquement cela inciterait à diminuer autant que possible le temps de pose à la prise de vue en réduisant la focale de travail, dans la limite d'un échantillonnage correct à 2-3 pixels pour le pouvoir séparateur.

On augmenterait ainsi le nombre d'images pouvant bénéficier d'un "lucky imaging"  pour les empiler et ensuite les agrandir 2x..

 

Paul, si tu passes par là, qu'en penses-tu ?

 

Modifié 22 février 2018 par Nebulium

[-ms- 2]

Dans EVA j'utilise la SR pour faire des zooms de luxe (x2 et x4) ou des crops sur les images de la vidéo assistée.

C'est déjà nettement mieux que les interpolations habituelles (cubique, spline, ...).

Pour la netteté, je ne vois pas trop d'où cela peut venir (taille des patchs ?).

[Nebulium 1 436]

Il y a 9 heures, ms a dit :

Pour la netteté, je ne vois pas trop d'où cela peut venir

 

La réponse est peut-être là   

Sinon tu pourrais essayer d'intégrer le code SRGAN :

 

Avec ma modeste configuration, il traite 2 images/s

Modifié 23 février 2018 par Nebulium

[-ms- 2]

EVA traite effectivement les problèmes inverses d'estimation/restauration suivants :

- Image/video inpainting

- Image/video deblurring

- Image/video denoising

- Image/video super-resolution

- Image/video dehazing

- Image/video devigneting

- Image/video atmospheric dispersion

 

Je pense que la netteté c'est une autre catégorie de problèmes :

- Image/video enhancement: brightening, color adjustment, sharpening, etc.

 

Ils sont très intéressants ces challenges, ils sont faits pour tous les élèves qui n'ont pas eu assez de bons points durant leur scolarité.

[Nebulium 1 436]

Hello

 

J'ai traité le film Saturne de Polo en 3000 images (en fait, ça a planté à 2576 au bout de 2 h pour un problème de place sur le disque) en SRGAN 4x sortie FullFrames RGB puis réduction /2 bicubique.

 

Pour comparer des choses comparables, Paul, si tu passes par là, peux-tu m'indiquer tes réglages AS3   ou me passer le fichier sauvegardé avec  "Save session"? Merci  

 

Modifié 24 février 2018 par Nebulium

[-ms- 2]

 

 

Voici la version quasi définitive basée sur 1 image, la vidéo de 31 images suit.

Le defogging est utilisé dans les applis de conduite par temps de brouillard et en photo animalière.

Tous ces modules sont implantés dans EVA et permettent la résolution de problèmes inverses.

[-ms- 2]

 

Et voilà le résultat avec EVA.

Modifié 25 février 2018 par ms

[Nebulium 1 436]

Hello

 

OK, tu as atteint le niveau requis pour concourir à la NTIRE 2018, option 4 !

 

Mais qui donc a "inventé"  ici  cette  colorisation d'EVA  ?

Tu n'aurais pas la version "au naturel "?

 

J'ai refait un petit "côte à côte", de g. à d.  :EVA, SRGAN-video , SPMC- video égalisées avec une précédente EVA :

 

 

et un coup de zoom 8x sur  l'étoile double pas serrée en haut, à droite du centre  :

 

 

 

Cette dernière manip sur des images égalisées n'est pas très significative, ces étoiles y sont crâmées.

Il convient en fait de la reprendre sur les images traitées "naturelles"  publiées plus haut et reprises ci-dessous  (ici SPMC-V à gauche, SRGAN-V au centre, loupe 8x sur SPMC-V à droite) :

 

 

PS Je n'ai trouvé l'endroit ni à Hong Kong ni à Tokyo (j'avais cru reconnaître des inscriptions en  chinois ou en japonais sur la colonne).

Et ce genre de phare breton perché sur un immeuble n'inspire pas la recherche d'images de Gogo...

Modifié 25 février 2018 par Nebulium

[-ms- 2]

Citation

Tu n'aurais pas la version "au naturel "?

C'est ce brouillard de pollution qui est omniprésent dans le nord de la Chine (Pékin, Tianjin, ...), il faut faire ressortir les détails en haut à gauche par exemple.

EVA permet de traiter différents types de brumes et brouillards, une fois de plus c'est l'estimation qui est importante.

Le defogging ou dehazing doivent être traités comme des problèmes inverses et non par de simples filtrages. TensorFlow permet aussi de traiter ces problèmes par la biais de réseaux de neurones mais au prix d'un travail titanesque d'apprentissage.

Je me demande s'il ne faut pas spécialiser EVA par domaine car je ne vois pas l'intérêt du defogging en astronomie.

[Nebulium 1 436]

Le 26/02/2018 à 08:38, ms a dit :

Je me demande s'il ne faut pas spécialiser EVA par domaine

 

Le jour où tu mettras  à notre disposition une version alpha  tournant  sous Windows (via Python ou Julia) exécutable en temps différé on pourra t'aider à trouver la réponse !  

 

En attendant, je te propose un nouveau jeu de test basé sur cette image, toujours dans le style "urbain" , obtenue en redimensionnement bicubique 1/8 à partir d'un original PNG en haute résolution :

 

 

Je nous ai concocté une série de 9 images en TIF 3x16 bits décalées en diagonale successivement de 1/8 de pixel, donc 1 pixel entre la 1ère et la dernière.

 

 

Je te propose de nous fabriquer deux finales 2x et une 4x,  travaillées uniquement en résolution.

 

De mon côté,  outre mes résultats avec les divers algos disponibles, je publierai ensuite les mêmes  versions  obtenues  en bicubique depuis la'original HR.

 

 

Modifié 27 février 2018 par Nebulium

[-ms- 2]

 

 

 

Modifié 27 février 2018 par ms

[Nebulium 1 436]

Hello  

 

Les légendes de "ms" sont toujours du genre laconique

 

Alors voilà les résultats obtenus avec SRGAN-video, en 2x final.

Toutes les opérations de redimensionnement ont été faites en bicubique avec FitsWork.

Les traitements ont été faits en TIF 3x16 bits, "Fullframes"  3x8 bits" et PNG 3x8 bits

Après le passage au SRGAN, j'ai dû pour comparer des choses comparables remonter luminosité et contraste pour égaliser linéairement le rendu général.

 

 

 

1 2 3

4 5 6

 

1.  Agrandissemen 2x bicubique

2.  Agrandissemen 4x par SRGAN-video. puis réduction par 2. Extraction d'une image unitaire du film

3.  Empilement AS3! en mode surface de 50% des meilleures images du film  4x (en fait, elles devraient être toutes de même qualité...)

4.  Graphe des FFT :  1 en rouge,  2 en blanc, 3 en jaune, 5 en magenta. (6  non représentée car # 3)

5.  Original HD en réduction par 4

6.  Empilement AS3! en mode surface de 100% des  images du film 4x

 

Mes premiers commentaires à chaud :

- On renvoie le 2x bicubique au vestiaire

- L'empilement AS3! (pas de différence mesurable ou visible entre 50 et 100%) donne à réfléchir :

La FFT (jaune) est meilleure, on s'y attendait de par la théorie, mais si beaucoup de détails fins sont d'un micropouième meilleurs, il y a des ratés évidents  : par exemple l'espèce d'escalier tout en bas au milieu, et dans une moindre mesure, les fenêtres de l'immeuble blanc dans le coin inférieur droit.

 

Alors si quelques yeux exercés passent par ici, je les remercie de bien vouloir m'indiquer en regardant bien 4  les artefacts créés dans 2 et 3 , il y en a  déjà un hénaurme !  

 

PS  Pour une comparaison valable (à cause des remises à l'échelle élastiques du forum avec certains navigateurs), je remontre ci-dessous à gauche l'image 2  isolée avec l'EVA à droite :

 

 

 

 

Allez, pas chien, je vous mets un chti crop del'original 100% :

 

Modifié 28 février 2018 par Nebulium

[polo0258 38 363]

bonjour jean ! je passe par ici !

j(ai traité le film avec as2  ! je connais pas trop as3 et je commence à m'en servir pour la lune car as2 ne digère pas les films de 32go !

polo

[-ms- 2]

Neb c'est pas mal mais tes méthodes de recalage ne permettent pas de conserver des lignes bien droites (on le voit avec l'immeuble au premier plan).
EVA utilise le centroïde couplé à une méthode de fusion permettant de conserver des lignes droites. A la fin, il reste un chouia de flou qui peut être corrigé comme dans l'image de droite (cet algorithme est encore perfectible).

 

[Nebulium 1 436]

Hello

 

je connais pas trop as3 et je commence à m'en servir

 

Paul, on reverra  ça plus tard. En attendant, peux-tu me rappeler le diamètre de ton scope et le pas pixel de ta caméra ? Merci  

 

tes méthodes de recalage ne permettent pas de conserver des lignes bien droites

 

J'essaie celles à ma portée...

 

Ci-dessous  un comparatif d'une image unitaire SRGAN (résultat  4x par rapport au timbre-poste de départ en haut au centre) et de l'original HR  réduit par 2 (en arrière-plan).

 

 

L'affaire de l'escalier est curieuse ???

Le SRGAN a des soucis avec les lignes  légèrement obliques par rapport à l'horizon !

[polo0258 38 363]

voila jean ! diamètre 300mm pixel 3.75 !

polo

[Nebulium 1 436]

il y a une heure, polo0258 a dit :

diamètre 300mm pixel 3.75

 

Merci Paul !

Je reviendrai sur cette information pour suggestions d'essais.

--------------------------------

 

Je termine cette série de manips sur des images sans bruit et riches en détails. Pour les images astro, c'est une autre affaire !

 

J'ai donc voulu comparer les résultats après traitement SRGAN-video :

Unitaire (FFT blanche) à gauche,  addition de 4 images recalées en bloc par compensation du décalage avant traitement  (FFT jaune) au centre, avec AS3 ! à droite (FFT comme jaune).

 

 

Pour ce type d'images, la netteté est un micro pouième meilleure en unitaire qu'avec les empilements et 'addition simple traite ici mieux l'escalier qu'AS3.

 

Brièvement et provisoirement, je conclus que ces traitements "Deep learning" sont à utiliser principalement pour agrandir 2x  sans pertes de netteté apparente des images déjà satisfaisantes par ailleurs.

 

Je vais vérifier en reprenant quelques bonnes images du forum avec cet algorithme SRGAN et le peu d'autres  qui veulent bien tourner sur ma config.

Je vais aussi surveiller une éventuelle actualisation du  SPMC, l'auteur est aussi passé en silence radio 

[Nebulium 1 436]

Hello

 

Retour à l'astro planétaite, avec la Juju de Polo (à gauche ci-dessous).

Traitement au SRGAN (=> 4x) et réduction par 4, à droite :

 

 

 

D'aucuns diront  : L'écart est très faible.

Moi je dis :  "Subtil" mais pas inintéressant !   Piqûre de bonheur ? 

 

PS : Tout ça pour ça ?  je n'ose pas montrer les FFT !   

Modifié 1 mars 2018 par Nebulium

[polo0258 38 363]

 

bonjour jean

on a l'impression que le logiciel a fabriqué des taches surtout dans la couche bleu ! non !;)

polo