Super-résolution en "apprentissage profond" : Essais sur Mars

[Nebulium 1 436]

Il y a 17 heures, ms a dit :

la super résolution en multiframe

 

Il est certain qu"en astro le salut ne peut être que par là, ne prendre que les meilleurs morceaux parmi plusieurs images et bien les empiler pour étoffer le bruit.

 

Vachement ardus, tes liens !

 

Dernière série d'essais en attendant Polo, s'il passe par ici :

 

1 2 3 4 5

 

5 = original

1 = réduction par 4 pour réduire la définition et agrandissement par 4 pixellisé. Il paraît que le modèle Webdav a été entraîné avec ce type d'images.

2 3 4  = traitements successifs :

2 = 1 fois

3 = 2 fois

4 = 3 fois, ce serait assez net, mais on commence à inventer trop de trucs, j'ai arrêté là.

 

 

J'aimerais terminer l'expérience WebDav sur le film de Polo : voir  et traiter l'image empilée et voir son  meilleur post-traitement par Polo, à comparer à ses résultats précédents : film "nature" et film "au Neat"

 

 

 

 

Modifié 31 janvier 2018 par Nebulium

[polo0258 38 347]

bonjour jean !

voici le résultat issu d'as2 sans ondelettes :

 

output_g3_ap36.tif

[-ms- 2]

Cette application est en effet entraînée pour traiter les images pixelisées :

 

et elle le fait plutôt bien au problème d’artefacts près.

 

Moi, l'application TensorFlow qui m'intéresse c'est pour traiter les vidéos assistées d'EVA puis en fonction du résultat j’intégrerai l'algorithme de super résolution directement dans la vidéo assistée.

 

Je ne veux pas te vendre Linux mais pour mettre en œuvre l'algorithme ci-dessus ça prend 2 minutes :

$ sudo apt install python-pip virtualenv

$ run.sh

Au premier lancement l'appli s'installe dans le répertoire "venv" puis l'image qui se trouve dans le répertoire "input" est transformée dans le répertoire "output".

 

Pour traiter les vidéos assistées d'EVA j'ai fait quelque chose d'analogue sauf que dans "input" il y a une vidéo au format raw et dans "output" une image super résolue au format png.

 

Citation

Il est certain qu"en astro le salut ne peut être que par là, ne prendre que les meilleurs morceaux parmi plusieurs images et bien les empiler pour étoffer le bruit

L'objectif c'est le signal et pour y accéder je n'ai pas trouvé mieux que de passer par l'estimation d'un bruit hybride dans une image naturelle (une image naturelle hérite des propriétés des fractales), ainsi, on peut atteindre le maximum de ce que peut faire la chaîne de détection pour obtenir une vidéo assistée. Après, il y a l'intelligence artificielle qui va estimer l'image qui correspond le mieux au domaine (astro, médical, surveillance, ...) et cela demande un apprentissage par domaine.

 

Pour la vidéo de Saturne de polo (21205 images brutes), je vais sortir la vidéo assistée (sat_polo.raw) et l'image super résolue (sat_polo.png).

 

Pour passer du format raw à un autre format avi, mp4, etc :

$ avconv -f rawvideo -pix_fmt rgb24 -video_size 448x448 -framerate 10 -i sat_polo.raw -pix_fmt yuv420p -y sat_polo.avi

$ avconv -f rawvideo -pix_fmt rgb24 -video_size 448x448 -framerate 10 -i sat_polo.raw -pix_fmt yuv420p -y sat_polo.mp4

 

Si avconv n'est pas installé :

$ sudo apt install libav-tools

 

J'utilise Linux Mint 18.3 (basé sur Ubuntu 16.04) et une carte graphique GeForce GTX 1050 Ti 4Go pour les calculs par GPU avec CUDA 9.1

 

 

 

Modifié 1 février 2018 par ms

[Nebulium 1 436]

 

Hello

 

Il y a 10 heures, polo0258 a dit :

voici le résultat issu d'as2 sans ondelettes

 

Merci Paul, je vais lui faire subir les mêmes épreuves que la Mars de Yann,  mais sur une image non prétraitée cette fois, ce sera toujours instructif.

Peux-tu me retrouver tes résultats finaux précédents (traités et non traités)  pour la publication à venir ?

 

 

Il y a 9 heures, ms a dit :

Je ne veux pas te vendre Linux mais pour mettre en œuvre l'algorithme ci-dessus ça prend 2 minutes

 

 

Tu veux parler del'algo du WebDav  ?

Si oui, ça me prend actuellement quelques secondes de CPU avec WinPython3.6.3, et c'est hyper simple :

- J'ai installé Python dans : "C:\wd\Python"

- J'ai dézippé la distri WD dans "C:\wd\code", mis la ou les images à traiter dans le sous-répertoire "input"

- Dans la fenêtre de commandes ouverte avec "C:\wd\Python\WinPython-64bit-3.6.3.0Qt5\WinPython Command Prompt.exe", située dans  "C:\wd\Python\WinPython-64bit-3.6.3.0Qt5",  il faut remonter d'un niveau car elle ouvre sur "C:\wd\Python\WinPython-64bit-3.6.3.0Qt5\scripts> " , puis entrer successivement :

 

cd..
cd C:\wd\code

python enhancenet.py

 

Ça donne :

C:\wd\code>python enhancenet.py
processing sautor.png
2018-01-30 22:53:47.250756: W D:\Build\tensorflow\tensorflow-r1.3\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
2018-01-30 22:53:47.250864: W D:\Build\tensorflow\tensorflow-r1.3\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.

 

Je n'ai pas compris ce qui manquait pour compiler au mieux, mais ça marche nicket, à condition de ne rien updater  dans la distribution "WinPython-64bit-3.6.3.0Qt5.exe"

Les images traitées se trouvent dans le sous-répertoire "output", en version IA et "Bicubic" 'j'ai tué la ligne "bicubic" dans le "enhancenet.py"

 

Sinon, je ne veux pas ankyloser ma bécane pour ces manips de simple curiosité avec deux OS, W10 est déjà suffisamment merdique par lui-même, on n'y contrôle plus rien ! 

A la rigueur, j'ai su dans le temps utiliser CygWin avec XP,  mais  ce qui m'intéresse vraiment, c'est  l'adaptation  du script d'Alex "Neural Enhance" qui remplacerait "Theano"  (et autres ?)  par "Tenserflow", auquel cas je pourrais faire des tests d'apprentissage sérieux en GPU avec les versions courantes d'Anaconda et CUDA +cuDNN

Modifié 1 février 2018 par Nebulium

[Nebulium 1 436]

Voilà Paul, vite fait, on verra plus tard à fignoler la balance des couleurs :

 

 

 

De g. à d.

-  Le nouvel empilement d'après  25% des 3000 "enhanced" WebDav (FFT grise)

-  Après un passage au WebDav (FFT jaune)

-  Boostée vite fait avec la patte de mézigue (FFT rouge), patte un peu lourde ici, on voit de la pixellisation 

 

Et ensuite, avec le script d'Alex :

 

 

De g. à d.

-  Le nouvel empilement d'après  25% des 3000 "enhanced" WebDav  (FFT blanche)

-  Comme à droite ci-dessus (FFT jaune)

-  Après un passage chez Alex avec mon modèle "custom" simpliste, boostée en FFT avec la même correction que la WebDav (FFT magenta)  :

Un peu moins contrastée, mais plus propre, pixellisation plus discrète, le ressaut vers Fs =0.5 est gommé, le coup de patte est mieux adapté

 

 

Moi, je préfère  !

 

Alors, what else? 

Modifié 1 février 2018 par Nebulium

[jeffbax 7 330]

Je suis ce sujet avec attention. Et je me rends compte que je fais un peu la même chose : beaucoup de poses courtes puis tri des meilleures avant compositage.

 

Après cette étape, j'applique un peu de déconvolution (RL sous iris, ondelettes ou filtres sous CS).

 

La question que tout cela pose : est-ce qu'on embellit l'information ou on l'améliore ?

 

Pour moi, l'information brute contient tout. Le reste est une manière d'en tirer partie. Mais on ne crée rien. Surtout pas justement, car l'information n'est pas interprétable, c'est un ensemble de données qui demandent à être traduites pour être compréhensibles.

 

Je ne sais pas où me situer par rapport à ces techniques.

 

JF

[polo0258 38 347]

bonjour jean !

pour être honnête jean ,j'ai traité l'image  aussi avec iris ,le résultat est moins bon que le fichier initial des 20.000 images de départ !

j'ai l"impression que l'on veut améliorer le résultat et c'est de pire en pire !

voir les résultats obtenus sur le sujet ;

 

[-ms- 2]

Neb c'est les pré-traitements qu'il faut améliorer.

Depuis le mois d'août 2017, j'ai progressé dans l'estimation du bruit.

La vidéo suivante à 10ips c'est le traitement du bruit (par rafale de 10 images brutes) des 100 premières images brutes de la vidéo de polo (20.000 images au total) :

 

Bien sûr il manque le traitement du flou local, des déformations et de l'arrière plan qui met en évidence les satellites mais cela est réglé aujourd'hui.

 

Sur le fichier de 20.000 images, il me faut 10 images consécutives pour extraire un signal correct (la vidéo ci-dessus).

Puis sur les 2.000 images restantes, il me faut encore 10 images consécutives pour obtenir une image de la vidéo assistée (à suivre).

Puis sur les 200 images de la vidéo assistée, il m'en faudra encore 10 pour obtenir une image super résolue (à suivre).

A la fin j'aurai une vidéo super résolue de 20 images.

 

En fait, je pourrai même m'arrêter au débruitage et faire faire tout le reste par un réseau jusqu'à la super résolution ou même par AS3.

 

 

Modifié 2 février 2018 par ms

[-ms- 2]

Les image au bout de 1/10s (à gauche) et de 1s (à droite). En fait l'image est rafraîchie tous les 1/10s et le cumul donne l'image de droite toutes les 1s :

 

Ce sont des images comme l'image de droite qui sont stockées et qui serviront plus tard à la super résolution.

La courbe jaune correspond à l'image de droite.

Les courbes des images correspondant à 2/10s, 3/10s, ... , 9/10s s'intercalent entre la courbe blanche et la courbe jaune.

Il ne faut qu'une centaine d'images brutes pour obtenir la courbe de droite.

[Nebulium 1 436]

 

 

Hello

 

Le 01/02/2018 à 19:59, jeffbax a dit :

Je suis ce sujet avec attention

 

Merci JF

 

Le 01/02/2018 à 19:59, jeffbax a dit :

Pour moi, l'information brute contient tout. Le reste est une manière d'en tirer partie

 

Oui. Il n'y a de vrai que les photons d'origine dans la rétine !

Sinon, ce qui est relativement incontestable, c'est un image comme celle-ci :

 

 

obtenue en "lucky imaging" par Polo dans un film obtenu selon une technique analogue à la tienne .

Pour moi, d'ailleurs en passant, cette image souffre d'un défaut de balance de couleurs qui aurait pu être évité par un réglage idoine de la caméra, mais là n'est point l'objet de cette discussion.

Une amélioration impartiale hormis un changement de site ne peut être obtenue  que par les progrès  de la technologie des capteurs en ce qui concerne le bruit et l'échantillonnage, je pense que côté optique on est proche du top.

Toute autre action, à part un empilement intelligent, ne peut que conduire à un résultat arbitraire selon les goûts et motivations du traiteur...

 

 

Le 02/02/2018 à 07:58, polo0258 a dit :

le résultat est moins bon 

 

Bonjour Paul

 

Comme je le disais par ailleurs,  il ne faut pas attendre de miracles, on en est au stade des recherches...

Avec mes moyens (très) limités, je cherche un truc qui permettrait sans réglages ni apprentissage de l'emploi de logiciels souvent complexes d'obtenir des images potables, si possible tolérant vis à vis des erreurs de manipulation comme la mise au point, le suivi et dans une certaine mesure la turbulence. Utopique ? 

 

PS : J'ai repassé ta Saturne empilée d'après le film au WebDav dans la moulinette d'Alex, en utilisant le modèle général => Zéro : surtraitée,   bourrée d'artefacts, alors que mon modèle planétaire rudimentaire donne  déjà un résultat honorable, voir plus haut.

Si je ne trouve pas de solution pour utiliser la GPU,  je vais peut-être  essayer de laisser tourner une vieille bécane jour et nuit pendant une semaine !

 

 => "ms":

qui serviront plus tard à la super résolution

 

Wait and see  ...

 

Tiens, tu connais ce truc ?

et ceux-là ?

 

Modifié 3 février 2018 par Nebulium

[-ms- 2]

Prends par exemple celui-ci (SPMC_VideoSR), c'est exactement comme cela que je vois la super résolution et la fusion en post-traitements avec TensorFlow mais en entrée il faut mettre  la vidéo débruitée par EVA et surtout pas les images brutes sinon tu as de gros artefact à l'arrivée comme dans cet exemple qui porte sur des images naturelles :

 

C'est exactement l'objet de mon site gpu-vision.com : un module EVA permettant d'estimer des bruits multiples (additifs, multiplicatifs, ...) et TensorFlow qui fait le reste.

Je reprendrai son exemple avec les images modifiées en entrée sinon c'est tout bon et très rapide par rapport aux autres approches de VideoSR.

 

 

 

 

Modifié 4 février 2018 par ms

[polo0258 38 347]

bonjour jean ,bonjour ms

 

Il y a 16 heures, Nebulium a dit :

Pour moi, d'ailleurs en passant, cette image souffre d'un défaut de balance de couleurs qui aurait pu être évité par un réglage idoine de la caméra

 

comme l'a expliqué christophe , on ne peut jouer que sur wr et wb à l'acquisition  ,il faudrait pouvoir jouer sur  la couche verte !

 

 je vous encourage à continuer vos essais  !

polo

[Nebulium 1 436]

Hello

 

Je viens de découvrir ce site qui utilise Tenserflow :

 

"This is a tensorflow implementation of "Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network", a deep learning based Single-Image Super-Resolution (SISR) model. We named it DCSCN.

 

On peut y créer ses  modèles de réseaux.

Chépa trop ce que signifie "Skip Connection", l'important c'est que  marche et donne des résultats intéressants, donc encore quelques manips en vue.

 

Un tout premier test sous WinPython 3.6 pour voir si ça marche , non si on ne corrige pas les lignes de code. 

Pas sérieux, ça ! 

 

python sr.py --file yann_mars.png --dataset yang_bsd_4 --filters_decay_gamma 1.5 --save_results True

 

Ouiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii :

 

 

 

A l'oeil (cliquer dans l'image jusqu'au 100% , un demi-picopoil de netteté en plus, non ? 

 

Et avec un GIF ? Gardez bien le petit point jaune dans le coin de l'oeil, comme à l'oculaire en visuel CP :

 

 

Pas convaincus ?

 

Alors allons faire un tour chez FW :   ! 

 

 

Tout ça pour ça ?

 

 

Stay tuned !  

 

Demain, je vais jouer avec le train :  

 

You can train with any datasets. Put your image files as a training dataset

 

PS  :Apparemment, ce bazar traite la luminance...

 

 

Modifié 4 février 2018 par Nebulium

[-ms- 2]

 

En utilisant DCSCN sous Linux (sans rien modifier) avec Anaconda3 :

$ python sr.py --file sat_hst.jpg --dataset yang_bsd_4 --filters_decay_gamma 1.5

 

 

DCSCN permet de faire de la super résolution rapidement à partir d'une image, contrairement à SPMC_VideoSR son intérêt est très limité.

Avec seulement 3 images, le résultat est significatif :

 

Il reste juste un problème d'artefact que j'ai résolu en estimant le bruit en entrée de ce réseau. 

 

 

 

 

Modifié 5 février 2018 par ms

[Nebulium 1 436]

Bof, Encke n'est  pas au bon endroit  !    

 

[Edit] Tiens, "ms", tu as viré ton intéressant résultat, ma remarque était une plaisanterie ! [/Edit]

 

L'Ours F3  est une excellente démonstration de l'utilisation de plusieurs images, ici 3 / 1.

 

Du coup, pour les astrams basiques qui fréquentent ces lieux  sans avoir les moyens (ou l'envie ?) de frayer plus tard avec EVA, on pourrait envisager (ohé, Paul ?), d'empiler séparément par exemple trois parties  (dérotées pour Juju ?) soigneusement choisies dans un film et de mixer astucieusement les trois résultats en SR.

 

Pour les curieux ou sceptiques qui comprennent la langue de Shakespeare, il existe un intéressant article sur Wikipedia qui traite en particulier des limites liées à la diffraction.

Modifié 5 février 2018 par Nebulium

[Nebulium 1 436]

Le site DCSCN commence à donner.

J'ai calculé un premier modèle non optimum avec le  mydataset des 3 planètes.

Les résultats  ne sont pas à sauter au plafond, loin de là !

Ci-dessous, de g. à d. l'original de départ, le résultat DCSCN, le résultat boosté à la main en FFT2D

Je trouve quand même que la Saturne de Polo, empilement d'un film traité d'abord au WebDav (à mon avis très voisin du DCSCN) est recevable :

 

[-ms- 2]

 

En débruitant et en défloutant, on obtient au bout de quelques secondes :

 

 

Citation

L'Ours F3  est une excellente démonstration de l'utilisation de plusieurs images, ici 3 / 1.

Avec une dizaine d'images ce serait encore meilleurs mais avec les algorithmes de TensorFlow, il faudrait un supercalculateur pour le faire en temps réel. 

 

 

Modifié 6 février 2018 par ms

[Nebulium 1 436]

Il y a 15 heures, ms a dit :

Citation

l'utilisation de plusieurs images, ici 3 / 1.

Avec une dizaine d'images ce serait encore meilleur

 

Pour l'instant je fonctionne simple au ras des pâquerettes.

Si j'arrive à mettre la main sur un script Python qui fabrique " l'ours3", je demanderais à Polo de découper son film original Saturne en 3 morceaux et de me les empiler séparément.

Ce soir j'aurai le modèle perso optimum (augmenté) pour terminer mes essais en DCSCN, 24 h de calcul (8h pour celui de ma planche ci-dessus).

 

PS : As-tu une idée de l'origine de cette fausse "Encke" persistante ? Elle me semble trop loin de l'extérieur de l'anneau pour être une frange de diffraction....

Modifié 6 février 2018 par Nebulium

[-ms- 2]

 

SPMC_VideoSR permet de faire cela avec un apprentissage sur 3 images consécutives et la super résolution x4, reste le problème des artefacts mais celui-là il est résolu par EVA.
On peux donc en sortie de l'estimation du bruit par EVA utiliser TensorFlow sur 3 images consécutives pour prendre en charge le flou, les distorsions et la super résolution x4, reste à voir si cela peut se faire en temps réel. En tout cas pour estimer le bruit, il me faut une dizaine d'images comme dans ma vidéo postée plus haut à 10ips donc TensorFlow appliqué à la série {1,2,3} {2,3,4} {3,4,5} ... {1998,1999,2000}  permettrait d'obtenir une vidéo de 2000 images à partir de 20.000 images brutes.

Problème lié aux artefact : les branches des arbres ressemblent plus à des tuyaux qu'à des branches, l'image de gauche est floue mais plus naturelle.

Le gros problème de tous ces réseaux reste le traitement des images naturelles et pour l'instant je n'ai rien vu de correct via un réseau, il y a toujours des artefact à la sortie.

 

Pour faire tes manips le plus simple c'est d'avoir 2 environnements anaconda2 et anaconda3 car certains scripts sont faits pour Python2 et d'autres Python3.

Et là avec Anaconda c'est indépendant de Linux, Windows ou OSX.

Modifié 6 février 2018 par ms

[Nebulium 1 436]

Voici le mêmes essais avec le modèle  de luxe "augmenté", j'ai ajouté la Juju à Polo :

 

 

 

 

 

Le test le plus significatif est celui de Saturne, où l'on part d'une image seulement empilée (à gauche)

 

le résultat DCSCN (au centre) ne pète pas le feu, mais il supporte une  conséquente reprise en FFT (à droite), que l'on peut comparer à l'animation de"ms" plus haut.

 

Je passe maintenant- à l'essai "ours3".

Paul, prépare tes ciseaux et fais chauffer !AS4   

 

............................................................................................

 

Pour l'instant, c'est mal barré! 

 

C:\wd\dd>python main_videosr_deploy_4x3f.py
  File "main_videosr_deploy_4x3f.py", line 39
    print 'Testing path: {}'.format(dataPath)
                           ^
SyntaxError: invalid syntax

Me va falloir passer par l'Anaconda !

Modifié 6 février 2018 par Nebulium

[polo0258 38 347]

bonjour jean ,bonjour ms !

le film complet de saturne ,tu dois l'avoir ,je l'avais mis en ligne !

tu parles d'as4 ? c'est une nouvelle version?

polo

[-ms- 2]

Neb c'est la commande "print" qui correspond à Python 2.7 (dans Python 3.6 il y a des parenthèses).

C'est pour cela que je disait qu'il faut les 2 environnements (anaconda2 et anaconda3 par exemple).

Sinon, il faut tout convertir dans la même version de Python.

 

Dans tes images de droite, il y a le bruit qui refait son apparition.

 

DCSCN c'est bien pour la super résolution et en plus c'est rapide :

 

 

 

 

Modifié 7 février 2018 par ms

[Nebulium 1 436]

 

Hello vous deux ! 

 

Il y a 3 heures, polo0258 a dit :

je l'avais mis en ligne !

 

Oui, mais je n'ai retrouvé qu"un SER de 3000 images.

 

 

Il y a 3 heures, polo0258 a dit :

as4 ? c'est une nouvelle version?

 

Non, une plaisanterie !

Par contre pourrais-tu me découper ton film en 3 morceaux et me sortir les  3 meilleurs  empilements sans traitement, merci  

 

 

 

Il y a 2 heures, ms a dit :

'il faut les 2 environnements

 

Oui, je verrai ça plus tard, et avec les autres sites de SR video que je n'ai pas encore explorés.

Ce site chinois des "ours" n'est pas des mieux documentés !  

 

Pour l'instant, ce DCSCN  basé sur Tensorflow (intégrable dans WinPython 3.6.3) me permet de faire  mes manips rapidement et sans utiliser la GPU.

 

Il y a 2 heures, ms a dit :

Dans tes images de droite, il y a le bruit qui refait son apparition.

 

Oui, j'ai lancé le bouchon au delà des limites pour voir les réactions, mais il me semble bien que l'image traitée DL est un peu moins bruitée que l'originale et donc supporte plus d'accentuation 

 

*** De quelle cuisine vient ton image de Mars ci-dessus ?

 

En ce qui me concerne, je fais les essais sur ces trois images :

 

 

 

 

 

 

Je reprendrai Saturne avec les trois Polo à venir.

 

 

Les résultats  bruts obtenus à partir de mon dataset (= les 3 planètes au HST, redimensionnées, montrées dans un message plus haut) augmenté  ainsi :

 

# build 8x augmented dataset for mydataset dataset (will add flipped and rotated images)
python augmentation.py --dataset mydataset --augment_level 8

 

avec la ligne de commande :

 

# training with larger filters and deeper layers
python train.py --dataset mydataset_8 --filters 128 --layers 10

# after training has done, you can apply super resolution on your own image file. (put same args which you used on training)
python sr.py --file your_file.png --dataset mydataset_8 --filters 128 --layers 10

sont les suivants :

 

 

 

 

 

 

Ensuite, réduction en  50% Lanczos3 puis FFT pour publication dans le message précédent

Modifié 7 février 2018 par Nebulium

[-ms- 2]

 

Cette approche peut te permettre d'améliorer tes 3 images de test d'autan plus que cette méthode accepte en entrée des images brutes :

http://adler-j.github.io/2017/07/21/Learning-to-reconstruct.html

http://arxiv.org/pdf/1707.06474.pdf

 

C'est certainement une piste intéressante mais pour le moment, je reste sur l'estimation d'un bruit hybride avec la possibilité d'utiliser TensorFlow en post-traitements.

Par contre je reviendrai plus tard sur cette approche qui permet de travailler directement avec les brutes en entrée.

 

Modifié 7 février 2018 par ms

[polo0258 38 347]

voici jean trois saturnes en .tiff issues d'as2  de 23h49 ,23h55 et 23h00   :  http://dl.free.fr/q2DpcyEF2

 

tu pourras faire une rotation winjupos et le comparer à la dé-rotation du post :

polo