Nebulium

Jupiter par Polo à la sauce artificielle...

Messages recommandés

il y a 15 minutes, ms a dit :

Tu installes Anaconda pour Windows comme je te l'ai indiqué plus haut

 

Oui, merci, c'est déjà fait et ça marchait en GPU pour l'image "ninja"

 

Mais le lancement du "enhance.py" plante, il me réclame un module" Lasagne".

# Deep Learning Framework
import lasagne
from lasagne.layers import Conv2DLayer as ConvLayer, Deconv2DLayer as DeconvLayer, Pool2DLayer as PoolLayer
from lasagne.layers import InputLayer, ConcatLayer, ElemwiseSumLayer, batch_norm

Il faudrait modifie ce fichier en conséquence, il est dispo dans ce  pack, ou savoir comment  installer ce module

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

OK, merci, demain, euh non tout à l'heure après dodo, je vois ça :)

Partager ce message


Lien à poster
Partager sur d’autres sites

Tu veux mettre en œuvre un auto-encodeur (un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé) avec TensorFlow pour débruiter, déflouter, compresser ou faire de la super résolution :

http://www.learnopencv.com/understanding-autoencoders-using-tensorflow-python/

 

Cas de l'auto-encodeur débruiteur : il n'est efficace que pour le bruit pour lequel un apprentissage a été fait (c'est pour cela que j'ai abandonné cette voie il y a plus d'un an pour passer à l'estimation d'un bruit hybride par une approche multi-trame, multi-échelle et multi-mode).

Par contre dans le cas de la super résolution et de la fusion de zones, il y a de quoi faire notamment pour les post-traitements (libres sur le site) des vidéos assistées d'EVA. ^_^

 

 

 

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Et le lendemain, il ramait toujours ! :(

Galère au carré !

J'ai repris mon install Anaconda, elle tourne toujours en GPU avec le "dream.py" (qui plaque des textures) :

 

Presse-papier01.png.e15a3a80af59dcc5f38abf05b5d93c89.png

 

 

Mais avec ce "enhance.py", j'ai d'abord :

- une série de 3 (ou 4 ?)  "try_blas_gd7ovgp7.exe" avec évolution du suffixe  "gd7ovgp7" qui plantent, j'ai fait

"conda install -c menpo openblas"  qui a fait une maj, mais rien de changé pour les plantages.

 

- puis  il demande le module "Lasagne", j'ai fait  "conda install -c toli lasagne", ça débouche sur une série de trucs du genre :

 

UnsatisfiableError: The following specifications were found to be in conflict:
  - lasagne
  - zict
 
conda info lasagne
url         : https://repo.continuum.io/pkgs/free/win-64/lasagne-0.1-py35_0.tar.bz2
dependencies:
    numpy >=1.6.2
    python 3.5*
    scipy >=0.11
    theano


conda info zict
url         : https://repo.continuum.io/pkgs/main/win-64/zict-0.1.3-py36h2d8e73e_0.tar.bz2
dependencies:
    heapdict
    python >=3.6,<3.7.0a0

 

J'ai fait : "conda remove zict", c'est effectif, mais ça continue  avec " xlsxwriter", etc 

J'ai essayé:

"conda install -c toli lasagne --force"

"conda install -c toli lasagne --only-deps"

 

Rien de changé, il en sort toujours un nouveau  pas compatible du chapeau...

Vu sur le net, n'en ai rien tiré  sauf "conda install -f -c toli lasagne", sans changement

Ne sachant pas combien  il en reste, j'arrête.

 

Il me faudrait peut-être refaire l'install Anaconda en imposant Python 3.5 et éviter de faire toute maj ?

 

Si tu as une idée, merci :) 

 

J'ai encore essayé ceci

pip install -r https://raw.githubusercontent.com/Lasagne/Lasagne/master/requirements.txt
pip install https://github.com/Lasagne/Lasagne/archive/master.zip

Ça a marché.

Mais j'avais déjà viré une douzaine les trucs incompatibles. Restauration ?

 

 

 

 

Retour du "enhance.py" (en mode par défaut CPU)

 

AssertionError: AbstractConv2d Theano optimization failed: there is no implementation available supporting the requested options. Did you exclude both "conv_dnn" and "conv_gemm" from the optimizer? If on GPU, is cuDNN available and does the GPU support it? If on CPU, do you have a BLAS library installed Theano can link against?

 

 

 

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Il me reste une machine sous W7, je peux regarder ton application la semaine prochaine.

Dis-moi quelle application tu veux faire tourner sous Windows et on pourra faire cela en même temps.

 

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 5 minutes, ms a dit :

Il me reste une machine sous W7, je peux regarder ton application la semaine prochaine

 

Merci,c'est sympa !

L'appli  est celle-ci, en passant par ce tuto, istallé tout comme indiqué

Le pb arrive avec la phase GPU décrite pour W7 alors que j'utilise W10 et que l'implémentation  de la compilation est totalement différente.

Mais comme l'implémentation WinPython est portable et indépendante, si tu peux compiler, il suffirait de me passer les dossiers modifiés.

Pour la CPU qui marche, j'utilise :

WinPython-64bit-3.4.4.1.exe

OpenBLAS-v0.2.15-Win64-int32.zip

mingw64_dll

 

Et pour le CUDA,  (pb : différent pour W7 et W10) j'ai installé :

Selon  http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

cudnn-8.0-windows10-x64-v6.0.zip pour compatibilité avec "TensorFlow"

cuda_8.0.61_win10.exe

patch cuda_8.0.61.2_windows.exe

 

On parle quelque part d'une DLL  cudnn 6 qq chose, je n'ai trouvé que la   cudnn64_6.dll , mise en place

 

J'ai aussi installé le pilote indiqué pour la GeForce 940MX   version 21.21.13.7651

 

 

Partager ce message


Lien à poster
Partager sur d’autres sites

WinPython et Anaconda sont 2 environnements de développement scientifique Python concurrents et non compatibles entre eux. ^_^

 

J'ai utilisé WinPython par le passé mais Anaconda est bien plus pratique avec la commande "conda" qui permet de pratiquement tout installer.

Sans passer par le tuto, ton appli doit pouvoir s'installer en très peu de temps avec Anaconda.

 

Voir par exemple "Anaconda vs WinPython" sur Google.

 

En partant uniquement d'Anaconda pour Python 3, tu devrais pouvoir installer sans problème l'appli.

Pas la peine de créer un environnement virtuel puisque "conda" fait déjà cela.

Ne pas oublier de mettre le répertoire où sont installés les fichiers bin d'Anaconda dans le path.

Moi, j'ai un répertoire "anaconda3" pour Python3 et "~/anaconda3/bin" dans mon path Linux.

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 6 heures, ms a dit :

non compatibles entre eux

 

Non et oui. Le WinPython (portable) peut cohabiter sans interférence.

 

Il y a 6 heures, ms a dit :

ton appli doit pouvoir s'installer en très peu de temps avec Anaconda

 

C'est ce que j'ai fait, ça coince autour du BLAS  et à l'import de Lasagne , invoqué par l'appli.

 

Finalement, je vais tout nettoyer et refaire quelques tests avec WinPython 3.4 et Lasagne  en CPU sur ce dataset de 3 images, à moins que tu ne m'en proposes d'autres (mars plus piquée,, Saturne plus récente ?). Juju me paraît assez naturelle quoique un peu contrastée. Mais moins, on n'en voudrait pas ! ;)

 

 

Mars_hst_512.png.ba0fbd74555542222697064694ce7957.png

 

 

jup2k_512.png.f546ac15a158c7435d5d5cfb7cb78dfb.png

 

sat_hst-2_512.jpg.0f2d163edf6755ec35c2407a71a5de69.jpg

 

et laisser mûrir un peu...

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Ces images c'est en gros ce que l'on obtient en post-traitement TensorFlow de vidéos obtenues avec EVA. ^_^

Demain (pas cette année) elles seront obtenues directement sur le terrain quand Google aura intégré son moteur dans un processeur.

Partager ce message


Lien à poster
Partager sur d’autres sites
Le 18/01/2018 à 06:27, ms a dit :

c'est en gros ce que l'on obtient en post-traitement TensorFlow de vidéos obtenues avec EVA

 

Comme çà, avec le film  de Polo :

1.png

 

puis animée :

sat_polo_den.gif

 

???

 

Je viens de construire en mode CPU  (j'ai laissé tomber le GPU, mais si quelqu'un possède Win 10 pro pour utiliser Docker, je pourrais m"y remettre) par  8 itérations  un réseau  à partir du dataset ci-dessus et  donc de commencer mon apprentissage de ce bazar  en regardant l'influence du choix des références  et des paramètres de la ligne de commande. Le plus pénalisant en temps  est le nb d'itérations. Ensuite le traitement d'une image se fait en 2-3 minutes, c'est acceptable.

 

Paul , si tu passes par là, aurais-tu une jolie Mars toute en douceur ?

 

Le gros intérêt de Mars pour ces manips est que l'on peut contrôler la véracité des détails

 

Un  premier essai, j'aime bien avant de ratisser systématiquement les paramètres, voir le par défaut originel.

 

J'ai trouvé dans un fil de Christophe P. consacré à Billyjoe, que je remercie d'avance de me permettre d'utiliser ses images une très belle image.

Alors pourquoi vouloir  "l'améliorer" ? Et bien, juste pour voir, pour commencer (on finira par les bouses, si tout ce bazar d'IA  s'avère valable  ;) )

 

 

A gauche,l'original, à droite après traitement  DeepLearning  selon mes trois  références, complété par une légère retouche  globale (et sommaire à vue !) des seuils haut et bas et du gamma pour conserver  approximativement le rendu général :

 

Presse-papier01.png.f17c32882a77e893ef7fff9148cf1c0d.png

 

En plus de la perte  (la faute aux Jupiter et Saturne  du dataset ?)regrettable du bleu  qui est une  composante de valeur dan ces images de Yann, je constate un truc troublant, pour moi :

Sans m'être fait une piqûre de bonheur, il me semble que l'image traitée est un peu plus déliée.

Surtraitée !!! , j'entends déjà... ;) 

Ok, admettons pour l'instant, mais est-ce mieux ou non pour la résolution  ?

Mais le troublant, ce sont les FFT. Pour moi, la superposition des courbes (au centre) était une mesure incontestable de la différence de résolution.

Je dis que la courbe jaune est plus crade que la blanche pour les fins détails (0.4 < Fs < 0.6) et moins régulière.

Alors ?  Je dirais que c'est la bosse de la jaune entre 0.1 et 0.3, relativement plus importante que celle de la blanche, couplée à un poil de moins de bruit qui fait subjectivement la différence ! :) 

 

J'attends avec intérêt tous les commentaires, ils m'aideront dans mes investigations à venir, merci :)

 

 

PS1 : Pour ceux qui veulent jouer :

-  Divers jeux d'excellentes images de tous types sauf Astro (voir sous "Downloads"). Je suis entrain d'en ajouter quelques unes à mon dataset pour dynamiser le réseau en cours de mise au point

-  Une base d'images de célébrités.  Attention, hénaurme archive multiple:   > 10 Go  !

 

PS2 :  Un nouvel espoir pour  utiliser la GPU ?

Alex dit :

The easiest way to get up-and-running is to install Docker

Je viens de trouver le "Docker community" qui tourne avec Win 10 (pas seulement le pro, j'espère).

Alex dit ensuite :

If you want to run on your NVIDIA GPU, you can instead change the alias to use the image alexjc/neural-enhance:gpu which comes with CUDA and CUDNN pre-installed. Then run it within nvidia-docker and it should use your physical hardware!

 

Faux espoir! :( 

La page FAQ du Nvidia-docker dit : 

Is Microsoft Windows supported?

No, we do not support Microsoft Windows (regardless of the version)

 

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

yann_mars.png.58282dc75c7ff126b5223f4d26b71968.png

yann_mars_result_2.png.0aaf356c141224aed0ae169c1c6894e0.png

Graph_mars.png.6d9dfa98619fdcf7c45210030e9da10d.png

 

blanc : image initiale (image du haut)

jaune : image obtenue par apprentissage (image centrale)

rouge : image de référence

 

On doit pouvoir faire coller les courbes jaune et rouge.

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 44 minutes, ms a dit :

image de référence

 

C'est la Mars HST en 512 ?

 

Rq : Dans FW,  pourrais-tu  utiliser  "Traitements > Couleurs > Luminosité  + contraste"  pour améliorer la lisibilité de tes superpositions de courbes, merci  :)

 

On doit pouvoir faire coller les courbes jaune et rouge.

 

A ce niveau (Fs # 0.5), ça ne changera pas grand-chose !

 

Demain, je vais revérifier mon étrange constatation ci-dessus avec un dataset enrichi de 5 images classiques.

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Neb, faire de la super résolution sur l'image de Yann en utilisant les 3 images de Mars, Jupiter et Saturne ça donne cela :

yann_mars_result.png.a317b44c20e4347d294b857e39829774.png

 

Pour obtenir quelque chose qui ressemble à cela :

Mars_hst_512.png.c6b8c037b8c15293aa88c5b2a3c72959.png

 

je fais autrement.

Cette image de référence est décomposable en patchs qui forment un dictionnaire de patchs HR. Il suffit de substituer aux patchs de l'image débruitée, défloutée et redressée leurs équivalents en HR.

C'est compliqué de le faire en couleur alors on transforme l'image dans l'espace de couleur YCbCr puis on travaille sur les patchs Y de la luminance et à la fin on retrouve la couleur en retransformant en RGB.

Tout cela est en développement mais j'obtiens un rendu meilleurs qu'avec l'apprentissage profond. On doit certainement pouvoir faire de même avec TensorFlow mais pour l'instant je n'ai pas trouvé. ^_^

 

Pour polo, j'obtiens cela avec l'apprentissage :

marsiris2rrgb11mars_result.png.fdb169023246dff8165ad30cb059c191.png

 

 

marsiris2rrgb11mars.png.c8acf7fecfd6f27d8a75f93a906dfae7.png

 

L'image de gauche c'est l'image de polo, l'image du milieu c'est l'image corrigée par apprentissage et l'image de droite c'est comme l'image du milieu mais avec une correction du bruit en plus. ^_^

 

 

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

 

Hello :)

 

Voici une petite  Mars

 

Merci Paul, c'es exactement ce qu'il me fallait !  Au TSC 225 ?

Aurais-tu son l'horodatage à qques minutes près ?

 

Et une autre du même style ,  à un autre moment, pour plus de détails visibles ?

 

 

Il y a 8 heures, ms a dit :

puis on travaille sur les patchs Y de la luminance et à la fin on retrouve la couleur en retransformant en RGB.

 

Oui, c'est ce que je pensais faire à partir du dataset astro  enrichi.

Manque de pot, ce p.....n de Win 10 m'a planté cette nuit une session d'entraînement  en 8 itérations par un redémarrage intempestif suite à maj auto, il faut que j'essaie cette astuce

En attendant demain, je vais faire un essai avec 2 itérations

 

Pendant que ça mouline, voici un gabarit de FFT (Echelle 2x) que l'on pourrait qualifier d'objectif à atteindre, hein, EVA, tu as vu ? pour quelques images du dataset, en blanc, Mars, en jaune  des paysages  détaillés et plus ou moins contrastés :

 

Graph_4.png.6e84fa7fd8a636f20fc4816fe369a95c.png

 

 

Il y a 8 heures, ms a dit :

l'image de droite c'est EVA en juillet 2018

 

-_- :x

 

Mouais, wait & see  ! :ph34r:;)

 

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

jean:  elle date du 11 mars 2012  ,mais je n'ai plus l'heure !

bien ta version MS ! :)

polo

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 1 heure, polo0258 a dit :

elle date du 11 mars 2012

 

[EDIT]

Image corrigée selon les indications des msg ci-dessous, merci Christophe et Paul ! :) 

 

 

Merci Paul :) 

 

11/03/12    21:00 UTC

 

Presse-papier01.png.1ebd30e2741e1393ab3796de92f0fc3c.png

 

 

 

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

non ,jean plus tôt  21h00 tu, je pense ! comme à dit christophe!

Modifié par polo0258

Partager ce message


Lien à poster
Partager sur d’autres sites

Merci, c'est corrigé !

 

On verra qui  et comment  arrivera à sortir les  1 + 3 cratères  ;)

Partager ce message


Lien à poster
Partager sur d’autres sites

une autre avec date 23/10/2011 à 4h46tu :  diamètre 5''2 !

 

 

mars du 3 10 2011 à 4h46 tu diamètre 5''2.png

Partager ce message


Lien à poster
Partager sur d’autres sites

Super, encore mieux Paul pour mes essais. 

Un truc  avec l'horodatage, sans importance ici.

 

Presse-papier01.png.bc56f18e3c9c7a2330d01037cb05606c.png

Partager ce message


Lien à poster
Partager sur d’autres sites

tu as la simu winjupos;

mars.PNG

 

 

plus réaliste pour la calotte polaire!

 

polo

Modifié par polo0258

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant