Nebulium 1 436 Posté(e) 16 janvier 2018 (modifié) il y a 15 minutes, ms a dit : Tu installes Anaconda pour Windows comme je te l'ai indiqué plus haut Oui, merci, c'est déjà fait et ça marchait en GPU pour l'image "ninja" Mais le lancement du "enhance.py" plante, il me réclame un module" Lasagne". # Deep Learning Framework import lasagne from lasagne.layers import Conv2DLayer as ConvLayer, Deconv2DLayer as DeconvLayer, Pool2DLayer as PoolLayer from lasagne.layers import InputLayer, ConcatLayer, ElemwiseSumLayer, batch_norm Il faudrait modifie ce fichier en conséquence, il est dispo dans ce pack, ou savoir comment installer ce module Modifié 16 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 16 janvier 2018 Lasagne s'installe avec conda comme indiqué plus haut : https://anaconda.org/toli/lasagne Idem pour tous les autres modules que tu ne trouves pas (ou qui ne sont pas à jour) dans ta distribution d'Anaconda. Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 16 janvier 2018 OK, merci, demain, euh non tout à l'heure après dodo, je vois ça Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 17 janvier 2018 (modifié) Tu veux mettre en œuvre un auto-encodeur (un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé) avec TensorFlow pour débruiter, déflouter, compresser ou faire de la super résolution : http://www.learnopencv.com/understanding-autoencoders-using-tensorflow-python/ Cas de l'auto-encodeur débruiteur : il n'est efficace que pour le bruit pour lequel un apprentissage a été fait (c'est pour cela que j'ai abandonné cette voie il y a plus d'un an pour passer à l'estimation d'un bruit hybride par une approche multi-trame, multi-échelle et multi-mode). Par contre dans le cas de la super résolution et de la fusion de zones, il y a de quoi faire notamment pour les post-traitements (libres sur le site) des vidéos assistées d'EVA. Modifié 17 janvier 2018 par ms Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 17 janvier 2018 (modifié) Et le lendemain, il ramait toujours ! Galère au carré ! J'ai repris mon install Anaconda, elle tourne toujours en GPU avec le "dream.py" (qui plaque des textures) : Mais avec ce "enhance.py", j'ai d'abord : - une série de 3 (ou 4 ?) "try_blas_gd7ovgp7.exe" avec évolution du suffixe "gd7ovgp7" qui plantent, j'ai fait "conda install -c menpo openblas" qui a fait une maj, mais rien de changé pour les plantages. - puis il demande le module "Lasagne", j'ai fait "conda install -c toli lasagne", ça débouche sur une série de trucs du genre : UnsatisfiableError: The following specifications were found to be in conflict: - lasagne - zict conda info lasagne url : https://repo.continuum.io/pkgs/free/win-64/lasagne-0.1-py35_0.tar.bz2 dependencies: numpy >=1.6.2 python 3.5* scipy >=0.11 theano conda info zict url : https://repo.continuum.io/pkgs/main/win-64/zict-0.1.3-py36h2d8e73e_0.tar.bz2 dependencies: heapdict python >=3.6,<3.7.0a0 J'ai fait : "conda remove zict", c'est effectif, mais ça continue avec " xlsxwriter", etc J'ai essayé: "conda install -c toli lasagne --force" "conda install -c toli lasagne --only-deps" Rien de changé, il en sort toujours un nouveau pas compatible du chapeau... Vu sur le net, n'en ai rien tiré sauf "conda install -f -c toli lasagne", sans changement Ne sachant pas combien il en reste, j'arrête. Il me faudrait peut-être refaire l'install Anaconda en imposant Python 3.5 et éviter de faire toute maj ? Si tu as une idée, merci J'ai encore essayé ceci pip install -r https://raw.githubusercontent.com/Lasagne/Lasagne/master/requirements.txt pip install https://github.com/Lasagne/Lasagne/archive/master.zip Ça a marché. Mais j'avais déjà viré une douzaine les trucs incompatibles. Restauration ? Retour du "enhance.py" (en mode par défaut CPU) AssertionError: AbstractConv2d Theano optimization failed: there is no implementation available supporting the requested options. Did you exclude both "conv_dnn" and "conv_gemm" from the optimizer? If on GPU, is cuDNN available and does the GPU support it? If on CPU, do you have a BLAS library installed Theano can link against? Modifié 17 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 17 janvier 2018 Il me reste une machine sous W7, je peux regarder ton application la semaine prochaine. Dis-moi quelle application tu veux faire tourner sous Windows et on pourra faire cela en même temps. Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 17 janvier 2018 il y a 5 minutes, ms a dit : Il me reste une machine sous W7, je peux regarder ton application la semaine prochaine Merci,c'est sympa ! L'appli est celle-ci, en passant par ce tuto, istallé tout comme indiqué Le pb arrive avec la phase GPU décrite pour W7 alors que j'utilise W10 et que l'implémentation de la compilation est totalement différente. Mais comme l'implémentation WinPython est portable et indépendante, si tu peux compiler, il suffirait de me passer les dossiers modifiés. Pour la CPU qui marche, j'utilise : WinPython-64bit-3.4.4.1.exe OpenBLAS-v0.2.15-Win64-int32.zip mingw64_dll Et pour le CUDA, (pb : différent pour W7 et W10) j'ai installé : Selon http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html cudnn-8.0-windows10-x64-v6.0.zip pour compatibilité avec "TensorFlow" cuda_8.0.61_win10.exe patch cuda_8.0.61.2_windows.exe On parle quelque part d'une DLL cudnn 6 qq chose, je n'ai trouvé que la cudnn64_6.dll , mise en place J'ai aussi installé le pilote indiqué pour la GeForce 940MX version 21.21.13.7651 Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 17 janvier 2018 (modifié) WinPython et Anaconda sont 2 environnements de développement scientifique Python concurrents et non compatibles entre eux. J'ai utilisé WinPython par le passé mais Anaconda est bien plus pratique avec la commande "conda" qui permet de pratiquement tout installer. Sans passer par le tuto, ton appli doit pouvoir s'installer en très peu de temps avec Anaconda. Voir par exemple "Anaconda vs WinPython" sur Google. En partant uniquement d'Anaconda pour Python 3, tu devrais pouvoir installer sans problème l'appli. Pas la peine de créer un environnement virtuel puisque "conda" fait déjà cela. Ne pas oublier de mettre le répertoire où sont installés les fichiers bin d'Anaconda dans le path. Moi, j'ai un répertoire "anaconda3" pour Python3 et "~/anaconda3/bin" dans mon path Linux. Modifié 17 janvier 2018 par ms Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 17 janvier 2018 (modifié) Il y a 6 heures, ms a dit : non compatibles entre eux Non et oui. Le WinPython (portable) peut cohabiter sans interférence. Il y a 6 heures, ms a dit : ton appli doit pouvoir s'installer en très peu de temps avec Anaconda C'est ce que j'ai fait, ça coince autour du BLAS et à l'import de Lasagne , invoqué par l'appli. Finalement, je vais tout nettoyer et refaire quelques tests avec WinPython 3.4 et Lasagne en CPU sur ce dataset de 3 images, à moins que tu ne m'en proposes d'autres (mars plus piquée,, Saturne plus récente ?). Juju me paraît assez naturelle quoique un peu contrastée. Mais moins, on n'en voudrait pas ! et laisser mûrir un peu... Modifié 17 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 18 janvier 2018 Ces images c'est en gros ce que l'on obtient en post-traitement TensorFlow de vidéos obtenues avec EVA. Demain (pas cette année) elles seront obtenues directement sur le terrain quand Google aura intégré son moteur dans un processeur. Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 18 janvier 2018 (modifié) Le 18/01/2018 à 06:27, ms a dit : c'est en gros ce que l'on obtient en post-traitement TensorFlow de vidéos obtenues avec EVA Comme çà, avec le film de Polo : puis animée : ??? Je viens de construire en mode CPU (j'ai laissé tomber le GPU, mais si quelqu'un possède Win 10 pro pour utiliser Docker, je pourrais m"y remettre) par 8 itérations un réseau à partir du dataset ci-dessus et donc de commencer mon apprentissage de ce bazar en regardant l'influence du choix des références et des paramètres de la ligne de commande. Le plus pénalisant en temps est le nb d'itérations. Ensuite le traitement d'une image se fait en 2-3 minutes, c'est acceptable. Paul , si tu passes par là, aurais-tu une jolie Mars toute en douceur ? Le gros intérêt de Mars pour ces manips est que l'on peut contrôler la véracité des détails Un premier essai, j'aime bien avant de ratisser systématiquement les paramètres, voir le par défaut originel. J'ai trouvé dans un fil de Christophe P. consacré à Billyjoe, que je remercie d'avance de me permettre d'utiliser ses images une très belle image. Alors pourquoi vouloir "l'améliorer" ? Et bien, juste pour voir, pour commencer (on finira par les bouses, si tout ce bazar d'IA s'avère valable ) A gauche,l'original, à droite après traitement DeepLearning selon mes trois références, complété par une légère retouche globale (et sommaire à vue !) des seuils haut et bas et du gamma pour conserver approximativement le rendu général : En plus de la perte (la faute aux Jupiter et Saturne du dataset ?)regrettable du bleu qui est une composante de valeur dan ces images de Yann, je constate un truc troublant, pour moi : Sans m'être fait une piqûre de bonheur, il me semble que l'image traitée est un peu plus déliée. Surtraitée !!! , j'entends déjà... Ok, admettons pour l'instant, mais est-ce mieux ou non pour la résolution ? Mais le troublant, ce sont les FFT. Pour moi, la superposition des courbes (au centre) était une mesure incontestable de la différence de résolution. Je dis que la courbe jaune est plus crade que la blanche pour les fins détails (0.4 < Fs < 0.6) et moins régulière. Alors ? Je dirais que c'est la bosse de la jaune entre 0.1 et 0.3, relativement plus importante que celle de la blanche, couplée à un poil de moins de bruit qui fait subjectivement la différence ! J'attends avec intérêt tous les commentaires, ils m'aideront dans mes investigations à venir, merci PS1 : Pour ceux qui veulent jouer : - Divers jeux d'excellentes images de tous types sauf Astro (voir sous "Downloads"). Je suis entrain d'en ajouter quelques unes à mon dataset pour dynamiser le réseau en cours de mise au point - Une base d'images de célébrités. Attention, hénaurme archive multiple: > 10 Go ! PS2 : Un nouvel espoir pour utiliser la GPU ? Alex dit : The easiest way to get up-and-running is to install Docker Je viens de trouver le "Docker community" qui tourne avec Win 10 (pas seulement le pro, j'espère). Alex dit ensuite : If you want to run on your NVIDIA GPU, you can instead change the alias to use the image alexjc/neural-enhance:gpu which comes with CUDA and CUDNN pre-installed. Then run it within nvidia-docker and it should use your physical hardware! Faux espoir! La page FAQ du Nvidia-docker dit : Is Microsoft Windows supported? No, we do not support Microsoft Windows (regardless of the version) Modifié 19 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 18 janvier 2018 (modifié) blanc : image initiale (image du haut) jaune : image obtenue par apprentissage (image centrale) rouge : image de référence On doit pouvoir faire coller les courbes jaune et rouge. Modifié 18 janvier 2018 par ms Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 18 janvier 2018 (modifié) il y a 44 minutes, ms a dit : image de référence C'est la Mars HST en 512 ? Rq : Dans FW, pourrais-tu utiliser "Traitements > Couleurs > Luminosité + contraste" pour améliorer la lisibilité de tes superpositions de courbes, merci On doit pouvoir faire coller les courbes jaune et rouge. A ce niveau (Fs # 0.5), ça ne changera pas grand-chose ! Demain, je vais revérifier mon étrange constatation ci-dessus avec un dataset enrichi de 5 images classiques. Modifié 18 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 bonjour jean et ms ! voici une petite Mars Partager ce message Lien à poster Partager sur d’autres sites
-ms- 2 Posté(e) 19 janvier 2018 (modifié) Neb, faire de la super résolution sur l'image de Yann en utilisant les 3 images de Mars, Jupiter et Saturne ça donne cela : Pour obtenir quelque chose qui ressemble à cela : je fais autrement. Cette image de référence est décomposable en patchs qui forment un dictionnaire de patchs HR. Il suffit de substituer aux patchs de l'image débruitée, défloutée et redressée leurs équivalents en HR. C'est compliqué de le faire en couleur alors on transforme l'image dans l'espace de couleur YCbCr puis on travaille sur les patchs Y de la luminance et à la fin on retrouve la couleur en retransformant en RGB. Tout cela est en développement mais j'obtiens un rendu meilleurs qu'avec l'apprentissage profond. On doit certainement pouvoir faire de même avec TensorFlow mais pour l'instant je n'ai pas trouvé. Pour polo, j'obtiens cela avec l'apprentissage : L'image de gauche c'est l'image de polo, l'image du milieu c'est l'image corrigée par apprentissage et l'image de droite c'est comme l'image du milieu mais avec une correction du bruit en plus. Modifié 19 janvier 2018 par ms Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 19 janvier 2018 (modifié) Hello Voici une petite Mars Merci Paul, c'es exactement ce qu'il me fallait ! Au TSC 225 ? Aurais-tu son l'horodatage à qques minutes près ? Et une autre du même style , à un autre moment, pour plus de détails visibles ? Il y a 8 heures, ms a dit : puis on travaille sur les patchs Y de la luminance et à la fin on retrouve la couleur en retransformant en RGB. Oui, c'est ce que je pensais faire à partir du dataset astro enrichi. Manque de pot, ce p.....n de Win 10 m'a planté cette nuit une session d'entraînement en 8 itérations par un redémarrage intempestif suite à maj auto, il faut que j'essaie cette astuce En attendant demain, je vais faire un essai avec 2 itérations Pendant que ça mouline, voici un gabarit de FFT (Echelle 2x) que l'on pourrait qualifier d'objectif à atteindre, hein, EVA, tu as vu ? pour quelques images du dataset, en blanc, Mars, en jaune des paysages détaillés et plus ou moins contrastés : Il y a 8 heures, ms a dit : l'image de droite c'est EVA en juillet 2018 Mouais, wait & see ! Modifié 19 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 jean: elle date du 11 mars 2012 ,mais je n'ai plus l'heure ! bien ta version MS ! polo Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 d'après simulation winjupos : 20h30 à 21h00tu polo Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 19 janvier 2018 (modifié) Il y a 1 heure, polo0258 a dit : elle date du 11 mars 2012 [EDIT] Image corrigée selon les indications des msg ci-dessous, merci Christophe et Paul ! Merci Paul 11/03/12 21:00 UTC Modifié 19 janvier 2018 par Nebulium Partager ce message Lien à poster Partager sur d’autres sites
Christophe Pellier 8 830 Posté(e) 19 janvier 2018 Non, Olympus Mons est au méridien sur l'image de Polo. 1 Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 (modifié) non ,jean plus tôt 21h00 tu, je pense ! comme à dit christophe! Modifié 19 janvier 2018 par polo0258 Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 19 janvier 2018 Merci, c'est corrigé ! On verra qui et comment arrivera à sortir les 1 + 3 cratères Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 une autre avec date 23/10/2011 à 4h46tu : diamètre 5''2 ! Partager ce message Lien à poster Partager sur d’autres sites
Nebulium 1 436 Posté(e) 19 janvier 2018 Super, encore mieux Paul pour mes essais. Un truc avec l'horodatage, sans importance ici. Partager ce message Lien à poster Partager sur d’autres sites
polo0258 38 176 Posté(e) 19 janvier 2018 (modifié) tu as la simu winjupos; plus réaliste pour la calotte polaire! polo Modifié 19 janvier 2018 par polo0258 Partager ce message Lien à poster Partager sur d’autres sites