image faible résolution et deep learning (extraordinaire)

[BobSaintClar 4 863]

Vous n'avez pas lu Blind lake, de Robert C. Wilson ?

Cette histoire d'image à la résolution améliorée - à bon ou mauvais escient - via une IA, appliquée à l'astronomie dans l'espoir d'en voir plus sur les exoplanètes... a été traitée dans ce roman, il y a pratiquement 15 ans. Il se lit très bien, je vous le recommande.

J'espère que l'avenir "à la sauce SF" que nous promettent les IA sera plutôt du genre Blind Lake que Terminator

[Clouzot 268]

il y a 8 minutes, BobSaintClar a dit :

Vous n'avez pas lu Blind lake, de Robert C. Wilson ?

Cette histoire d'image à la résolution améliorée - à bon ou mauvais escient - via une IA, appliquée à l'astronomie dans l'espoir d'en voir plus sur les exoplanètes... a été traitée dans ce roman, il y a pratiquement 15 ans. Il se lit très bien, je vous le recommande.

J'espère que l'avenir "à la sauce SF" que nous promettent les IA sera plutôt du genre Blind Lake que Terminator

C'est sûr que l'avenir façon Blind Lake rempli d'extraterrestres-homards et d'assassinats d'état, ça vend du rêve

(très bon choix de bouquin au passage, comme presque tout ce que le monsieur a écrit d'ailleurs)

 

Sinon je rejoins ce qui a été dit plus haut : reconstituer des informations manquantes dans une image floue, c'est mathématiquement un problème mal conditionné dont la résolution donne  des instabilités.

 

Exemple simpliste (oui) : mettons que je prenne mon T100, avec le capot fermé fermé bien sûr (et je rajoute un filtre en Mylar en plus pour faire bon poids), et que je tente d'imager Neptune avec. Normalement, j'aurai : du noir partout, tous les pixels à zéro ou presque (le bruit de mon capteur).

 

Manque de bol, car ma fierté personnelle fait que je souhaite quand même poster sur AS une belle image de Neptune telle qu'aurait pu l'obtenir Voyager 2, histoire de vous blouser tous et de gagner le concours de la photo du mois.

 

Si je voulais annuler l'effet de mon capot et de mon filtre Mylar, il faudrait que j'inverse mon image. Horreur, 1 divisé par 0, ça fait l'infini, ça diverge dans tous les sens.

 

Mais le deep learning à la rescousse, facile: je fais l'apprentissage de mon réseau de neurones logiciels avec des photos de Voyager 2, et je l'applique à mon image qui contient uniquement du bruit. Avec un peu de chance, j'aurai ça :

 

Si je me suis trompé de jeu de données d'apprentissage, par contre, je risque d'avoir plutôt ça :

 

 

 

Si je lance un kickstarter avec, vous pensez que j'ai une chance ?

[Jijil 264]

Voilà, on la tient enfin, l'image de la face cachée de Neptune

 

Blague à part, c'est pour moi un débat similaire au post-traitement photoshop d'une image CP: on booste par ci, par là, en fonction de l'image mentale qu'on se fait de l'objet et l'image finale est... une image, mais pas rigoureusement une photo ... Pour le côté agrandissement, je ne nie pas que ça peut être sympa pour tirer de grands formats. Maintenant, on est tous d'accord (il me semble): ça n'apporte pas d'info à l'image.

 

PS: @BobSaintClar: merci pour la suggestion lecture

Modifié 13 novembre 2017 par Jijil

[CPI-Z 1 222]

J'ai bien trouvé l'image de départ dans le répertoire "input" . J'aurais bien voulu tester Enhancenet avec cet algorithme. Mais mes compétences dans l'installation du logiciel son insuffisantes. C'est dommage.

 

 

[-ms- 2]

Citation

J'ai bien trouvé l'image de départ dans le répertoire "input" . J'aurais bien voulu tester Enhancenet avec cet algorithme. Mais mes compétences dans l'installation du logiciel son insuffisantes. C'est dommage.

C'est le type même de projet consacré à la super résolution qui sera en accès libre (avec d'autres) sur mon site www.gpu-vision.com

Ici le soft est écrit en langage Python mais sur le site (consacré aux applications de vision par GPU) les sources seront en C/C++.

Tous les développements et exécutions de code seront réalisées sur le mini PC ou le portable 17" retenu.

Ces applications sont très lentes si on les exécute sur le CPU, c'est pour cela que la programmation par GPU se développe à grande vitesse.

Dans la boîte à outils proposée, le code peut être compilé CPU, CUDA et OpenCL, ce qui permet de mesurer l'apport de CUDA ou OpenCL.

[maire 251]

Le 11/11/2017 à 21:20, ms a dit :

On regarde pratiquement tout le temps du déjà vue car la nature de la plupart des images est fractale.

Dans le cas de l'aigle ci-dessus, on ne peut deviner les détails à l'échelle supérieure que par apprentissage. Ce qui est original c'est que cette équipe sort du vieux modèle PSNR pour évaluer la qualité du résultat.

Ce type de traitement qui sera intégré au processeur graphique va se banaliser dans les prochaines années.

 

Que la nature de bcp d'images soit fractale, on est d'accord et cela relève un peu de la "panacée universelle" Mais c'est asymétrique à ce que je veux dire. Par le déjà vu j'entendais un peu: a quoi bon améliorer les images avec un processus d'apprentissage (hormis à titre d'information, d'identification policière et de pédagogie...) pour obtenir des images sommes toutes classiques. Pour l'image du rapace qui est présentée, je préfère le concept du photographe selon lequel il vaut mieux s'approcher du sujet pour donner de la netteté et une atmosphère à l'image...  Là on apporte quelques chose.

Ouais ... pour le traiteur de signal, oui on sort du vieux modèle PSNR, voilà une nouvelle manière de faire de papier scientifique (certes avec une certaine pertinence j'en conviens) mais ne révolutionne pas la perception des choses de la planète. Que ce genre de processeur graphique se banalise, c'est prévisible évidement c'est aussi ce que les "sup de com" appellent communément l'IA.... mais les constantes anthropologiques humaines ne changent guère, c'est juste les moyens d'accéder à cette perception qui prennent parfois des chemins différents.

[-ms- 2]

Citation

Par le déjà vu j'entendais un peu: a quoi bon améliorer les images avec un processus d'apprentissage (hormis à titre d'information, d'identification policière et de pédagogie...) pour obtenir des images sommes toutes classiques.

Je ne suis pas du tout partisan de ce type de manipulation, je n'utilise les réseaux de neurones que pour modestement me rapprocher du mécanisme de fusion utilisé par notre cerveau. Cette fusion permet de rapprocher le point de vue de l'observateur de celui de l'imageur.

[Jijil 264]

on parle d'amélioration de l'image, pas de gain réel en résolution. Le résultat final n'est pas le même et correspond à des besoins différents. Ce que je crains fort, c'est une utilisation scientifique post-traitement sans discernement...

 

@ms: au passage une question: plutôt de convertir du Python en C/C++, as-tu testé ce que donnerait du Cython?

 

[-ms- 2]

Citation

@ms: au passage une question: plutôt de convertir du Python en C/C++, as-tu testé ce que donnerait du Cython?

J'ai déjà utilisé Python avec les accélérateurs Cython et Numba mais pour la programmation par le GPU, je trouve C/C++ plus près du système.

Par contre, il y a une combinaison intéressante c'est Python + ArrayFire.

[Jijil 264]

Je vais y jeter un oeil, merci