image faible résolution et deep learning (extraordinaire)

[frédogoto 2 093]

bon le forum ne reprend pas les mise en forme : voir l'article sur AVEX

[a s p 0 6 852]

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

[christian_d 3 161]

Bonsoir

Il n'y a pas d'explication qui accompagne ces 3 images (je ne suis pas allé sur le site externe mis en lien).

Peux tu expliquer  pour le forum AS  ? Que doit on voir en fait ?

 

Christian

 

[C8+ 582]

Une bien jolie invention de détails sur cette série d'image !!! C'est bien pour un zozio, mais pour faire de la science, c'est autre chose !!!

 

[-ms- 2]

Il y a 1 heure, asp06 a dit :

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

Oui c'est de la super résolution à partir d'une seule image. Pour éviter les inconvénients que tu signales, il faut utiliser plusieurs images et là ça devient très intéressant.

[capt flam 639]

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres  

[ALAING 59 619]

Ouais, j'ai même vu des séries à la télé où par satellite y voient les plaques des bagnoles et même les reflets dans les rétroviseurs alors . . .

[a s p 0 6 852]

... alors tu regardes trop la télévision!

 

[ALAING 59 619]

il y a 47 minutes, capt flam a dit :

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres

 

Et capt flam aussi ?

[capt flam 639]

Bon, on va pas développer ceci  sur ce forum, lisez  plutôt cela :

 

https://medium.com/the-downlinq/super-resolution-on-satellite-imagery-using-deep-learning-part-1-ec5c5cd3cd2

[PascalD 4 393]

C'est un gadget intéressant, mais:

 

- Pour que ça marche il faut une image de référence en haute résolution aussi proche que possible de l'image basse résolution à traiter

- ça génère une sorte de "morphing" (en injectant des détails construits à partir de l' image HR dans l'image LR)

Du coup le résultat est excellent si l' image  de référence et l'image cible sont identiques (à l' exception de la résolution), et plus ou moins plausible selon que l' image cible et l' image de référence sont éloignées (au sens de la distance dans l' espace vectoriel des paramètres du réseau qui les modélisent)

 

J'ai l'impression que cette technique  permet de fabriquer une image de galaxie spirale plausible à partir d'une autre image de galaxie spirale, et aussi de fabriquer une image galaxie spirale plausible à partir d'un amas globulaire.

 

Ou de  faire une image d' un crocodile à plume, si vous préférez les trucs de la famille des zoziaux;

Non ?

Modifié 9 novembre 2017 par PascalD

[Jijil 265]

Si j'ai bien compris, c'est bien pour tirer de belles affiches de la taille d'une façade au départ d'une image de smartphone, mais ca ne va clairement pas nous montrer des villes sur des exoplanètes (sauf si c'est ainsi qu'on a paramétré l'algorithme de deep learning)

Modifié 9 novembre 2017 par Jijil

[-ms- 2]

Google avait présenté, il y a quelques mois, un système analogue mais un peu moins poussé coté 'texture'.

Je trouve les réseaux de neurones intéressant pour réaliser la fusion de différentes zones à partir de 2 ensembles d'images brutes.
Un premier basé sur la moyenne ou la médiane. Un second basé sur la somme.

Il devient alors possible de traiter des images complexes comme M42 où le réseau sera capable de fusionner 'intelligemment' les différentes zones.

Ce qui est en train de changer aujourd'hui c'est que ces traitements peuvent se faire en quasi temps réel.

Modifié 9 novembre 2017 par ms

[Kaptain 5 938]

Il y a 4 heures, PascalD a dit :

une image de galaxie spirale plausible

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

[Anonyme8 36]

Et Fredo , faite de l'Uranus pour le faible contraste er resolution, cela changera un peu.

Il n'y a pas les lux et millers de lux pour mousser.

Uranus c'est 50mlux surfacique.

Une galaxie c'est ...

Quel est votre démarche ici, s'il y en a une.

[PascalD 4 393]

Il y a 4 heures, Kaptain a dit :

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

Ben non. C'est juste du morphing plus malin que les algorithmes classiques, faut voir ça comme des ondelettes "on steroids" : plus tu pousses, plus tu as de détails qui sont des artefacts. ça ne peut pas inventer de l' information qui n'est pas là. Sauf qu'avec les ondelettes, il était facile à un oeil exercé de repérer les artefacts, là ça sera beaucoup plus difficile parce que les primitives sont beaucoup plus complexes.

Comme dit ms, la fusion d'images de résolutions ou S/B ou focus différents est une application potentielle. Pour du traitement esthétique de l' image ça semble intéressant. Pour de la science, faut voir, la difficulté étant d'auditer le bazar pour se convaincre que les détails sont bien des détails et pas des artefacts. 

Il existe des papiers qui montrent qu'il suffit de pas grand chose pour que le training d'un réseau de neurones semble correct, mais soit en fait complètement à la ramasse pour toute une (grande) classe d'images. Par exemple en modifiant un seul pixel de l'image : http://www.bbc.com/news/technology-41845878

 

[-ms- 2]

L'apprentissage non-supervisé est intéressant pour le traitement d'une rafale d'images parce qu'il permet d'effectuer 3 opérations importantes :

- le partitionnement des patchs (clustering),

- la détection d'éléments atypiques (artefacts),

- la réduction de dimensions (analyse en composantes principales).

Tout cela se faisait de façon séparée par le passé mais les réseaux de neurones permettent aujourd'hui de le faire de façon intégrée et opportuniste.

L'estimation de la nature du bruit et du flou en amont permet de minimiser la deuxième opération qui est toujours source d'emmerdement.

En planétaire, l'apprentissage non-supervisé va permettre de révéler les satellites de la planète ainsi que d'autres objets faibles en arrière plan.

En ciel profond, l'apprentissage non-supervisé va permettre de fusionner correctement différentes zones brillantes et sombres, contrastées et peu contrastées (M42, M51, M16, ...).

C'est une ébauche du mécanisme de fusion qui dans notre cerveau est bien plus complexe :

[maire 252]

Allez le chieur est de retour: Les principes de traitement de signal - c'est à dire de la déconvolution - font que ne peut pas inventer de nouveaux détails au delà de la possibilité de l'inversion de la fonction de transfert à moins d'avoir un processus d'apprentissage... Cela veut dire que l'on traite alors des images à l'aide de  types/familles d'images dans un super-calculateur, réseaux de neurones ou autres.  Les anglicistes distingués appellent cela de " l'apprentissage profond " , en bon français d'un francophone de base façon loi Toubon du "deep learning " Philosophiquement, cela veut dire qu'on est en train de regarder une représentation d'un objet/figure déjà connu de la base, donc on regarde du déjà vu!!  Bref un procédé révolutionnaire? bof et rebof.

[Lucien 11 321]

Bonsoir,

 

C'est sûr qu'avec l'exemple en haut,  on contourne allègrement les limites de la théorie de l'information :

à moins d'admettre qu'un pixel puisse comporter plus d'information qu'un pixel !

 

Lucien

 

 

[-ms- 2]

Citation

donc on regarde du déjà vu!! 

On regarde pratiquement tout le temps du déjà vue car la nature de la plupart des images est fractale.

Dans le cas de l'aigle ci-dessus, on ne peut deviner les détails à l'échelle supérieure que par apprentissage. Ce qui est original c'est que cette équipe sort du vieux modèle PSNR pour évaluer la qualité du résultat.

Ce type de traitement qui sera intégré au processeur graphique va se banaliser dans les prochaines années.

[PascalD 4 393]

"on" (l' algorithme en mode prédictif) ne regarde pas du déjà vu au sens strict: "on" regarde un truc pixelisé en fonction d'un "'contexte" appris.

Le cerveau fait pareil , c'est pour ça qu'on voit des tortues et des élephants dans les nuages.

Les réseaux de neurones, pour faire de l' image esthétique c'est vachement efficace. Pour faire de la science avec c'est beaucoup plus difficile, mais probablement possible. Par exemple, pour chercher des ondes gravitationnelles : https://arxiv.org/pdf/1701.00008.pdf

[CPI-Z 1 240]

J'en ai un peu mare de ces traitements HR avec des nom très british dont je ne maîtrise pas la langue et les détails, alors je me suis livré à un petit exercice que chacun peut faire avec nos logiciels astro préférés (pour moi IRIS merci C Build ...).

 

Sur le site donné par capt flam :

https://medium.com/the-downlinq/super-resolution-on-satellite-imagery-using-deep-learning-part-1-ec5c5cd3cd2

 

Et j'ai fait une simple copie écran:

 

J'ai pris l'image base résolution puis :

- un changement d'échelle x4 splin (doux)

- multiplier x32 (car c'est une image en 0-255 et manque de dynamique)

- un simple traitement ondelette.

- un restitution de l'échelle x0,25 bilinéaire

- réglage du seuil de visualisation

- savejpg

 

Voici le résultat:

    

 

Mais je n'ai pas encore testé une méthode comparable avec l'oiseau.

[Jean-Philippe Cazard 3 972]

Le document d'origine sur lequel on peut voir d'autres jeux d'images est ici : http://webdav.tuebingen.mpg.de/pixel/enhancenet/

[CPI-Z 1 240]

OUI J-P Cazard sur ce lien on peut télécharger les images. Mais je ne comprends pas bien, quelle est l'image de départ et quelle est l'image d'arrivée. Peux-tu m'aider dans la compréhension ?

[-ms- 2]

L'image de départ c'est l'image 4 fois plus petite qui est dans le répertoire "input" :

 

Par la suite, tu as un script Python qui te permet d'utiliser l'algorithme ENet-PAT pour faire de la super résolution x4.

Si CUDA est installé sur ton ordinateur ça va assez vite sinon c'est plus lent.

Il y a d'autres recherches de ce type en cours mais ce travail est intéressant dans le traitement des textures.