frédogoto

image faible résolution et deep learning (extraordinaire)

Messages recommandés

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonsoir

Il n'y a pas d'explication qui accompagne ces 3 images (je ne suis pas allé sur le site externe mis en lien).

Peux tu expliquer  pour le forum AS  ? Que doit on voir en fait ?

 

Christian

 

Partager ce message


Lien à poster
Partager sur d’autres sites

Une bien jolie invention de détails sur cette série d'image !!! C'est bien pour un zozio, mais pour faire de la science, c'est autre chose !!!

 

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 1 heure, asp06 a dit :

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

Oui c'est de la super résolution à partir d'une seule image. Pour éviter les inconvénients que tu signales, il faut utiliser plusieurs images et là ça devient très intéressant. ^_^

Partager ce message


Lien à poster
Partager sur d’autres sites

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres :) 

Partager ce message


Lien à poster
Partager sur d’autres sites

Ouais, j'ai même vu des séries à la télé où par satellite y voient les plaques des bagnoles et même les reflets dans les rétroviseurs alors . . .

  • Haha 2

Partager ce message


Lien à poster
Partager sur d’autres sites

... alors tu regardes trop la télévision!

 

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 47 minutes, capt flam a dit :

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres

 

Et capt flam aussi ? ^_^

Partager ce message


Lien à poster
Partager sur d’autres sites

C'est un gadget intéressant, mais:

 

- Pour que ça marche il faut une image de référence en haute résolution aussi proche que possible de l'image basse résolution à traiter

- ça génère une sorte de "morphing" (en injectant des détails construits à partir de l' image HR dans l'image LR)

Du coup le résultat est excellent si l' image  de référence et l'image cible sont identiques (à l' exception de la résolution), et plus ou moins plausible selon que l' image cible et l' image de référence sont éloignées (au sens de la distance dans l' espace vectoriel des paramètres du réseau qui les modélisent)

 

J'ai l'impression que cette technique  permet de fabriquer une image de galaxie spirale plausible à partir d'une autre image de galaxie spirale, et aussi de fabriquer une image galaxie spirale plausible à partir d'un amas globulaire.

 

Ou de  faire une image d' un crocodile à plume, si vous préférez les trucs de la famille des zoziaux;

Non ?

Modifié par PascalD
  • J'aime 1
  • Merci 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Si j'ai bien compris, c'est bien pour tirer de belles affiches de la taille d'une façade au départ d'une image de smartphone, mais ca ne va clairement pas nous montrer des villes sur des exoplanètes ;) (sauf si c'est ainsi qu'on a paramétré l'algorithme de deep learning)

Modifié par Jijil
  • Haha 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Google avait présenté, il y a quelques mois, un système analogue mais un peu moins poussé coté 'texture'.

Je trouve les réseaux de neurones intéressant pour réaliser la fusion de différentes zones à partir de 2 ensembles d'images brutes.
Un premier basé sur la moyenne ou la médiane. Un second basé sur la somme.

Il devient alors possible de traiter des images complexes comme M42 où le réseau sera capable de fusionner 'intelligemment' les différentes zones.

Ce qui est en train de changer aujourd'hui c'est que ces traitements peuvent se faire en quasi temps réel.

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 4 heures, PascalD a dit :

une image de galaxie spirale plausible

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

Partager ce message


Lien à poster
Partager sur d’autres sites

Et Fredo , faite de l'Uranus pour le faible contraste er resolution, cela changera un peu.

Il n'y a pas les lux et millers de lux pour mousser.

Uranus c'est 50mlux surfacique.

Une galaxie c'est ...

Quel est votre démarche ici, s'il y en a une.

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 4 heures, Kaptain a dit :

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

Ben non. C'est juste du morphing plus malin que les algorithmes classiques, faut voir ça comme des ondelettes "on steroids" : plus tu pousses, plus tu as de détails qui sont des artefacts. ça ne peut pas inventer de l' information qui n'est pas là. Sauf qu'avec les ondelettes, il était facile à un oeil exercé de repérer les artefacts, là ça sera beaucoup plus difficile parce que les primitives sont beaucoup plus complexes.

Comme dit ms, la fusion d'images de résolutions ou S/B ou focus différents est une application potentielle. Pour du traitement esthétique de l' image ça semble intéressant. Pour de la science, faut voir, la difficulté étant d'auditer le bazar pour se convaincre que les détails sont bien des détails et pas des artefacts. 

Il existe des papiers qui montrent qu'il suffit de pas grand chose pour que le training d'un réseau de neurones semble correct, mais soit en fait complètement à la ramasse pour toute une (grande) classe d'images. Par exemple en modifiant un seul pixel de l'image : http://www.bbc.com/news/technology-41845878

 

Partager ce message


Lien à poster
Partager sur d’autres sites

L'apprentissage non-supervisé est intéressant pour le traitement d'une rafale d'images parce qu'il permet d'effectuer 3 opérations importantes :

- le partitionnement des patchs (clustering),

- la détection d'éléments atypiques (artefacts),

- la réduction de dimensions (analyse en composantes principales).

Tout cela se faisait de façon séparée par le passé mais les réseaux de neurones permettent aujourd'hui de le faire de façon intégrée et opportuniste.

L'estimation de la nature du bruit et du flou en amont permet de minimiser la deuxième opération qui est toujours source d'emmerdement.

En planétaire, l'apprentissage non-supervisé va permettre de révéler les satellites de la planète ainsi que d'autres objets faibles en arrière plan.

En ciel profond, l'apprentissage non-supervisé va permettre de fusionner correctement différentes zones brillantes et sombres, contrastées et peu contrastées (M42, M51, M16, ...).

C'est une ébauche du mécanisme de fusion qui dans notre cerveau est bien plus complexe :

visual_cortex.gif.b415c28b70f45e95659b3eae2114f7cc.gif

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Allez le chieur est de retour: Les principes de traitement de signal - c'est à dire de la déconvolution - font que ne peut pas inventer de nouveaux détails au delà de la possibilité de l'inversion de la fonction de transfert à moins d'avoir un processus d'apprentissage... Cela veut dire que l'on traite alors des images à l'aide de  types/familles d'images dans un super-calculateur, réseaux de neurones ou autres.  Les anglicistes distingués appellent cela de " l'apprentissage profond " , en bon français d'un francophone de base façon loi Toubon du "deep learning ":D Philosophiquement, cela veut dire qu'on est en train de regarder une représentation d'un objet/figure déjà connu de la base, donc on regarde du déjà vu!!  Bref un procédé révolutionnaire? bof et rebof.

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonsoir,

 

C'est sûr qu'avec l'exemple en haut,  on contourne allègrement les limites de la théorie de l'information :

à moins d'admettre qu'un pixel puisse comporter plus d'information qu'un pixel !

 

Lucien

 

 

Blague.jpg

  • Merci 1

Partager ce message


Lien à poster
Partager sur d’autres sites
Citation

donc on regarde du déjà vu!! 

On regarde pratiquement tout le temps du déjà vue car la nature de la plupart des images est fractale.

Dans le cas de l'aigle ci-dessus, on ne peut deviner les détails à l'échelle supérieure que par apprentissage. Ce qui est original c'est que cette équipe sort du vieux modèle PSNR pour évaluer la qualité du résultat.

Ce type de traitement qui sera intégré au processeur graphique va se banaliser dans les prochaines années.

Partager ce message


Lien à poster
Partager sur d’autres sites

"on" (l' algorithme en mode prédictif) ne regarde pas du déjà vu au sens strict: "on" regarde un truc pixelisé en fonction d'un "'contexte" appris.

Le cerveau fait pareil , c'est pour ça qu'on voit des tortues et des élephants dans les nuages.

Les réseaux de neurones, pour faire de l' image esthétique c'est vachement efficace. Pour faire de la science avec c'est beaucoup plus difficile, mais probablement possible. Par exemple, pour chercher des ondes gravitationnelles : https://arxiv.org/pdf/1701.00008.pdf

Partager ce message


Lien à poster
Partager sur d’autres sites

J'en ai un peu mare de ces traitements HR avec des nom très british dont je ne maîtrise pas la langue et les détails, alors je me suis livré à un petit exercice que chacun peut faire avec nos logiciels astro préférés (pour moi IRIS merci C Build ...).

 

Sur le site donné par capt flam :

https://medium.com/the-downlinq/super-resolution-on-satellite-imagery-using-deep-learning-part-1-ec5c5cd3cd2

 

Et j'ai fait une simple copie écran:

Capture-0.jpg.6f87a4fec9e8ba6ceac3bab1afb28a5b.jpg

 

J'ai pris l'image base résolution puis :

- un changement d'échelle x4 splin (doux)

- multiplier x32 (car c'est une image en 0-255 et manque de dynamique)

- un simple traitement ondelette.

- un restitution de l'échelle x0,25 bilinéaire

- réglage du seuil de visualisation

- savejpg

 

Voici le résultat:

zb1.jpg.ddfc0f97034e4b224bb393bce60432f0.jpg     zb2.jpg.536b94d3e96a511930c67f56718c0548.jpg

 

Mais je n'ai pas encore testé une méthode comparable avec l'oiseau.

Partager ce message


Lien à poster
Partager sur d’autres sites

OUI J-P Cazard sur ce lien on peut télécharger les images. Mais je ne comprends pas bien, quelle est l'image de départ et quelle est l'image d'arrivée. Peux-tu m'aider dans la compréhension ?

Partager ce message


Lien à poster
Partager sur d’autres sites

L'image de départ c'est l'image 4 fois plus petite qui est dans le répertoire "input" :

eagle.png.a934d1ff2dd888dc8610f377c056e6f1.png

 

Par la suite, tu as un script Python qui te permet d'utiliser l'algorithme ENet-PAT pour faire de la super résolution x4.

Si CUDA est installé sur ton ordinateur ça va assez vite sinon c'est plus lent.

Il y a d'autres recherches de ce type en cours mais ce travail est intéressant dans le traitement des textures.

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant