frédogoto

image faible résolution et deep learning (extraordinaire)

Recommended Posts

Publicité
En vous inscrivant sur Astrosurf,
ce type d'annonce ne sera plus affiché.
Photographier la Lune
Guide complet pour la photographier de la Lune.
Information et commande sur www.photographierlalune.com

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

Share this post


Link to post
Share on other sites

Bonsoir

Il n'y a pas d'explication qui accompagne ces 3 images (je ne suis pas allé sur le site externe mis en lien).

Peux tu expliquer  pour le forum AS  ? Que doit on voir en fait ?

 

Christian

 

Share this post


Link to post
Share on other sites

Une bien jolie invention de détails sur cette série d'image !!! C'est bien pour un zozio, mais pour faire de la science, c'est autre chose !!!

 

Share this post


Link to post
Share on other sites
Il y a 1 heure, asp06 a dit :

ça produit une image assez nette mais les détails sont un peu "inventés", l'image reconstruite manque de fidelité avec l'original qui sert à fabriquer l'image floue à dépixeliser.

Oui c'est de la super résolution à partir d'une seule image. Pour éviter les inconvénients que tu signales, il faut utiliser plusieurs images et là ça devient très intéressant. ^_^

Share this post


Link to post
Share on other sites

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres :) 

Share this post


Link to post
Share on other sites

Ouais, j'ai même vu des séries à la télé où par satellite y voient les plaques des bagnoles et même les reflets dans les rétroviseurs alors . . .

  • Haha 2

Share this post


Link to post
Share on other sites
il y a 47 minutes, capt flam a dit :

C'est utilisé avec les satellites espions, cela permet de gagner encore quelques précieux centimètres

 

Et capt flam aussi ? ^_^

Share this post


Link to post
Share on other sites

C'est un gadget intéressant, mais:

 

- Pour que ça marche il faut une image de référence en haute résolution aussi proche que possible de l'image basse résolution à traiter

- ça génère une sorte de "morphing" (en injectant des détails construits à partir de l' image HR dans l'image LR)

Du coup le résultat est excellent si l' image  de référence et l'image cible sont identiques (à l' exception de la résolution), et plus ou moins plausible selon que l' image cible et l' image de référence sont éloignées (au sens de la distance dans l' espace vectoriel des paramètres du réseau qui les modélisent)

 

J'ai l'impression que cette technique  permet de fabriquer une image de galaxie spirale plausible à partir d'une autre image de galaxie spirale, et aussi de fabriquer une image galaxie spirale plausible à partir d'un amas globulaire.

 

Ou de  faire une image d' un crocodile à plume, si vous préférez les trucs de la famille des zoziaux;

Non ?

Edited by PascalD
  • Like 1
  • Thanks 1

Share this post


Link to post
Share on other sites

Si j'ai bien compris, c'est bien pour tirer de belles affiches de la taille d'une façade au départ d'une image de smartphone, mais ca ne va clairement pas nous montrer des villes sur des exoplanètes ;) (sauf si c'est ainsi qu'on a paramétré l'algorithme de deep learning)

Edited by Jijil
  • Haha 1

Share this post


Link to post
Share on other sites

Google avait présenté, il y a quelques mois, un système analogue mais un peu moins poussé coté 'texture'.

Je trouve les réseaux de neurones intéressant pour réaliser la fusion de différentes zones à partir de 2 ensembles d'images brutes.
Un premier basé sur la moyenne ou la médiane. Un second basé sur la somme.

Il devient alors possible de traiter des images complexes comme M42 où le réseau sera capable de fusionner 'intelligemment' les différentes zones.

Ce qui est en train de changer aujourd'hui c'est que ces traitements peuvent se faire en quasi temps réel.

Edited by ms

Share this post


Link to post
Share on other sites
Il y a 4 heures, PascalD a dit :

une image de galaxie spirale plausible

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

Share this post


Link to post
Share on other sites

Et Fredo , faite de l'Uranus pour le faible contraste er resolution, cela changera un peu.

Il n'y a pas les lux et millers de lux pour mousser.

Uranus c'est 50mlux surfacique.

Une galaxie c'est ...

Quel est votre démarche ici, s'il y en a une.

Share this post


Link to post
Share on other sites
Il y a 4 heures, Kaptain a dit :

 

Exactement, mais l’image correspondra-t-elle à la galaxie réelle ?

Ben non. C'est juste du morphing plus malin que les algorithmes classiques, faut voir ça comme des ondelettes "on steroids" : plus tu pousses, plus tu as de détails qui sont des artefacts. ça ne peut pas inventer de l' information qui n'est pas là. Sauf qu'avec les ondelettes, il était facile à un oeil exercé de repérer les artefacts, là ça sera beaucoup plus difficile parce que les primitives sont beaucoup plus complexes.

Comme dit ms, la fusion d'images de résolutions ou S/B ou focus différents est une application potentielle. Pour du traitement esthétique de l' image ça semble intéressant. Pour de la science, faut voir, la difficulté étant d'auditer le bazar pour se convaincre que les détails sont bien des détails et pas des artefacts. 

Il existe des papiers qui montrent qu'il suffit de pas grand chose pour que le training d'un réseau de neurones semble correct, mais soit en fait complètement à la ramasse pour toute une (grande) classe d'images. Par exemple en modifiant un seul pixel de l'image : http://www.bbc.com/news/technology-41845878

 

Share this post


Link to post
Share on other sites

L'apprentissage non-supervisé est intéressant pour le traitement d'une rafale d'images parce qu'il permet d'effectuer 3 opérations importantes :

- le partitionnement des patchs (clustering),

- la détection d'éléments atypiques (artefacts),

- la réduction de dimensions (analyse en composantes principales).

Tout cela se faisait de façon séparée par le passé mais les réseaux de neurones permettent aujourd'hui de le faire de façon intégrée et opportuniste.

L'estimation de la nature du bruit et du flou en amont permet de minimiser la deuxième opération qui est toujours source d'emmerdement.

En planétaire, l'apprentissage non-supervisé va permettre de révéler les satellites de la planète ainsi que d'autres objets faibles en arrière plan.

En ciel profond, l'apprentissage non-supervisé va permettre de fusionner correctement différentes zones brillantes et sombres, contrastées et peu contrastées (M42, M51, M16, ...).

C'est une ébauche du mécanisme de fusion qui dans notre cerveau est bien plus complexe :

visual_cortex.gif.b415c28b70f45e95659b3eae2114f7cc.gif

  • Like 1

Share this post


Link to post
Share on other sites

Allez le chieur est de retour: Les principes de traitement de signal - c'est à dire de la déconvolution - font que ne peut pas inventer de nouveaux détails au delà de la possibilité de l'inversion de la fonction de transfert à moins d'avoir un processus d'apprentissage... Cela veut dire que l'on traite alors des images à l'aide de  types/familles d'images dans un super-calculateur, réseaux de neurones ou autres.  Les anglicistes distingués appellent cela de " l'apprentissage profond " , en bon français d'un francophone de base façon loi Toubon du "deep learning ":D Philosophiquement, cela veut dire qu'on est en train de regarder une représentation d'un objet/figure déjà connu de la base, donc on regarde du déjà vu!!  Bref un procédé révolutionnaire? bof et rebof.

Share this post


Link to post
Share on other sites

Bonsoir,

 

C'est sûr qu'avec l'exemple en haut,  on contourne allègrement les limites de la théorie de l'information :

à moins d'admettre qu'un pixel puisse comporter plus d'information qu'un pixel !

 

Lucien

 

 

Blague.jpg

  • Thanks 1

Share this post


Link to post
Share on other sites
Citation

donc on regarde du déjà vu!! 

On regarde pratiquement tout le temps du déjà vue car la nature de la plupart des images est fractale.

Dans le cas de l'aigle ci-dessus, on ne peut deviner les détails à l'échelle supérieure que par apprentissage. Ce qui est original c'est que cette équipe sort du vieux modèle PSNR pour évaluer la qualité du résultat.

Ce type de traitement qui sera intégré au processeur graphique va se banaliser dans les prochaines années.

Share this post


Link to post
Share on other sites

"on" (l' algorithme en mode prédictif) ne regarde pas du déjà vu au sens strict: "on" regarde un truc pixelisé en fonction d'un "'contexte" appris.

Le cerveau fait pareil , c'est pour ça qu'on voit des tortues et des élephants dans les nuages.

Les réseaux de neurones, pour faire de l' image esthétique c'est vachement efficace. Pour faire de la science avec c'est beaucoup plus difficile, mais probablement possible. Par exemple, pour chercher des ondes gravitationnelles : https://arxiv.org/pdf/1701.00008.pdf

Share this post


Link to post
Share on other sites

J'en ai un peu mare de ces traitements HR avec des nom très british dont je ne maîtrise pas la langue et les détails, alors je me suis livré à un petit exercice que chacun peut faire avec nos logiciels astro préférés (pour moi IRIS merci C Build ...).

 

Sur le site donné par capt flam :

https://medium.com/the-downlinq/super-resolution-on-satellite-imagery-using-deep-learning-part-1-ec5c5cd3cd2

 

Et j'ai fait une simple copie écran:

Capture-0.jpg.6f87a4fec9e8ba6ceac3bab1afb28a5b.jpg

 

J'ai pris l'image base résolution puis :

- un changement d'échelle x4 splin (doux)

- multiplier x32 (car c'est une image en 0-255 et manque de dynamique)

- un simple traitement ondelette.

- un restitution de l'échelle x0,25 bilinéaire

- réglage du seuil de visualisation

- savejpg

 

Voici le résultat:

zb1.jpg.ddfc0f97034e4b224bb393bce60432f0.jpg     zb2.jpg.536b94d3e96a511930c67f56718c0548.jpg

 

Mais je n'ai pas encore testé une méthode comparable avec l'oiseau.

Share this post


Link to post
Share on other sites

OUI J-P Cazard sur ce lien on peut télécharger les images. Mais je ne comprends pas bien, quelle est l'image de départ et quelle est l'image d'arrivée. Peux-tu m'aider dans la compréhension ?

Share this post


Link to post
Share on other sites

L'image de départ c'est l'image 4 fois plus petite qui est dans le répertoire "input" :

eagle.png.a934d1ff2dd888dc8610f377c056e6f1.png

 

Par la suite, tu as un script Python qui te permet d'utiliser l'algorithme ENet-PAT pour faire de la super résolution x4.

Si CUDA est installé sur ton ordinateur ça va assez vite sinon c'est plus lent.

Il y a d'autres recherches de ce type en cours mais ce travail est intéressant dans le traitement des textures.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now



  • Similar Content

    • By phenix
      slt tt le monde
      je commence a publier mes petits travaux de confiné
      pendant  ces 2 mois  j ai  revisité  un peu mes images  , et  j ai  eu l idée de  faire  , quelques  compositions avec  mes images  passées  et   présentes
        
      voici  en  1er   le ciel de mai de l ouest a l est avec le soleil venus mercure , un morceau de voie lactée , jupi saturne mars , et la comète swan ( de droite a gauche )
      jai réalisé ttes les photos en avril ou mai , sauf mars qui date de 2018 et le paysage aussi , photo faite au mt lachens , au cours d une super soirée , avec gilou , vincent , uwe , jean , ...
      a + pour la suite
      serge

    • By Anton et Mila
      Bonjour à tous, 
      La nuit du 30 mai a été propice pour faire des amas globulaires, mais je ne montre que M3. M53 et NGC 5053 sont moches car le suivi sans autoguidage n'était pas fameux du fait d'une mise en station imparfaite. J'ai pu avoir beaucoup mieux. Les poses sont de 3 secondes. Une centaine de poses sont prises et j'en ai conservée 92. C'est peu, mais cela donne une idée de la forme de l'amas. C'est donc toujours avec des prises de vue en mode planétaire, traitées avec astrosurface H64, R6 et faststone viewer. J'ai mis une miniature de cliché téléchargé sur wiki avec le HST, avec l'orientation de mon cliché.
      Lunette LZOS 152mm/1200mm et caméra ZWO ASI 290MM au foyer.
      ClaudeS

       
      HST

       
    • By dfremond
      Bonsoir
       
      Comme prévu, je poste ce soir le resultat de ma serie ciel profond en pose courte du 24 mai. Le seeing etait assez moyen, mais l'avantage du grand champ et de la focale assez courte, , c'est que ça passe quand meme..
       
      J'ai été verifier des la tombée de lla nuit  M61 et sa SN, qui commence a s'eloigner vers l'Ouest. Du coup la balance des couleurs est tres moche, et j'ai transformé en NB, je trouve que ça passe mieux. On voit qu'elle est tres lumineuse.
      Version couleur

      Version NB
       
      Ensuite M82 et son feux d'artifice de couleurs:
       

       
      Version Cropée

       
      Ensuite NGC 4394, que je ne connaissais pas, belle spirale qui revele quelques nuances colorées, qui valent le détour:
       

       
      Version cropée:

       
      Tout le traitement d'alignement et de stacking est réalisé dans SIRIL, et le reste dans Astrosurface et Photoshop.   Capture Sharpcap ou Risingsky selon le besoin.
       
      En esperant que cela vous ai plu, je vous souhaite un ciel bien pur!
    • By Loup Lunaire
      Bonjour,
       
      C'est encore moi, des cirrus de haute altitude se propageant j'ai préféré faire des photos la journée.
      Lors de la registration plein de vilain artefacts, alors un recadrage obligatoire.
       

       
       
      Bon ciel lunaire
    • By XiDingdong
      Bonjour, je m'appelle Sebastien et je pratique l'astronomie depuis 1 an.
       
      J'ai commencer avec un Skywatcher 130/900 EQ2 et je depuis quelques semaine je l'ai revendu à un nouveau venu à son tour et j'ai pu acquérir un Skywatcher Maksutov 127/1500 AZ GTI Goto (j'ai principalement fais ce choix lié au fait que j'habite en appartement le temps fume l'achèvement d'une construction qui vient de démarrer et également lié au fait que je n'ai pas de jardin actuellement 😭).
       
      Je me suis lancé depuis peu dans l'astrophotographie avec peu d'équipement de photos investir (voir quasi aucun pour le moment) car avant de dépenser des sommes onéreuses je souhaitai voir si cela en valait la peine et si cela me plaisait. 
       
      Je vous partage donc mes premiers clichés de la lune sur 2 soirées.
       
      Je serai ravi d'avoir vos retours, honnête, sur ces premières photo.
       
      PS : désolé pour les fautes, j'ai de l'or dans mes mains d'artisan mais pas dans mes notions d'orthographe, grammaire et conjugaisons.
       
       




  • Images