Super-résolution en "apprentissage profond" : Essais sur Mars

[polo0258 38 353]

bonjour Ms ! tu utilises un adc logiciel :  c'est à dire que tu vas recaler les couches rgb en temps réel  !

je pense pas que ce soit aussi  bon qu'un adc optique !!

polo

[-ms- 2]

Citation

V0.7.0118 2018.1.19

Remove support of gamma

AWB takes effect under low brightness scene

Fix blocking bug of ASIStopVideoCapture

Le SDK Linux est mis à jour assez régulièrement (le support du gamma a été supprimé dans la dernière version).
Pas de driver natif sous Linux.

 

Citation

 

Applicable platform:
ubuntu:x86, x64
armv6: raspberry pi
armv5: armv5 Soft-Float
mac os: mac
armv7: raspberry pi2
armv8: arm 64bit

 

EVA utilise Ubuntu x64 (Linux Mint 18.3 Cinnamon 64-bit).

 

[-ms- 2]

Citation

 

tu utilises un adc logiciel :  c'est à dire que tu vas recaler les couches rgb en temps réel  !

je pense pas que ce soit aussi  bon qu'un adc optique !!

 

 

 

C'est un petit essai que j'avais fais il y a quelques mois.
A gauche : l'image à traiter
Au centre : le recalage des couches RVB
A droite :  ADC logiciel de l'époque (aujourd'hui dans EVA j'utilise une autre approche qui vient à bout du léger résidu).

Pourquoi un ADC logiciel ?

Parce que je peux passer avec EVA d'un objet avec ADC (Mars) à un objet sans ADC (Jupiter) sans modifier ma config.

 

En fait EVA regroupe des traitements en temps réel de problèmes inverses : turbulence atmosphérique, dispersion atmosphérique, vignetage, brouillard, ...

 

 

Modifié 19 mars 2018 par ms

[Nebulium 1 436]

Le 19/03/2018 à 04:39, ms a dit :

recaler les couches rgb

 

Hello  

 

A ce propos, ms, connais-tu le principe mathématique utilisé pour le recalage automatique dans les logiciels qui empilent des images (AS3, Registax, Avistack, DSS, PixIn, etc) ?

Modifié 20 mars 2018 par Nebulium

[-ms- 2]

Citation

connais-tu le principe mathématique utilisé pour le recalage automatique dans les logiciels qui empilent des images (AS3, Registax, Avistack, DSS, PixIn, etc) ?

Je ne sais pas quels algorithmes utilisent ces logiciels. Il y a 2 grandes familles d'algorithmes de recalage : rigide et élastique.

 

Je viens de faire un test pour visualiser la méthode utilisée par EVA pour aller à la pèche aux détails :

 

 

Modifié 20 mars 2018 par ms

[Nebulium 1 436]

Il y a 4 heures, ms a dit :

Il y a 2 grandes familles d'algorithmes de recalage : rigide et élastique

 

Intuitivement, je pencherais pour l'élastique : déformation du réseau d'AP; mais comment ?

L'article de Wikipedia  gravite à des années-lumière au dessus de ma comprenure  , mais toi, tu connais peut-être ce truc.

 

 

Il y a 4 heures, ms a dit :

aller à la pèche aux détails

 

Comme tu ne donnes aucune explication ni sur le CV de l'image de départ ni sur ses aventures ultérieures, tout ce que je peux dire c'est qu'effectivement la pêche a été fructueuse, (il faudrait cependant prendre le temps de vérifier si les détails s'apparentent effectivement à des espèces connues  :)) mais que le rendu général est plutôt dur !

Et en dessous, c'est quoi ? des isophotes ?

 

Tiens, histoire de revenir à nos moutons, à comparer avec le bas de la page précédente :

 

 

Balance couleur d'origine.

A g,  empilement  AS3 des 1000 meilleures du film, triées et centrées avec Ninox.

A d., traitement FFT puis DCSCN, modèle généraliste.

Ça me rappelle  l'Ektachrome 1600 poussé 2x  (oh p..., plus de 20 ans déjà !  )

 

 

 

 

Pour plus, c'est ici

 

Modifié 20 mars 2018 par Nebulium

[-ms- 2]

Citation

mais toi, tu connais peut-être ce truc.

Dans le monde médical le recalage élastique 2D/3D est roi, par exemple toute la famille issue de la librairie ITK : SimpleITK, Elastix, SimpleElastix.
Toutes ces approches sont intéressantes mais malheureusement pas vraiment "temps réel".
EVA utilise la librairie ArrayFire 3.5.1 (calcul par GPU pour CUDA) sous Linux et Tegra X1 pour implémenter tous ses algorithmes (recalage, problèmes inverses, fusion, ...).
 

Citation

 

A g,  empilement  AS3 des 1000 meilleures du film, triées et centrées avec Ninox.

A d., traitement FFT puis DCSCN, modèle généraliste.

 

AS3 fusionne des "lucky regions" dans le désordre c'est un bon début après tes autres traitements s'appliquent à l'image entière (et non aux patchs)  ça c'est pas top.
EVA tient compte en plus de l'auto-similarité (nature fractale des images brutes) et de la confirmation des détails au niveau des patchs.

Les vidéos obtenues sur le terrain (vidéos assistées) sont utilisables en entrée pour la super résolution avec TensorFlow.

Ce qui sera intéressant c'est de comparer l'image super résolue obtenue en 2,5 minutes à 120ips (18.000 images brutes donnant 18 images de la vidéo assistée).
En fait, l'acquisition pourra durer 5 heures d'où 120 images super résolues qui permettront de faire une vidéo montrant une demi-rotation de Jupiter.

 

 

Une petite simulation en attendant les résultats sur le terrain.

 

 

[Nebulium 1 436]

Hello

 

Je n'avais pas encore voulu aborder la Lune en SR, "chi va piano, va sano e va lontano", ce fil de Robert m'a incité à faire un rapide essai informel sur un échantillon de l'image LO (déjà recopié ici ? par RC et publié  en JPG), agrandi 2x en SR et boosté sauvagement en FFT pour forcer les détails.

Comparaison avec les prises NAC de la LROC en 64m/pixel :

 

Modifié 23 mars 2018 par Nebulium

[-ms- 2]

Dans le cas présent d'une image prise depuis la Terre par un télescope de 300mm, le bruit n'est pas maîtrisé assez tôt et cela se répercute sur l'image finale et sa résolution.

Je préfère un patch de 30x30 pixels entièrement résolu à une image entière à moitié résolue.

L'objectif d'EVA c'est justement d'obtenir des images Full HD (1920x1080) complètement résolues (grille de 64x36 patchs de 30x30 pixels).

 

Je suis en train de valider la config minimum pour le Full HD :

- Core i5-7300HQ
- 8 Go DDR4-2400
- GTX 1050 Ti 4Go
- SSD M.2 SATA Crucial MX300 525Go

- Consommation 135W

 

et pour au dessus du Full HD :

- Core i7-7700HQ
- 16 Go DDR4-2400
- GTX 1060 6Go
- SSD M.2 SATA Crucial MX300 525Go

- Consommation 180W

 

 

 

 

 

Modifié 25 mars 2018 par ms