Nebulium

Super-résolution en "apprentissage profond" : Essais sur Mars

Recommended Posts

Il y a 6 heures, ms a dit :

Ce truc ne traite que le bruit gaussien

 

et le monochrome ! :( 

Il est loin d'être mûr et son suivi me semble bien approximatif, vues les réponses aux questions.

En plus il est écrit en Python 2 et le "2to3"  n'est pas parfait !  Marre de parcourir les doléances chez "Stackoverflow", et encore heureux que ce site existe pour les pauvres bidouilleurs non informaticiens !

 

En attendant de trouver mieux, ce n'est pas évident, j'ai déjà bien fouillé le GitHub,  je vais me rabattre sur les filtres traditionnels de VDub et Avisynth, à moins que "ms" me dévoile quelques uns des appas d'EVA dont il nous parle tant !  -_- 

Share this post


Link to post
Share on other sites
Advertising
By registering on Astrosurf,
this type of ad will no longer be displayed.
Planetary Astronomy
Observing, imaging and studying the planets
A comprehensive book about observing, imaging, and studying planets. It has been written by seven authors, all being skillful amateur observers in their respective domains.
More information on www.planetary-astronomy.com

En fusionnant les 10 premières images de la vidéo assistée (une image de la vidéo assistée est obtenue avec 100 images brutes consécutives) : ¬¬

jup_polo_patchs.png.7fc4221c091f4448e4d8fb97e7067a2a.png

 

C'est ce que l'on voit à l'écran en moins de 10s (1000/120=8,3s).

L'image peut encore s'améliorer car on peut travailler sur 2,5minutes soit 18 images de ce niveau de qualité en entrée de TensorFlow pour obtenir une image super résolue.

Avec une image super résolue toutes les 2,5 minutes, il est possible de faire une belle animation de Jupiter sur 5 heures (limite de mon système d'acquisition).

 

EVA devrait commencer à produire des images comme ci-dessus pour l'opposition de Jupiter de 2018 soit 10 ans après le démarrage de ce projet.

Traiter 120 images brutes 800x600 par seconde demande une puissance de calcul GPU équivalente à une GeForce GTX 1060 c'est en gros la puissance du NUC qu'Intel devrait produire le mois prochain ou du mini pc Asrock DeskMini GTX 1060 pour rester dans des configurations de moins de 2 litres de volume.

 

Citation

En attendant de trouver mieux, ce n'est pas évident, j'ai déjà bien fouillé le GitHub,  je vais me rabattre sur les filtres traditionnels de VDub et Avisynth, à moins que "ms" me dévoile quelques uns des appas d'EVA dont il nous parle tant ! 

Il existe des solutions industrielles (par exemple pour la conduite par temps de brouillard ou pour la mesure de l'activité cérébrale) mais les industriels se gardent bien de mettre leurs algorithmes sur GitHub (ils sponsorisent des concours pour voir comment évolue le petit monde des algorithmes de vision).

 

Au fait, est-ce qu'il existe une caméra couleur capable de produire dès l'acquisition des images brutes avec des couleurs plus fidèles ?
Il semble qu'avec ces chinoiseries d'ASI ce ne soit pas possible. ¬¬
Tantôt c'est jaunâtre, tantôt c'est verdâtre et tantôt c'est rougeâtre.

Edited by ms

Share this post


Link to post
Share on other sites
Il y a 3 heures, ms a dit :

Au fait, est-ce qu'il existe une caméra couleur capable de produire dès l'acquisition des images brutes avec des couleurs plus fidèles ?
Il semble qu'avec ces chinoiseries d'ASI ce ne soit pas possible. ¬¬
Tantôt c'est jaunâtre, tantôt c'est verdâtre et tantôt c'est rougeâtre.

 

Polo avait écrit :

 

on règle wr à 63 et wb à 99  ,on ne peut régler wv !! donc c'est un peu vert mais ça se corrige ensuite !

 

En effet, si c'est sur une échelle de 100, on n'a pas de marge de manœuvre pour la balance des blancs  qui iront du  rougeâtre au verdâtre (film Jupiter) en passant par le jaune (film Saturne ).

Bizarre, cette conception de caméra ! Il faudrait éplucher le mode d'emploi en chinois et non sa traduction par ordinateur  en anglais... ;)

Et insérer le bon  filtre Wratten bleu ne serait pas génial pour le bruit  :( !

 

Il y a 4 heures, ms a dit :

les industriels se gardent bien de mettre leurs algorithmes sur ...

 

Hum, ce ne sont pas les seuls ! -_-

Share this post


Link to post
Share on other sites
Le 28/02/2018 à 17:39, polo0258 a dit :

voila jean ! diamètre 300mm pixel 3.75

 

 

Bonjour Paul

 

Si mes calculs sont exacts, :

- le PS de ton instrument est d'environ 1/500 000 rad.

- 3 pixels de la CCD occupent environ 10µ

- La focale mini à utiliser serait autour de 10 x 500 000 / 1 000 000 µ = 5 m

A combien travailles-tu ?

 

Share this post


Link to post
Share on other sites

à f/d de 20 pas le choix donc 6m de focale  + adc  ,un peu plus alors !  pour saturne !

polo

Share this post


Link to post
Share on other sites
Il y a 4 heures, polo0258 a dit :

f/d de 20

On est dans les clous, OK.

C'est le cas du film de Juju, aussi ?

 

Le 08/03/2018 à 06:42, ms a dit :

100 images brutes consécutives

 

ms, peux-tu m'indiquer lesquelles ?

 

 

Share this post


Link to post
Share on other sites

jupiter t 225  pixel 3.75  focale 6.800 de mémoire!

polo

Share this post


Link to post
Share on other sites

jup_polo.png.1733e27f71066de18585167d467f3c25.png

 

Avec des patchs de 32x32 on commence à obtenir une image assez détaillée à partir de 1.000 images brutes mais dans la pratique il vaut mieux utiliser des patchs de 16x16 avec 18.0000 images brutes qui correspondent à 2,5minutes à 120fps. Pour le stockage, je ne vais conserver que les images obtenues à partir de 120 images brutes consécutives.

Pour 5 heures d'acquisition cela représente : 5 x 3.600 = 18.000 images d'une qualité équivalente à l'image ci-dessus soit 3,6Go d'images PNG dans un SSD de 500Go.

 

eva_2.png.b7ffaaf905ddd9c7c82ec3c61c0e7d69.png

 

EVA c'est la possibilité d'utiliser en post-traitement TensorFlow pour traiter des milliers d'images comme celle de droite pour construire une vidéo super résolue. ¬¬
La première vidéo de ce type sortira avec l'opposition de Jupiter puis suivront Saturne et Mars.

Edited by ms

Share this post


Link to post
Share on other sites

Bonjour à tous,

 

Super intéressant ce sujet... Même s'il est  à prendre avec des pincettes... Beaucoup même.

J'y reviendrai dès que j'en aurai lu un peu plus.

Au sujet de la question métaphysique sur le nom du "phare breton" ( "Pas vu cette tour au sommet caractéristique = une aiguille dans une botte de foin !") il fallait chercher à New-York plutôt qu'en Chine. C'est l'Empire State Building ;-) En effet en vue aérienne sous un angle peu commun....

 

Francis

Share this post


Link to post
Share on other sites
Il y a 23 heures, Francis Adelving a dit :

Super intéressant ce sujet... Même s'il est  à prendre avec des pincettes... Beaucoup même

 

Hello :)

 

Merci Francis ! :) 

 

Oui, l'amélioration des images astro  par l'IA reste discutable essentiellement par le risque d'invention de nouveaux détails.

Par contre l'amélioration de leur aspect est intéressant, même si cette étape n'est qu'un saut de puce comparée au grand bond en avant que fut la technique d'empilement.

Et si le "deep learning" appliqué aux images classiques  de test obtenues par réduction apporte de très légers résultats, pour l'astro je n'ai pas encore vu grand'chose.

Comme l'a indiqué plus haut "ms" (et montré sur l'EVA grillagée), une piste plus prometteuse est la réduction du bruit des images individuelles.

Le facteur majeur est l'amélioration de la technologie des capteurs, loin de cesser de progresser, il suffit de comparer les images sur les forums année après année.

Complémentairement, nous autres astrams pouvons à peu de frais utiliser les possibilités des progrès des traitements et je me suis donc orienté maintenant vers l'utilisation de l'IA pour la réduction du bruit.

 

En attendant un retour d'aide de développeurs dans ce domaine pour régler quelques problèmes basiques d'informatique qui me dépassent pour l'utilisation de leurs travaux, j'ai refait un tour des fondamentaux.

 

L'ami Wesley continuant de faire évoluer son Ninox, j'ai retesté sur le film Jupiter" par Polo ci-dessus quelques fonctions que j'avais trouvé intéressantes il y a bien longtemps déjà, pour améliorer  les images individuelles avant empilement par AS3 :

- 1. Le centrage de la planète

- 2. La réduction du bruit

- 3. Le morphing

 

De mes premiers essais, il s'avère que les points 1 et 3 sont quasiment intégrés dans AS3.

Pour le 2,  l’algorithme basiques utilisé n'est pas à négliger, mais les limitations de ce logiciel expérimental (images monochromes, limitation de largeur à 360) obligent à des manœuvres multiples que je n'ai pas encore effectuées, mais un premier essai sur la luminance m'incite à y procéder.

Ce travail sera à compléter avec les filtres VirtualDub  et AviSynth, plus faciles à utiliser.

____________________________________________________________

à New-York plutôt qu'en Chine. C'est l'Empire State Building

 

Merci Francis :)

 

J'avais fait une confusion dans ma tête avec le "Chrysler".

 

Voici donc un  comparatif (améliorable !) avec  le 3D de GE.

 

ESB.png.61182e0e1c7cbacf90df41cf522932c4.png

 

 

On peut y vérifier les détails, par exemple :

 

detail.png.42cdb0365e6bfe8c05b1a991c6230a82.png

 

et constater que plusieurs autres immeubles ont  disparus ou été construits sur cette zone très convoitée !;)

 

Edited by Nebulium

Share this post


Link to post
Share on other sites
Citation

Le facteur majeur est l'amélioration de la technologie des capteurs, loin de cesser de progresser, il suffit de comparer les images sur les forums année après année.

Des capteurs plus sensibles, moins bruités et plus rapides. Cela permettra à EVA d'aller plus vite et d'augmenter son champ d'exploration mais cela changera très peu la qualité de l'image résultante. ¬¬

En // les cartes graphiques seront plus puissantes et consommeront moins. EVA construit un capteur virtuel (capteur CMOS + GPU) qui va assez loin dans la recherche des détails.

 

Citation

Voici donc un  comparatif (améliorable !) avec  le 3D de GE.

Je suis pas trop mauvais dans le rendu. ¬¬

city_eva.png.af274be7f423d3535b6ac6f4dd81dbe6.png

Edited by ms

Share this post


Link to post
Share on other sites
Le 13/03/2018 à 21:03, ms a dit :

Je suis pas trop mauvais dans le rendu

 

Certes,  pour le rendu colorimétrique,  je te trouve bien meilleur que GE !

Mais alors, me chercherais-tu sur un nouveau terrain ?   :P

 

Presse-papier01.png.94e82cf1f9bd8072536d9d7122a4b792.png

 

PS : Je viens de faire un traitement conventionnel (AS3, ap16, 40% des 8618 images, pas de drizzle)  du film de Polo, suivi d'un post-traitement musclé, pour voir et comparer  les ultimes détails avec ta dernière EVA grillagée

Pour autant que l'on puisse en  juger à travers sa résille, finalement son rendu, bien que plaisant au premier abord, me semble sentir un peu le lissage au Neat . Même algorithme ???

 

 

Presse-papier01.png.04bb35c2443bbb806e6680a47c3f2d13.png

 

Faudra que j'y passe la mienne !;)

Edited by Nebulium

Share this post


Link to post
Share on other sites
Citation

Je viens de faire un traitement conventionnel (AS3, ap16, 40% des 8618 images, pas de drizzle)  du film de Polo, suivi d'un post-traitement musclé, pour voir et comparer  les ultimes détails avec ta dernière EVA grillagée

Tu utilises 40% des 8618 images donc il te faut environ 8618 images avec AS3.

Je n'utilise que les 1000 premières images, pour comparer il me faudra appliquer la super résolution à 8 images de ce type.

D'autre part avec des patchs plus petits 16x16 ou 8x8, je devrais obtenir des images plus fines.

Tout cela est encore en développement mais je devrais être prêt pour l'opposition de Jupiter puis Saturne puis Mars.

 

En un peu plus contrasté :

jup_polo.png.5f225cc5af0eab59a7c27b5c735281bf.png

Edited by ms

Share this post


Link to post
Share on other sites

Ho

Il y a 2 heures, ms a dit :

En un peu plus contrasté :

 

Honnêtement : BEURK !

Et tu ne pourrais-pas ôter cette grille ?

 

Il y a 2 heures, ms a dit :

Je n'utilise que les 1000 premières images

 

 

OK, je vais faire pareil :

AS3 montrant une sévère chute de qualité vers la 650ème, j'ai fait  aussi un essai avec les 625 premières seulement.

 

Presse-papier02.png.30b4293ae7f71ae3ab8c8b0cd2331b5b.png

 

De g. à d. :

- avec les 3347 meilleures (= image précédente)

- avec les 1000 premières

- avec les 625 premières

- et la 625 avec un très léger peaufinage au Neat nouveau (il faut que je joue un peu plus avec, il a fait des progrès) .

 

Pour ajouter l'apprentissage profond, j'attend des renforts promis depuis la Chine et les USA  -_- 

Edited by Nebulium

Share this post


Link to post
Share on other sites

Tu ne crois pas que ta version avec les 1000 premières manque de détails ( bon la mienne à droite faite cette fois-ci avec des patchs 16x16 n'est pas encore parfaite mais on commence à apercevoir plus de détails ) ?

5aab008e371bb_Capturedu2018-03-1600-21-26.png.d3cabef16e149472a442f37cf38ab863.png

 

jup_polo.png.3f998b17049e6e99dc2034a6868f574d.png

 

Avec des patchs de 8x8 et quelques corrections ça devrait encore s'améliorer.
Dans la pratique, je devrais pouvoir travailler sur Jupiter avec 18 images (2,5mn x  60s x 120 ips / 1000) du type de celle de droite.
Pour ensuite, voir évoluer les configurations nuageuses sur 5 heures à l'aide de 120 images (5h x 60mn / 2,5mn).
Le passage par exemple de la GTR d'un bord à l'autre. 

Tu prends quel pourcentage de RGB ?

Edited by ms

Share this post


Link to post
Share on other sites
Il y a 20 heures, ms a dit :

Tu ne crois pas que ta version avec les 1000 premières manque de détails

 

Certes, elle est probablement encore améliorable (car vite faite) avec les outils classiques en essayant des tas de combinaisons, mais j'espère être en mesure bientôt  d'estimer les pouièmes que pourrait apporter l'IA sans se prendre la tête :) 

 

quelques corrections ça devrait encore s'améliorer.

 

Il faudrait pour en juger sainement que tu vires  d'abord cette  f...ue  grille ! o.O

 

 

Il y a 20 heures, ms a dit :

Tu prends quel pourcentage de RGB ?

 

En fait, je m'aligne en un plus chaud sur le rendu ci-dessous de Christopher qui me semble très recevable comme base de départ :

 

histo_ceres.png.62b26d7b7c1fd41c5a66817605788c88.png

 

Il faut faire TRÈS ATTENTION au rendu du navigateur utilisé, voir ce fil

 

En particulier avec Chrome, mettre dans la barre du navigateur :

 

chrome.png.95bf99357c393f87e99a29c9b1db095c.png

La méthode sûre dans tous les cas est de travailler sur l'enregistrement (qui se fait en 100%) de l'image publiée.

 

Pour ce film  de Polo (en fait, sa balance n'est pas si mauvaise, malgré l'absence de réglage  du V sur la caméra),  il convient de :

1. Réduire la dynamique  globale RVB de 10% au moins pour se donner de la marge de manœuvre sur R et V

2. Remonter linéairement le R avec le curseur haut selon le modèle d'histogramme

3. Remonter linéairement un peu moins le G avec le curseur haut selon le modèle d'histogramme

 

Ensuite un minipoil de gamma général pour assombrir l'image peut s'avérer plaisant.

 

 

 

Edited by Nebulium
  • Like 1

Share this post


Link to post
Share on other sites
Citation

malgré l'absence de réglage  du V sur la caméra

Est-ce qu'il existe des caméras couleur qui permettent de faire un réglage correcte dès la saisie ?

Share this post


Link to post
Share on other sites
Il y a 11 heures, ms a dit :

Est-ce qu'il existe des caméras couleur qui permettent de faire un réglage correcte dès la saisie ?

 

Il  est quand même étrange qu'une caméra ne soit pas à peu près équilibrée au départ  pour des prises de vue en lumière du jour.
Ce serait facile pour l'un de ses propriétaires de mesurer les résultats sur une charte de gris 18 %.

 

Polo a dit sur la page précédente pour sa Juju :
"on règle wr à 63 et wb à 99, on ne peut régler wv !! donc c'est un peu vert mais ça se corrige ensuite !"

 

Cadrée dans un rectangle, les mesures sur le film donnent en moyenne pour une dynamique maximale de100 :
- Sur le film  R = 32  G = 37  B = 28  
- Sur mon empilement de 1000 images réajusté en rendu  R = 35  G = 33   B = 28
- Sur l'image de Christopher avec sa GTR  R = 35  G = 36   B = 32

 

L’interprétation de ces chiffres nécessite leur relativisation par rapport à un même total (resp. 97  96  103), donc pour Christopher  une réduction de 6-7%, soit approximativement  : R = 32  G = 32   B = 29

 

 

Pour moi, dans ces conditions, le mieux que pourrait faire Polo  avec le bleu  déjà en butée et le vert coincé, serait d'augmenter le wr à 70-75 environ (soit +10 à 15%) pour obtenir une Juju plus jaunâtre que verdâtre dont il suffirait en post-traitement de pousser le bleu de quelques % pour arriver à mon rendu ou celui de Christopher.

 

Mais tout ça c'est de la bidouille de rattrapage, la méthode sérieuse est le calage sur une charte grise.

Et alors, comme le dit notre Christophe  P.  national, on intégrera  du coup l'effet de la hauteur de la planète dans le ciel, plus importante  en Indonésie que vers chez nous  ;)

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

Merci pour les infos, je demandais cela parce que je vais faire l'acquisition d'une caméra couleur prochainement et s'il existe un modèle qui règle ce problème alors je suis preneur.

Le but d'EVA c'est justement de n'avoir à faire aucun réglage, de gérer la hauteur de la planète par un ADC logiciel, de corriger un éventuel vignetage, ...

Share this post


Link to post
Share on other sites
il y a une heure, ms a dit :

je vais faire l'acquisition d'une caméra couleur prochainement et s'il existe un modèle qui règle ce problème alors je suis preneur.

 

Ben vite fait par exemple, demande à Gogo, tu auras des pistes, tiens une CP et planétaire, et ses manuels "Quick start" et "User",  tous

Dans le "Quick start" ci-dessus, je vois :

 

Presse-papier01.png.c75c56bda84188b3fcf59f29fbc371ac.png

 

Il faudrait détailler la liste déroulante de "Color Space", en RAW, la balance se traitera à la debayerisation...

 

Edited by Nebulium

Share this post


Link to post
Share on other sites

J'avais remarqué l' ASI385 color qui travaille à 120fps en Full HD.
Comme j'ai adapté la puissance de calcul par le GPU à 120fps en Full HD, cette caméra me semble intéressante.

Reste le problème du rendu des couleurs avec cette caméra.

Share this post


Link to post
Share on other sites

bonsoir jean et ms ! :)

je note tes réglages wr  70 et wb 99   après la hauteur de la planète joue  !

 

pour la cadence ms de 120 img/s il faut voir avec quel instrument tu vas travailler  ,diamètre et focale   ,sans trop pousser le gain on descend souvent en dessous de ces cadences théoriques !

 

polo

 

polo

Share this post


Link to post
Share on other sites
Citation

je note tes réglages wr  70 et wb 99   après la hauteur de la planète joue  !

Pour la hauteur de la planète, j'utilise un ADC logiciel donc si la balance des couleurs est correctement étalonnée alors  la hauteur ne devrait plus jouer.

 

Citation

pour la cadence ms de 120 img/s il faut voir avec quel instrument tu vas travailler 

120ips c'est la limite avec le GPU traitant une image Full HD.

 

Neb, effectivement R est réglé sur 60 et B sur 99 pour cette ASI071MC.
EVA ne passe pas par un logiciel d'acquisition, comme tu le dis plus haut, il est possible d'étalonner l'image reçue lors du dé-tramage.

J'ai vu qu'une API était fournie pour les principaux systèmes d'exploitation dont Linux.
 

Share this post


Link to post
Share on other sites
Il y a 4 heures, ms a dit :

R est réglé sur 60 et B sur 99 pour cette ASI

 

Valeurs par défaut, modifiables...

Il y a aussi - et c'est bizarre- deux cases à cocher "Auto". 

 

De toute façon, ce pilote me semble commun à toutes les caméras couleurs ASI.

Puisqu'il tourne sous Linux, je pense  aussi que le mieux pour EVA est d'être alimentée en RAW et ce ne devrait pas être bien difficile pour toi d'écrire un utilitaire rapide de débayérisation si les divers existants en ligne de commande ne sont pas assez rapides pour le temps réel.

 

PS  vois aussi ceci  (par un compatriote ?).

Edited by Nebulium

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now