TecoGAN, un open source étonnant...

[Kaptain 5 880]

Je n'y connais rien mais ce logiciel ne pourrait-il pas aider la photo astro ?

 

 

J'ai l'impression que c'est de l'IA avec réseaux de neurones (DLSS Nvidia ?)

Modifié 18 décembre 2021 par Kaptain

[PETIT OURS 24 642]

il y a 6 minutes, Kaptain a dit :

Je n'y connais rien

comme moi .... 

[lyl 4 483]

Je ne sais pas comment fonctionne auto-stakkert mais celui-là est issu d'une implémentation de type réseau neuronal.

Je me demande si on fait pas ça pour le HEVC.

A tester

https://www.opensourceagenda.com/projects/tecogan-app

----------------------

La prédiction semble bénéfique sur l'extraction de contraste de certaines zones.

Ca contrarie la prédiction de position sur les zones à faible contraste.

Je reste mitigée : ç'est pas vraiment fait pour ça.

Enfin bon dans le cas qui suit c'est utile mais ce n'est pas de l'image de planète ni de Lune.

Ci-dessous une image de disque d'Airy.

Modifié 18 décembre 2021 par lyl

[AlSvartr 2 943]

Les techniques permettant d’augmenter les resolution d’une image sont toutes sujettes à une certaine prudence, et  celles basées sur les réseaux de neurones n’échappent pas à la règle, en particulier à cause de la dépendance aux échantillons nécessaires à l’entraînement du réseau.  Comme dans n’importe quelle mesure scientifique il faudrait pouvoir quantifier à quel point la technique permet de retrouver le signal original (closure-test), ou pour le dire autrement, quantifier les biais systématiques qui vont émerger en fonction de la différence entre les échantillons de test et d’entraînement.

 

Sans aller jusque là, il serait déjà pas mal de tester les choses simplement en prenant une image hyper propre (lunaire, planétaire, solaire,…), la dégrader artificiellement, la soumettre au soft en question, et regarder à quel point on retrouve l’original. Sans cette vérification minimaliste, on peut arriver à des résultats plaisants à l’œil sans se douter des artefacts dus à la méthode elle-même. Ce que l’on voit passer de temps en temps issus de traitements à la Topaze est un exemple parmi d’autres. 

 

 

[lyl 4 483]

il y a 23 minutes, AlSvartr a dit :

. Sans cette vérification minimaliste, on peut arriver à des résultats plaisants à l’œil sans se douter des artefacts dus à la méthode elle-même

C'est ce que je viens de faire, de la même façon que l'on faisait lors des tests pour le codec HEVC

Résultat : l'amélioration n'est pas uniforme et elle a tendance à suivre la déformation de mouvement imposée par la turbulence. Les anneaux extérieurs d'une image de diffraction sont comme les harmoniques plus élevées d'un front d'onde (cf Roddier)

 

[Kaptain 5 880]

il y a 40 minutes, AlSvartr a dit :

il serait déjà pas mal de tester les choses simplement en prenant une image hyper propre

 

On dirait que ça ne marche qu'avec de la vidéo, pas une image fixe.

[AlSvartr 2 943]

il y a 21 minutes, Kaptain a dit :

On dirait que ça ne marche qu'avec de la vidéo, pas une image fixe.

ça fait sens, le déplacement du signal par rapport aux pixels permet de déduire une partie de l’information perdue par le sous-échantillonnage. 

[lyl 4 483]

Il y a 2 heures, Kaptain a dit :

On dirait que ça ne marche qu'avec de la vidéo, pas une image fixe.

oui je confirme, c'est une utilisation de la prédiction de mouvement des blocs comme dans le codec H264 et HEVC donc bon... Emil Kraaikamp ne supporte pas ces formats en entrée à cause du biais statistique que ça procure. Probablement que c'est pareil dans Astrosurface, le programmeur devrait avoir une idée là-dessus (dsl j'ai un doute sur le pseudo)

Je pense que ça devrait clore le sujet.

----------------

Pour culture voici un très bon document de thèse sur ce sujet : https://hal.inria.fr/tel-01758094/document

Il y explique des stratégies de codage avec arbre de décision : optimisation de la vitesse de codage.

En vidéo, la profondeur temporelle est limitée "à priori" alors que les outils d'empilement comme Autostakkert, la politique est de faire une évaluation globale de chaque image ou sous-blocs (AP) sur toute la séquence.

Les critères d'évaluation de qualité sont souvent proches de la méthode slanted edge cf https://www.imatest.com/docs/sharpness/#calc. qui est une évaluation de richesse dans le domaine fréquentiel. J'ai travaillé là-dessus il y a trente ans sur une sous-partie qui était le codage de transformée papillion la plus rapide possible, outil intermédiaire dans cette évaluation.

 

Voici ce qu'on peut faire tout simplement pour améliorer la qualité d'image : ici sur deux images dont une est plus perturbée que l'autre (traitement anti-reflet défectueux ou gras)

C'est toujours impressionant qu'un simple soustraction pondérée et alignée par prédiction de mouvement (ici deux images décalées mais isotropes, prédiction manuelle) peut procurer comme amélioration.

Typiquement, j'utilise l'inversion en négatif pour faciliter l'interprétation visuelle. (l'oeil et le cerveau sont meilleurs dans ce sens). Il faut remercier @jorris qui est très rigoureux dans sa prise de photographie, je suis moi-même trop brouillon pour m'imposer une telle rigueur.

L'impression de relief n'est pas forcément artificielle, c'est une mise en valeur appropriée à notre compréhension neuronale. (comme les oculaires L-O-A)

- =>

 

Du coup pour revenir au sujet, et après avoir pratiqué un test rapide sur une image fixe perturbée haute fréquence, il devient évident que TecoGAN n'est pas bon pour de la perturbation aléatoire à vitesse rapide. Il introduit du bruit fréquentiel du à son échantillonage par rapport à la durée des prises de vues/nombre d'images de l'acquisition. Ce bruit vient perturber l'analyse de qualité qui doit s'opérer sur les images brutes. Sans vouloir trop polémiquer, la séquence avec l'araignée montre une reconstitution de type sub-pixel sur une image initiale de bonne qualité : on est loin des limites de diffraction optique. Ce qui est l'inverse dans mon cas et pour l'astro.

Modifié 19 décembre 2021 par lyl

[jldauvergne 15 106]

Il y a 5 heures, AlSvartr a dit :

ça fait sens, le déplacement du signal par rapport aux pixels permet de déduire une partie de l’information perdue par le sous-échantillonnage

Oui je pense que l on est vraiment sur une logique drizzle. Pas beaucoup d'intérêt pour nous car nos limites viennent rarement de l'échantillonnage.

C'est malin de faire ça en vidéo mais tu peux être certain que cet algo se gauffre en cas de deplacement rapide du sujet. Là il n'y a que du tilt presque.

On voit que les images produites sont cohérentes entre elles, c'est un bon signe. 

A la limite pour nous ca peut le faire en time lapses, maiq à quoi bon passer en 8k ? Ou eventuellement sur des videos d aurores en full hd.

 

[frank-astro 4 679]

De notre côté (mon équipe et moi-même), nous nous intéressons à ce type de soft afin de gagner du temps lors de la création de vidéo d'animation 3d.

On nous demande des vidéos au format Full HD et depuis peu au format 4k. Or chaque image devient donc de plus en plus gourmande à calculer. Avec ce type de soft, on peut sortir une vidéo en Ready HD (gain de temps) et la convertir en full HD par exemple sans perte apparente (du moins, cela reste correct).

En astro, je ne vois pas encore trop l'application.

 

[jgricourt 159]

Je crois qu'il s'agit de ça dans ce logiciel : https://arxiv.org/pdf/1801.04590.pdf