Une pseudo optique adaptative chez Canon

[jldauvergne 15 098]

Étonnant : Canon annonce un système de correction de la turbu avec son futur capteur 250 millions de pixels. http://petapixel.com/2015/10/18/a-demo-of-canons-250mp-sensor-and-its-turbule nce-removal-feature/

Le terme "pseudo" est important dans le titre, car bien entendu, il ne s'agit pas d'une optique adaptative, mais d'une déconvolution en temps réel, ce qui est déjà surprenant. Je ne sais pas du coup comment l'algo peut se dépatouiller entre la turbu et le vent dans les arbres par exemple (peut être par une analyse avec déphasage ?).

Sur la démo, je ne suis pas super convaincu, les images non corrigées me semblent plus fines, bien que déformées.

En tout cas, il est intéressant de voir que c'est possible. Est ce qu'un tel algo serait compliqué à développer au niveau amateur ? Je suppose que c'est que une question de temps de calcul pour gérer ça en temps réel ?

Mais est ce que ça apporterait quelque chose de faire ça en temps réel plutôt qu'à postériori avec Autostackertt! ? (J'ai peur en posant la question, d'avoir la réponse )

Quoi qu'il en soit, que la gestion de la déformation soit gérée en temps réel ça reste quand même une belle prouesse technologique, sans doute prometteuse. En photo animalière c'est vraiment un problème la turbu, i ly aura peut être un débouché là dessus. Canon se faisant doubler par Sony il a intéret à avoir des idées nouvelles que les autres n'ont pas. La bataille des capteurs semble perdue, au moins provisoirement.

[Ce message a été modifié par jldauvergne (Édité le 19-10-2015).]

[Cavadore 125]

Pour corriger la turbu faut marcher au moins a 100Hz, et qu'il n'y ai pas trop de dephase temporel entre la prise de vue et la correction (ca se compte en qq ms).
Le dephasage temporel est tres tres rapide.
Apres faut corriger les autres modes de zernikes que le tip tilt.
Cyril

[christian viladrich 7 672]

Très intéressant. Je serais curieux de savoir comme ils font.

[Yoann DEGOT LONGHI 2 574]

Salut

C'est assez bluffant en effet.
Le gain en résolution est indéniable, reste à savoir si cette technologie est utilisable en photo astro.

[messier63 5 102]

J'aimerai bien savoir comment ils font ça!!
Effectivement comme le dit Cyril, il faut une fréquence très élevée pour arriver à faire ça!
jérôme

[frédogoto 2 005]

je suis bien convaincu qu'ils sont pas a 100hz... au mieu dix fois moins..
En revanche je suis pantoi devant l’efficacité du procédé
c'est incroyable

[Ce message a été modifié par frédogoto (Édité le 20-10-2015).]

[chonum 976]

J'aurai aimé voir quelque chose de mouvant dans l'image corrigée pour voir si c'est un procédé temporel.

[messier63 5 102]

Oui Fred regarde la dame en rouge en heut de la Tour Effeil qui agite son bras...
jérôme

[brizhell 2 626]

Cyril à raison, une correction directe de turbulence, ca doit se faire à 100Hz minimum. Vu le débit video présenté, c'est pas une correction hardware.

En effet, comme le dit Frédéric, ça ressemble à un procédé temporel et une correction par soft. Le débit d'image à l'air faible (4 à 5 images/secondes).
C'est probablement suffisant pour appliquer les traitements qu'avais déterré ms il y a quelques années : (http://arxiv.org/pdf/1401.4221.pdf) voir figure 13 et 14 de ce papier (pas la peine de se taper tous les calculs, suffit de regarder les images montrées en exemple).

Par contre à faible niveau de signal et a fortiori faible rapport signal/bruit, ça risque fortement de coincer.....

[maire 251]

Sur l'image proposée par Canon je ne vois pas véritablement de gain en termes de résolution. On enlève juste un peu d'agitation ce qui facilité la lecture de l'image par nos yeux. Ceci étant c'est intéressant. Petite question: depuis que j'ai quitté le monde du traitement du signal..: est-ce qu'un algorithme de déconvolution classique (style Van Cittert ou R. Lucy) associé à un processus statistique déterminant la centralité d'une étoile a déjà été utilisé? Si oui c'est peut être en utilisant ce genre de combinaisons en la pondérant correctement (je ne sais pas selon des critères de mesures des caractéristique de la dite turbu, etc). La pondération pourrait varier selon les conditions d'observations d'une soirée etc...

[-ms- 2]

Je reprend une partie de la vidéo de Canon :

Je fige la turbulence mais il reste (comme dans la vidéo de Canon) du bruit et surtout du flou :

Je corrige en temps réel le bruit et le flou :

Ainsi que le brouillard en temps réel :

PS : mon dé-floutage n'est pas encore complètement au point mais j'y travaille.

A mon avis avec une bonne carte graphique et la programmation GPU qui va avec, il est déjà possible de corriger les distorsions liées à la turbu ainsi que le bruit, le flou et le brouillard.

[Ce message a été modifié par ms (Édité le 23-10-2015).]

[PETIT OURS 24 628]

C'est quoi GPU ms?
Gérard Provincial Ultime?
Merci ms, l'autre te le rendra

G

[-ms- 2]

A l'échelle de la vidéo de Canon, ça donne en gros cela :

L'image de Canon pour comparer :

PS : c'est fait avec une rafale de 8 images ... pour améliorer le résultat, il faudrait en gros 2 à 3 fois plus d'images.

[Ce message a été modifié par ms (Édité le 21-10-2015).]

[Chris277 581]

très intéressant tout ça... et Pour Gérard, le GPU c'est le processeur de la carte graphique qui est utilisable en plus principal qui est le CPU...

[-ms- 2]

Je ne vois pas trop l'intérêt d'utiliser un matériel aussi coûteux quand il est déjà possible de faire mieux avec une petite lunette ou un petit télescope et un capteur couleur suffisamment rapide.

Ce serait intéressant de faire exactement la même manip sur Paris avec les moyens de l'astronome amateur puis de transmettre le résultat à Canon.

GG, le GPU c'est ce qui te permettra demain de faire de la haute résolution de la Corse.

[Ce message a été modifié par ms (Édité le 21-10-2015).]

[Kaptain 5 875]

Sauf que c'est du temps réel et que l'amateur "de base" ne connait rien aux tripotages graphiques...

[-ms- 2]

L'amateur "de base" n'a besoin que d'un portable muni d'un peu de mémoire (8 GB ou plus), d'une carte graphique (384 cœurs ou plus), d'un port USB3 pour connecter sa caméra et du logiciel permettant de faire l'acquisition et le traitement de la turbu en temps réel. Pour l'exemple turbu terrestre à longue portée type Canon, le traitement d'une vingtaine de trames va demander en gros 200ms soit une vidéo corrigée (distorsions+flou+bruit) de 5 images par seconde. Tu as déjà sur le marché des petites caméras couleur avec un faible bruit de lecture, une vitesse pouvant atteindre les 100ips et une sensibilité suffisante. Bref, toutes les conditions sont remplies pour que ce type de logiciel arrive sur le marché dans les prochains mois.

[christian_d 3 150]

Bonjour

Impressionnante cette video !
Merci pour ce partage.

Christian

[-ms- 2]

Et en supprimant le brouillard, ça donne cela :

A comparer avec l'image un peu fade et floue fournie par CANON :

PS : dans la pratique avec 2 ou 3 fois plus d'images, le résultat devrait être nickel.

[Ce message a été modifié par ms (Édité le 23-10-2015).]

[baroche 8 512]

Super intéressant tout ça merci ... je préfère avec brouillard ms, trop contrastées à mon goût les couleurs sans brouillard, on ne reconnaît plus la façade de fenêtres notamment ...

[-ms- 2]

Oui, on voit bien sur la vidéo de Canon que le ciel n'est pas aussi bleu (il y a beaucoup moins de brume que dans mon traitement ) :

[Ce message a été modifié par ms (Édité le 23-10-2015).]

[Chris277 581]

Bonsoir les amis,
ms sur ta version sans brouillard, tu as un effet de bord bizarre sur le bandeau sous "cœur défense" et tout le reste de la façade en dessous?
Chris

[-ms- 2]

Cœur Défense devrait plutôt ressembler à ceci :

Les algos utilisés pour supprimer le brouillard (Dark Channel Prior & Guided Filter) donnent parfois des résultats surprenant.
L'approche par réseau de neurones (travail en cours) semble donner de meilleurs résultats et permet d'unifier la super-résolution, le dé-floutage et le dé-bruitage à partir d'une rafale d'images stabilisées.
Dans la pratique le résultat devrait tendre vers l'image ci-dessus en partant d'une vidéo qui ressemblerait à peu près à ceci :

PS : ceux qui ne voient pas l'utilité de la carte graphique lors de l'achat d'un nouvel ordinateur portable font une grossière erreur car tous les logiciels qui vont révolutionner le traitement d'images dans les prochains mois, utilisent massivement les processeurs graphiques.

[Ce message a été modifié par ms (Édité le 24-10-2015).]

[PETIT OURS 24 628]

Ce n'est pas l'optique qu'il faut adapter, mais moi, vu mon niveau
😍

[-ms- 2]

Et supposons que notre réseau de neurones soit capable de supprimer le bruit et le flou, suite à un apprentissage bien adapté ... il ne reste plus alors qu'à traiter les distorsions :

D'où la vidéo corrigée des effets de la turbu :

La différence avec l'image réelle n'est pas énorme (PSNR voisin de 30 dB) :

[Ce message a été modifié par ms (Édité le 24-10-2015).]