Article sur les DOFs

[Fred_76 644]

Bonjour,

 

À la suite de la lecture de pas mal d'interventions sur l'utilisation et la réalisation des Darks, Offsets, Flats et Dark-flats, j'ai écrit un article qui résume, je l'espère, les bonnes pratiques. Cela va parfois à l'inverse des méthodes ancestrales et je m'attends donc à quelques réactions, en particulier sur les ISO des offsets et flats et leur utilité ou quantité.

 

L'article est hébergé sur le site de la Société Astronomique du Havre : https://sahavre.fr/wp/les-dofs/

 

Les sources de ce que j'avance sont multiples, par exemple ici ou encore là, mais il y en a plein d'autres...

 

Il reste un point en suspend : si on a un capteur non sujet à ampglow (c'est le cas de la majorité des APN) et qu'on fait du dithering, faut-il continuer avec des darks, offsets et flats, ou bien se contenter de darks, flats et dark-flats et laisser tomber les offsets ? Pour le moment je n'ai pas encore d'avis tranché, même si je commence à me dire que les jours des offsets sont comptés. Ainsi les DOFs (Darks Offsets Flats) deviendraient des DF2 (Darks Flats DarkFlats).

 

N'hésitez pas à commenter !

 

A+

 

Fred

Modifié 24 janvier 2021 par Fred_76

[Thierry Legault 5 796]

il y a une heure, Fred_76 a dit :

Il reste un point en suspend : si on a un capteur non sujet à ampglow (c'est le cas de la majorité des APN) et qu'on fait du dithering, faut-il continuer avec des darks, offsets et flats, ou bien se contenter de darks, flats et dark-flats et laisser tomber les offsets ?

 

je vois bien le rapport entre dithering et la possibilité de ne pas faire de dark, mais pas du tout le rapport entre dithering et possibilité de ne pas faire d'offset 

 

Encore une fois, sur un APN l'offset est plat et peut se remplacer sans problème par une image synthétique constante de même valeur moyenne. C'est aussi le cas de beaucoup de caméras CMOS actuelles (contrairement à certaines vieilles CCD à long temps de lecture, et qui avaient des offsets qui "penchent", mais ça c'était l'ancien monde )

 

il y a une heure, Fred_76 a dit :

Les sources de ce que j'avance sont multiples, par exemple ici ou encore là, mais il y en a plein d'autres...

 

...et en français, en plus 

 

 

Dans ton article je lis : En tenant compte de la combinaison quadratique du bruit dans l’empilement des images, faire 4 offsets à 100 ISO est aussi efficace que faire 256 offsets à 800 ISO !

 

En fait,le bruit de lecture diminue en montant en iso, donc on ne peut pas donner de chiffre en général. Par exemple, le A7R III a 4,2 électrons de BL à 100 iso et 1,3 à 800 iso.

 

 

Modifié 24 janvier 2021 par Thierry Legault

[Fred_76 644]

il y a 50 minutes, Thierry Legault a dit :

En fait,le bruit de lecture diminue en montant en iso, donc on ne peut pas donner de chiffre en général.

En électrons oui, il diminue, mais en ADU il augmente, alors que le signal lui (pour le biais) reste constant en ADU. Je vais ajouter cette nuance.

[Fred_76 644]

il y a 53 minutes, Thierry Legault a dit :

je vois bien le rapport entre dithering et la possibilité de ne pas faire de dark, mais pas du tout le rapport entre dithering et possibilité de ne pas faire d'offset 

en fait, si on fait des Darks, Flat et DarkFlats, l’offset est contenu dans les darks. On ne prend plus d’images d’offset.

 

L’insertion du mot dithering est effectivement mal venue. Je vais modifier le paragraphe.

 

En pratique, ne pourrait-on pas substituer purement et simplement pour tous les capteurs modernes (i.e. depuis 2010) la méthode DF2 (dark+flat+darkflat) à la méthode DOF (dark+offset+flat), qu’il y ait ampglow ou non ? That is the question.

[Thierry Legault 5 796]

il y a 10 minutes, Fred_76 a dit :

en fait, si on fait des Darks, Flat et DarkFlats, l’offset est contenu dans les darks. On ne prend plus d’images d’offset.

 

l'offset tu en as besoin si tu fais de l'optimisation de dark, et de toute façon tu en as besoin pour tes flats

 

il y a 10 minutes, Fred_76 a dit :

En pratique, ne pourrait-on pas substituer purement et simplement pour tous les capteurs modernes (i.e. depuis 2010) la méthode DF2 (dark+flat+darkflat) à la méthode DOF (dark+offset+flat), qu’il y ait ampglow ou non ? That is the question.

 

moi pas comprendre

 

 

Modifié 24 janvier 2021 par Thierry Legault

[Fred_76 644]

il y a 6 minutes, Thierry Legault a dit :

l'offset tu en as besoin si tu fais de l'optimisation de dark

 

Justement, on ne fait pas d'optimisation de dark quand le capteur est sensible à l'ampglow. L'ampglow n'évolue pas de façon proportionnelle au temps de pose ni de la même façon que le signal thermique en fonction de la température. Autrement dit, si l'on optimise les darks, on traite bien le signal thermique, mais pas l'ampglow. Dans ce que j'ai pu lire, donc, le traitement devient :

- faire des darks à chaque session, et un master dark non optimisé

- faire des flats et darkflats à chaque session pour en faire un master flat

- prétraiter les brutes avec uniquement le masterdark et le master flat => les offsets ont disparu de la scène (ils sont en fait cachés dans les darks)

[Tromat2 430]

Super article en tout cas, simple et compréhensible.

Je vais peut être me forcer à faire des darkflats, pas sur que ça change énormément la donne mais au moins je serai carré. Et pis c'est pas le temps que ça prend à faire.

[Thierry Legault 5 796]

il y a 18 minutes, Fred_76 a dit :

Justement, on ne fait pas d'optimisation de dark quand le capteur est sensible à l'ampglow. L'ampglow n'évolue pas de façon proportionnelle au temps de pose ni de la même façon que le signal thermique en fonction de la température. Autrement dit, si l'on optimise les darks, on traite bien le signal thermique, mais pas l'ampglow. Dans ce que j'ai pu lire, donc, le traitement devient :

- faire des darks à chaque session, et un master dark non optimisé

- faire des flats et darkflats à chaque session pour en faire un master flat

- prétraiter les brutes avec uniquement le masterdark et le master flat => les offsets ont disparu de la scène (ils sont en fait cachés dans les darks)

 

oui, comme j'ai la flemme de recopier, je mets une copie de la bonne page

 

 

je crois qu'il ne faut pas trop faire une fixette sur les darkflats : les capteurs d'aujourd'hui ont quand même un signal thermique bas (surtout s'ils sont refroidis), et la dynamique d'un flat est normalement très remplie (surtout si on fait les flats à iso ou gain mini !), donc à moins de faire des flats super longs avec une dynamique basse et un gain/iso très élevé, un offset ça suffit bien 

 

[Fred_76 644]

Il y a 2 heures, Thierry Legault a dit :

je crois qu'il ne faut pas trop faire une fixette sur les darkflats

 

Oui je suis d'accord, tant que le temps de pose des flats est faible, de moins d'une grosse poignée de secondes (voire un peu plus), on peut se contenter d'offsets au lieu de darkflats. Maintenant regardons le côté pratique. Quand on fait un flat,on place une boite à flats, puis on règle les ISO/gain et l'expo puis on prend quelques images. Pour les darkflats, il suffit juste de retirer la boite à flats, de mettre le couvercle sur l'optique et de reprendre des photos, sans rien toucher d'autre. On gagne la (petite) étape du changement de temps d'expo... et ça compte quand on a les doigts gelés et les cernes sous les yeux, enfin je pense.

 

Donc la formule de ton livre devient :

 

Image prétraitée = (image brute - image noire1) / (PLU - image noire2)

 

avec image noire1 faite avec les images noires prises à même iso/gain, temps expo et t° que les images brutes

et image noire2 faite avec les images noires prises à même iso/gain, temps d'expo (et t° mais on s'en fout un peu car le tps d'expo reste court) que les plu

 

Les offsets ont disparu de la formule vu que - c'est dans le tableau de la page 38 - ils sont inclus dans les images noires.

 

Cette méthode ne fonctionne qu'avec les caméras dont la température est régulée, les darks n'ont pas à être optimisés. Par contre avec les APN et les caméras non régulées, la température peut varier en cours de séance et il faut optimiser les darks. Dans ce cas les offsets sont nécessaires. Je pense que je me réponds ainsi à ma question : la méthode DF2 est à réserver aux caméras thermorégulées, la méthode DOF est à appliquer aux APN et caméras non régulées sauf si la luminescence (thermique ou NIR) est un réel problème, dans ce cas il faudra essayer la méthode DF2 et voir laquelle donne les meilleurs résultats. Il semble que certains boitiers Nikon soient sensibles à la luminescence de leur capteur...

 

Modifié 24 janvier 2021 par Fred_76

[Fred_76 644]

Il y a 2 heures, Tromat2 a dit :

mais au moins je serai carré

Ça ne sert à rien d'être "carré" pour le principe. Si ça n'améliore rien, ça ne sert à rien !

[Tromat2 430]

il y a 51 minutes, Fred_76 a dit :

Si ça n'améliore rien, ça ne sert à rien !

C'est pour l'effet placebo ^^

Modifié 24 janvier 2021 par Tromat2

[Tromat2 430]

il y a une heure, Fred_76 a dit :

Par contre avec les APN et les caméras non régulées, la température peut varier en cours de séance et il faut optimiser les darks.

Sauf que ça fout le bordel avec l'ampglow, non ? Je préfère bien corriger ce dernier, plutôt que les points chauds/froids qui sont faciles à supprimer par correction cosmétique et/ou le nombre de pose et le dithering.

[olivdeso 1 860]

heu les offset à 100iso...pour les flats oui (avec les bon offset. de calibration)  mais les offsets non, faut les faire au même gain que les images. Sur certains apn et pas mal de caméra l'offset change en fonction du gain.

 

soit tu fais les offsets au même gain que les images, soit tu fais un offset synthétique comme dit Thierry, si ton offset est suffisamment uniforme. Mais faire les offset à un gain différent n'a pas de sens, tu va les multiplier par un coéficient de pondération, ce qui va diminuer artificiellement la correction. Si ton offset n'est pas une constante, tu introduit un défaut. Et si il est constant, ben aucun intérêt de faire des offsets à 100 iso qui vont ajouter du bruit autant prendre une image constante synthétique.

 

Par contre pour les flats oui tu peux changer de gain en callibrant les flats avec des offsets spécifique pris au même gain.

Modifié 25 janvier 2021 par olivdeso

[Fred_76 644]

Faire l’offset à 100 ISO permet d’augmenter le RSB (en ADU). Le niveau d’offset ne dépend pas du gain. Les microecarts entre les colonnes non plus. Par contre le bruit est affecté par le gain. Et même si le bruit de lecture en électrons est plus important à bas ISO qu’à haut ISO, quand tu multiplie ça par le gain, il se trouve que le bruit de lecture est plus important en ADU à haut ISO.

 

Or nos images sont exprimées en ADU, pas en électrons...

 

D’ailleurs Thierry le dit bien dans des messages précédents que ça fait des années qu’il prend ses offsets à 100 ISO.

[olivdeso 1 860]

Il y a 9 heures, Fred_76 a dit :

Donc la formule de ton livre devient :

 

Image prétraitée = (image brute - image noire1) / (PLU - image noire2)

 

avec image noire1 faite avec les images noires prises à même iso/gain, temps expo et t° que les images brutes

et image noire2 faite avec les images noires prises à même iso/gain, temps d'expo (et t° mais on s'en fout un peu car le tps d'expo reste court) que les plu

 

heu non tu t'en fout pas, sur pas mal d'APN et caméra l'offset ou dark très court,  change aussi avec la température sur certains apn et caméras.

 

Après comme dit Thierry, si c'est une constante, oui la tu t'en fout, mais autant retirer une vraie constante dans ce cas qui n'introduira pas de bruit.

[olivdeso 1 860]

 

il y a 11 minutes, Fred_76 a dit :

Faire l’offset à 100 ISO permet d’augmenter le RSB (en ADU). Le niveau d’offset ne dépend pas du gain. Les microecarts entre les colonnes non plus.

 

là je ne suis pas d'accord avec toi du tout. En APN je connais plusieurs canon pour lequels ce n'est pas le cas. Canon ajuste l'offset pour optimiser la dynamique.

sur les caméras même truc. mais ça c'est pas encore trop un problème si c'est une constante sur un apn moderne. Par contre les micro variation d'une colonne ou d'une ligne à l'autre en cmos, là plus embêtant, tu va récupérer une trame.

 

Pour savoir tu fais un master avec 200 offsets à chaque iso et tu soustrait l'un de l'autre. Si pas de trame au résultat, là effectivement ça sera indépendant de l'offset.

Et si pas de trame du tout dans les master offset, pas besoin de faire des offset qui vont ajouter du bruit pour rien. Tu soustrait directement une constante au prétraitement et ça reviendra au même sans ajouter de bruit.

 

[Fred_76 644]

Il y a 9 heures, olivdeso a dit :

Par contre les micro variation d'une colonne ou d'une ligne à l'autre en cmos, là plus embêtant, tu va récupérer une trame.

 

J'ai vérifié sur un 1000D qui est un exemple un peu extrême question trame. Effectivement, tu as raison, faire des offsets à 100 ISO ne convient pas du tout pour corriger des images à 800 ISO. C'est curieux car avec ce boitier, les masters offsets de diverses séries prises à même ISO ont une trame verticale fixe, d'une série à l'autre. Par contre si on compare la structure de deux masters offsets d'ISO différents, elles ne correspondent plus. Il faut donc faire des offsets à même ISO que les brutes, et beaucoup.

 

J'ai aussi vérifié sur le 6D qui est au contraire bien moins touché par la trame. Il y a une petite différence mais elle n'est pas énorme. Je serais tenté de dire qu'avec le 6D, faire un offset-maître à 100 ISO serait acceptable, voire même un offset synthétique à 2047 ADU et il ne serait juste appliqué que sur les flats, car la structure spatiale de trame qui subsistera sur les brutes est très légère et partira avec le dithering. Encore faut-il faire du dithering...

 

Il faut que je teste sur mon 500D, mais j'ai peur que la débayérisation de son capteur ne fausse vraiment les conclusions.

 

J'ai corrigé le texte sur la page de l'article.

Modifié 25 janvier 2021 par Fred_76

[Fred_76 644]

Il y a 9 heures, olivdeso a dit :

sur pas mal d'APN et caméra l'offset ou dark très court,  change aussi avec la température

 

Là par contre je reste septique comme une fosse avec les APNs. J'ai sous la main 3 boitiers, un 1000D, un 500D et un 6D. Les deux premiers se comportent très mal vis à vis de la température et je n'ai pas constaté dans mes mesures de variation notable des offsets en fonction de la température dans mes tests de -20°C (dans le congelo) à +40°C (sous une couverture). Pour les caméras, je veux bien avec les CCD dont le temps de lecture est très lent (plusieurs dizaines de secondes), mais avec les CMOS assez récentes (USB2+), les temps de lecture sont très courts (quelques 1/10e de s).

[airbus340 3 439]

Il y a 10 heures, olivdeso a dit :

 

Par contre pour les flats oui tu peux changer de gain en callibrant les flats avec des offsets spécifique pris au même gain.

A la lecture de ce post , je vois que ces DOF ce n''est pas aussi simple qu'on le pense 

Pour simplifier pour se compliquer la vie et pourquoi ne pas tout faire au même gain ( à savoir celui des brutes ) ? 

 

Et la température du capteur ? si les darks doivent être fait à la température des brutes , qu'en est-il des OF ? 

 

Ph

[ALAING 58 798]

il y a 9 minutes, airbus340 a dit :

pourquoi ne pas tout faire au même gain ( à savoir celui des brutes ) ? 

C'est ce que j'ai toujours fait

Et beaucoup d'autres aussi

Bonne soirée,

AG

[airbus340 3 439]

il y a 3 minutes, ALAING a dit :

C'est ce que j'ai toujours fait

Et pour la température ? 

 

Ph

[Fred_76 644]

il y a 17 minutes, airbus340 a dit :

Pour simplifier pour se compliquer la vie et pourquoi ne pas tout faire au même gain

C’est une question de bruit. Quand on monte en ISO, le bruit (en ADU) explose et il faut alors accumuler de très nombreuses images DOF pour arriver à le contenir. Ça a deux conséquences :

- ça prend du temps à la prise de vue et au traitement

- ca use prématurément l’appareil photo

 

D’ou l’intérêt de ne faire que ce qui est nécessaire. Faire simple n’est pas forcément faire efficace (il n’y a qu’à voir PixInsight). Il faut des fois comprendre ce que l’on fait avant de s’avancer dans des recettes toutes faites.

 

Cest en tout cas ma façon de voir les choses.

[Thierry Legault 5 796]

attention à ne pas se faire trop de noeuds au cerveau quand même. Quand on fait un master offset avec beaucoup d'images et en serrant les seuils, on finira toujours par voir une trame horizontale ou verticale, mais la question est : est-ce que c'est gênant en pratique, sur une image finale du ciel ? J'ai eu un capteur CMOSIS 4000 (caméra IDS) qui avait une trame constante très visible (heureusement en grande partie reproductible), à part ça les capteur Sony sont quand même très propres, et les APN aussi, sinon sur les forums photo on verrait des geeks qui se plaindraient des trames à haut iso.

 

Je me souviens d'une discussion avec quelqu'un qui disait : on voit bien que le bruit est plus faible sur un master de 10000 offsets que de 1000. Certes ai-je répondu, mais on ne fait pas de l'imagerie pour regarder ses masters à la loupe, on le fait pour les images du ciel qu'on va prétraiter avec, et il est inutile de se polariser sur les sources de bruit négligeables.

 

Au final, ça n'est pas si compliqué. Si l'offset est bien plat, ce qui est quand même la règle aujourd'hui avec les APN et les caméras, on en fait un, on mesure la valeur moyenne et on utilise ad vitam eternam une image synthétique qui a la même valeur. Pour les flats on peut les faire à n'importe quel iso/gain, avec l'avantage que 1 flat à 100 iso est équivalent à 8 flats à 800 iso. Et pour le "darkflat" (qui se résume à un offset en pose courte) on en fait un et c'est bon, pas besoin d'en faire des douzaines.

 

 

Modifié 25 janvier 2021 par Thierry Legault

[ALAING 58 798]

il y a 8 minutes, Fred_76 a dit :

Quand on monte en ISO, le bruit (en ADU) explose

Humm bon chacun fait comme il le sent mais je serais curieux de voir le gain réel sur une image

 

En CP et en RAW il n'y a aucune utilité de monter en ISO, au contraire c'est mauvais pour la dynamique.

Dire que ça prend du temps . . . c'est les darks qui prennent du temps et là y a pas le choix de toutes façons !

Une série d'offsets et de flats ça prend à tout casser 10mn  

Bonne soirée,

AG

 

[Thierry Legault 5 796]

il y a 2 minutes, ALAING a dit :

En CP et en RAW il n'y a aucune utilité de monter en ISO, au contraire c'est mauvais pour la dynamique.

 

Alain c'est pas bon d'écrire sur le forum à l'heure de l'apéro 

 

Sur un 7S (au hasard), tu passes quand même d'un bruit de lecture de 16 électrons à 100 iso à 1,3 électron à 3200 iso, une paille quoi !