Dark, Flat, Offset c'est quoi ?

[DaMs_ 17]

Bonjour à tous,

Je vais me lancer dans l'astrophoto prochainement et je voulais savoir ce qu'était les darks, flatts et offset.

J'en entends parler un peu partout mais je ne comprends pas leurs intérêt, ou du moins quand et comment les faire.

Si certains peuvent m'expliquer ce serai top

 

Merci,

Damien

[ALAING 59 045]

Bonjour Damien,

Je ne vais pas me lancer dans la théorie, d'autres sont plus calés que moi

 

Mais pour pratiquer un peu l'imagerie voilà de quoi il retourne :

- Déjà, on a une série d'images brutes avec un certain gain et un certain temps de pose.

 

- Les darks : c'est une série d'images prises en occultant le télescope ( donc dans le noir ) avec les mêmes paramètres que les images brutes.

     Ils servent à éliminer notamment les pixels chauds du capteur.

 

- Les flats : c'est une série d'images faites en pleine lumière soit sur le ciel crépusculaire soit avec un éclairage spécifique ( boite à flats ) en adaptant gain et temps de pose pour avoir un histogramme aux 3/4 de la valeur max.

     Ils servent à éliminer les éventuelles poussières visibles sur les brutes et le vignettage du au système optique.

 

- Les offsets ou bias : ce sont des images faites également dans le noir mais avec le temps de pose le plus court possible.

    C'est un signal un peu spécifique et de faible niveau qu'il convient de retirer de toutes les images.

 

Ensuite, il faudra traiter chaque série ( darks flats et offsets ) pour sortir un dark maitre, un flat maitre et un offset maitre.

Nos logiciels habituels font ça très bien et de façon automatique.

 

Ensuite c'est ce que l'on appelle le pré-traitement, soustraction de l'offset maitre, soustraction du dark et division par le flat maitre de chaque image.

Idem, ces opérations se font de façon automatique avec nos logiciels habituels.

 

J'espère t'avoir éclairé de ces quelques lumières,

Bonne journée,

AG

[Great gig in the sky 7 432]

il y a 59 minutes, ALAING a dit :

d'autres sont plus calés que moi

Bah pas moi en tout cas ! 

Merci Alain. 

[DaMs_ 17]

Merci beaucoup pour ta réponse,

Si je comprends bien ça sert a retirer les imperfections dues à la poussière ou autre sur le capteur ou le tube optique ?

Je fais mon acquisition avec SharpCap, est ce que 1 seul dark et 1 seul flat suffit ou non? Car j'ai vu des photos ici ou les gens disent en avoir fait une 30aine.

Merci pour ton aide

 

[ALAING 59 045]

Il y a 1 heure, DaMs_ a dit :

Si je comprends bien ça sert a retirer les imperfections dues à la poussière ou autre sur le capteur ou le tube optique ?

Exact

Il y a 1 heure, DaMs_ a dit :

est ce que 1 seul dark et 1 seul flat suffit ou non? Car j'ai vu des photos ici ou les gens disent en avoir fait une 30aine.

Non

Une série c'est forcément un certain nombre et plus il y en a mieux c'est

Bonne journée,

AG

[DaMs_ 17]

il y a 29 minutes, ALAING a dit :

Une série c'est forcément un certain nombre et plus il y en a mieux c'est

Ok, et sais tu si sur SharpCap on nous demande automatiquement de faire les darks au bon moment ou c'est au bon vouloir de l'utilisateur?

Merci beaucoup pour ton aide, sur tous les sujets touchant ce forum

[ALAING 59 045]

il y a 9 minutes, DaMs_ a dit :

Ok, et sais tu si sur SharpCap on nous demande automatiquement de faire les darks au bon moment ou c'est au bon vouloir de l'utilisateur?

C'est toi qui décide

[Eric78 341]

En plus, les Darks on peut les faire à l'avance (et avoir ce que l'on appelle une bibliothèque de Darks) ; on n'a pas besoin de les faire au même moment que les images elles-mêmes (mais comme le dit Alain, avec les mêmes paramètres -gain, températures du capteur, temps d'exposition-) que lors des captures.

On refait sa bibliothèque de darks une ou deux fois par an....... (quand il fait mauvais......).

Tout ceci est vrai pour le ciel profond et une caméra refroidie.......

 

A+

Eric

[Astro52 1 687]

Bonjour,

 

Je vais me lancer un peu dans la théorie, ça me fait pas peur

 

1) Le premier des trois éléments de calibration est l'offset, parce qu'il est présent sur tout de manière identique, y compris le dark et la flat.

 

L'offset correspond au bruit de lecture sur le plan électronique.

En gros, qu'est-ce qu'un capteur numérique ?

Si on imagine un capteur dont le rendement est de 100% et le gain de 1 e- / ADU, à chaque fois qu'un pixel reçoit 1 photon, il l'absorbe et met un électron dans un réservoir. En fin de pose, la caméra compte le nombre d'électrons dans le réservoir et sauvegarde ce nombre en mémoire. Mais en plus des électrons issus des photons capturés, il y a quelques électrons qui n'ont rien à faire là, mais qui sont là en plus des électrons "légitimes" lors du comptage. De façon identique quelle que soit la pose, ils sont liés à l'opération de comptage elle-même, et non à ce qui s'est passé lors du remplissage du réservoir.

Mais où est le problème, puisque si on sait combien les intrus sont, il suffit de soustraire ce nombre pour retrouver le nombre d'électrons réellement produits par le signal ? En effet, si le nombre d'intrus était constant, il suffirait d'une simple soustraction, et leur passage serait ni vu, ni connu... Sauf que c'est plus compliqué que cela, car ce qui est constant, ce n'est pas le nombre d'électrons intrus, mais la loi de probabilité qui sert à chaque pose à tirer ce nombre au sort. Le nombre à soustraire n'est donc jamais connu, mais plus on empile d'offsets pour faire son fichier master-offset, plus la valeur qu'on va soustraire sera proche de l'espérance mathématique du nombre d'électrons intrus.

 

Quand on parle de bruit, il faut comprendre hasard. Plus on a de poses à moyenner, plus on réduit la part du hasard dans la photo empilée, et plus on fait d'offsets, plus on réduit la part de hasard dans le master offset. Ensuite, quand on soustrait l'offset, le bruit, c'est à dire le hasard, ne se soustrait pas, il s'additionne. Donc plus on fait d'offsets, et il ne faut pas s'en priver parce que c'est facile, moins on rajoute de bruit supplémentaire en soustrayant l'offset des images, du dark et du flat.

 

L'offset est important pour une calibration complète car lors du processus de calibration et de normalisation, il y a au moins deux étapes qui sont des corrections multiplicatives, c'est-à-dire basées sur les lois de la proportionnalité. Or le bruit de lecture qui s'ajoute dans tout casse cette relation de proportionnalité. Si on prend un tableau de proportionnalité et qu'on ajoute le même nombre à tous les nombres d'une ligne... et bien c'est plus un tableau de proportionnalité !

Retirer l'offset des images, et également des darks et des flats, permet de rétablir les relations de proportionnalité sur lesquelles on va s'appuyer dans au moins 2 des étapes suivantes.

 

Mon conseil : ne pas hésiter à en faire 400 ou 500, carrément. Donc c'est temps de pose minimum, pas de lumière comme pour le dark, à température de fonctionnement habituel même si en théorie la température n'est pas censée jouer ici.

 

2) La deuxième étape est le dark.

Il correspond au niveau électronique à ce qu'on appelle le courant d'obscurité. En plus des électrons intrus qui apparaissent à chaque pose (même infiniment courte) lors de la lecture de la réponse, il y a des électrons intrus qui arrivent dans le réservoir au fur et à mesure de la durée de la pose. Donc plus la pose est longue, plus il y en a, de façon proportionnelle. De plus, le courant d'obscurité augmente de façon exponentielle à la température. C'est pourquoi il est important de disposer d'une caméra refroidie avec une consigne de température, de façon à pouvoir faire de nombreux darks à la maison à une température identique à celle utilisée sur le terrain pour imager. Un dark qui n'est pas fait à la même température que les poses ne sert à rien. En revanche on peut prendre plus de liberté avec le temps de pose : si j'ai fait 10 heures de poses de 10 minutes en dark, et que j'ai besoin d'un dark pour des poses de 5 minutes, je peux prendre mon master dark de 10 minutes et le deviser par 2 pour fabriquer un faux master dark de 5 minutes.

Le master dark permet de cartographier les pixels chauds et de les lister dans un fichier appelé cosmétique. En effet, les trop grandes valeurs numériques donnent dans l'expression du hasard de trop grandes variations pour pouvoir être correctement contenues par la soustraction de l'espérance mathématique. Au-delà d'un certain seuil, il sera préférable de supprimer l'information contenue dans le pixel et de la remplacer par la moyenne des pixels voisins.

Le dark ne sert donc à rattraper que les pixels affectés modérément par le courant d'obscurité, les autres, appelés pixels chauds, seront repris ensuite par la cosmétique.

A côté des pixels qui sont chauds sur chaque pose, il y a aussi sporadiquement un pixel qui peut se comporter en pixel chaud sur une pose seulement. Ce défaut n'est pas corrigé lors d'un processus de traitement classique. C'est uniquement au niveau mathématique lors de l'empilement que les valeurs aberrantes, qui sont passés à travers la calibration, seront exclues du calcul de la moyenne.

 

Le dithering est important pour que les pixels chauds ne tombent pas toujours au même moment lors de l'alignement. Le dark et la cosmétique limitent les dégâts, mais ne les effacent pas complètement.

 

Et là aussi, plus on fait de darks, plus on neutralise le bruit associé à l'offset qu'il contient, et plus on mesure précisément l'espérance mathématique que le dark a pour mission de mesurer pour chaque pixel avec un temps de pose donné, à une température donnée. On pourrait ajouter à un gain donné, pour les CMOS où il est réglable.

 

Mon conseil : une fois qu'on a son temps de pose favori et sa température de fonctionnement, laisser tourner ça au frais toute une nuit. Presque pareil pour la version bin2, genre 3 heures. Puis faire des faux darks par multiplication pour les autres temps de pose. Se faire un fichier cosmétique bien costaud. En gros, si tu as 60 darks dans ton master dark, et que tout ce qui dépasse 60 ADU est corrigé par la cosmétique, c'est que l'espérance mathématique là où l'information va rester est maîtrisée quasiment à l'unité près.

 

3) Le flat arrive en dernier, puisqu'il n'est pas lié comme les deux précédents au seul fonctionnement électronique de la caméra, mais aussi et surtout à la façon dont l'optique éclaire le capteur. Le flat est la première correction multiplicative dont je parlais tout à l'heure. Il fonctionne par division plus exactement. Les zones du capteur éclairées plus fortement vont être divisées par les zones les plus hautes du master flat, ce qui va réduire leur luminosité. A l'inverse, les zones moins éclairées du capteur vont être divisées par les zones les plus sombres du master flat, ce qui va augmenter leur luminosité. A la fin, l'image calibrée aura l'aspect qu'elle aurait dû avoir si le capteur était éclairé uniformément par l'instrument.

Même si on en parle rarement, rien ne prouve que tous les pixels ont exactement le même rendement, et le flat corrige en même temps cette différence là aussi.

Pour réaliser un flat, on essaye d'avoir un signal pas trop loin de la moitié de la saturation : trop peu augmenterait le bruit, trop proche de la saturation de garantirait pas la linéarité de la réponse.

Bien sûr, plus on en a mieux c'est... mais quand même, le bruit s'envisage ici en valeur relative sur des valeurs absolues très élevées.

 

On ne s'embête plus à soustraire un dark du flat fait avec le temps de pose des acquisitions des flats. Si des pixels étaient tellement mauvais qu'ils posaient problème même avec des poses si courtes, alors ils seraient en tête de liste sur le fichier cosmétique, donc c'est de l'information qui sera supprimée ensuite. Donc peu importe si elle reste mauvaise.

 

4) Alors après, il n'y a plus qu'à empiler ? Ben non... c'est là où il y a deux niveaux de compréhension.

Les débutants ont tendance à penser qu'on empile des images, mais ce premier niveau de représentation ne permet pas de tout comprendre. L'empilement sert (idéalement) à supprimer tout ce en quoi les poses empilées diffèrent les unes des autres. Or ce qu'on veut supprimer, c'est uniquement le bruit. On ne veut pas supprimer notre objet, ni même la pollution lumineuse qui doit être simplement lissée pour pouvoir être ensuite soustraite facilement.

Il faut donc avant d'empiler normaliser les images, c'est à dire les rendre identiques en tout, sauf en bruit.

En premier lieu, la normalisation additive, qui compense les différences d'intensité du fond de ciel. L'expérimenté en ciel profond se soucie de la valeur arbitraire qu'il donne au fond de ciel : trop basse l'étape suivante créera immédiatement plus de bruit, trop haute l'étape suivante créera des fonds de ciel de niveaux disparates, ce qui réduira l'efficacité de l'empilement ultérieur à réduire le bruit.

En second lieu, la normalisation multiplicative, qui compense les variations de transparence.

On peut faire un deuxième tour de manège, puisque ces deux corrections se perturbent l'une l'autre.

Où je veux en venir ? C'est que pour que cette normalisation fonctionne vraiment, il faut avoir en amont fait correctement et complètement sa calibration (offset/dark/flat). Si on n'a pas une bonne calibration, il sera impossible de faire une bonne normalisation, et ensuite on va empiler des images qui ne diffèreront pas qu'en bruit mais aussi en à peu près tout... Alors à la fin, il sortira quand même une image empilée bien sûr, mais cet empilement n'aura été que très moyennement efficace pour supprimer le bruit.

 

 

 

 

Modifié 5 février par Astro52

[DaMs_ 17]

Tout d'abord merci beaucoup pour ta réponse ma foi complète. @Astro52

De petites questions demeures : 

Qu'est ce que le master offset/master dark et comment l'obtient t'on? (avec SharpCap)

 

Comment fait on pour retirer l'offset des images, les darks et les flatts? Le logiciel le fait tout seul lors du stacking? 

 

Comment "divise" t'on un dark de par exemple 10 minutes pour en avoir un de 5? .

 

Et est ce possible d'avoir des centaines de darks différents, pour toujours en avoir sous la main correspondants aux paramètres d'acquisition utilisés? 

 

Encore merci pour ta réponse qui m'aide beaucoup. 

[Astro52 1 687]

Pour obtenir l'offset, mettre la caméra en route, de préférence à température (même si en théorie...), sans qu'aucune lumière ne rentre dedans (tube fermé, bouchon fermé, peu importe). Enregistrer des poses avec le temps de pose minimum possible, genre 0.001 seconde. Les offsets sont empilés par médiane pour obtenir le master offset.

 

Tout dépend comment le logiciel est présenté. Moi je préfère quand on peut faire les choses soi-même pas à pas comme sous Iris, car on peut fabriquer son master offset et ne conserver que le master. Au moins c'est clair, on a un dossier avec ses fichiers de calibration, et pas besoin de conserver toute la série qui a servi à les produire. Au temps jadis sous AstroArt 3, il y avait une fenêtre de boîtes pour mettre toutes les séries de frames, et à la fin le logiciel donnait à la fois l'image empilée et les fichiers masters obtenus lors du processus automatisé.

 

Pour obtenir le dark, il faut faire des poses là aussi sans qu'aucune lumière ne rentre dans la caméra, du même temps de pose, au même gain s'il est réglable, et à la même température. L'offset est soustrait de la série, puis empilement par médiane pour obtenir le master dark.

 

Mais après, ça dépend du type de caméra et du type de poses. Si tu fais du planétaire, ou du ciel profond avec des poses de 0,5 seconde, tu ne vas pas forcément distinguer offset et dark. Tu feras des poses avec la même exposition, le même gain et la même température, et tu empiles directement par médiane. Tu obtiendras un fichier "à soustraire" qui contiendra à la fois l'offset et le dark. C'est plus direct qu'en poses longues.

 

Comment on fait ça dépend du logiciel. Soit on a un logiciel type Iris où il faut lui donner les étapes une à une, mais c'est plus ou moins dans l'ordre dans le menu, soit on a un logiciel qui prend tout le fichier et qui fait tout automatiquement. Le problème du tout automatique, c'est que dans un cas particulier où il serait préférable qu'une étape soit zappée, ou qu'il soit judicieux qu'elle se fasse différemment de d'habitude... on fait comment ? Et puis le tout automatique, quand le résultat final est défaillant... on fait quoi ? Quand on procède étape par étape, au moins quand une étape merde on sait laquelle.

 

Comment on divise par 2... Ben sous Iris c'est facile, il y a les 4 opérations dans le menu. Alors bien sûr on va me dire que c'est dépassé, mais quand on me montre quelque chose de plus sophistiqué, c'est la première question que je pose : où sont passées les 4 opérations qu'on a apprises à l'école primaire ? Non pas que ça suffise, mais quand on comprend ce qu'on fait je ne sais pas comment on s'en passe.

 

Avoir des centaines de master dark non, sinon la caméra va tourner toutes les nuits de l'année dans la cave. Essaye plutôt d'identifier des réglages types pour lesquels tu feras des calibrations, et ensuite tu t'appuies dessus. Sur les galaxies à la CCD, je sais que je fais "normalement" des poses de 7 minutes en bin1 en L, et des poses de 2 minutes en bin2 en couleur. Donc je me fais un master dark 7 minutes béton et un master dark bin 2 minutes béton.

 

- L'offset est toujours le même, une fois qu'il est fait nickel à la maison c'est le même à ressortir du dossier à chaque fois.

 

- Les master darks bien fournis peuvent servir de base à des faux darks par multiplication. Il faut juste avoir une température de fonctionnement de référence et garder toujours la même.

 

- Les flats doivent être refaits sur le terrain à chaque fois. Les archives de flats ne sont réellement utiles que sur des instruments à poste fixe, dont on ne touche jamais la caméra. Quoi que dans la pratique j'ai déjà repris le flat de la nuit d'avant sans conséquences observables.

 

Donc en gros on sait à quoi s'en tenir. Faire gaffe à la température, et ne pas oublier de faire ses flats avant de remballer. Tout le reste est rattrapable à la maison, au pire.

Je ne connais pas SharpCap, mais apparemment c'est un logiciel pour les acquisitions et non pour les traitements.

[baroche 8 513]

Bonjour Damien,

 

Suite à toutes les bonnes explications ci-dessus, je m'étais en son temps amusé à créer des petits gifs qui montrent les effets des darks et des flats  ...

 

La nébuleuse Dumbel: image brute, image du dark et image après soustraction du dark  ...

 

la Lune: image brute, image du flat et image après division du flat  ...

 

 

 

 

[DaMs_ 17]

il y a une heure, Astro52 a dit :

Je ne connais pas SharpCap, mais apparemment c'est un logiciel pour les acquisitions et non pour les traitements.

Aaah d'accord merci, je pensais que les darks, offset et flats se retiraient tous seuls au moment de l'acquisition mais du coup non, c'est au moment du traitement d'image si j'ai bien compris (donc sous austrosurface ou iris si je comprends bien)

Encore merci

[DaMs_ 17]

il y a 17 minutes, baroche a dit :

La nébuleuse Dumbel: image brute, image du dark et image après soustraction du dark  ...

Merci beaucoup pour ta réponse.

Effectivement, l'image brute parait toute noire et après soustraction du dark tout est magnifique

Quels sont les logiciels que tu utilise ?

 

Merci

[Astro52 1 687]

Il existe un truc pour le faire en live sur SharpCap, peut-être réservé à la version pro, mais je ferais pas comme ça sauf pour des tests vite fait.

[baroche 8 513]

Il y a 4 heures, DaMs_ a dit :

Quels sont les logiciels que tu utilise ?

En fait ici je suis partis de poses uniques que j'ai traitées avec Photoshop, juste pour montrer l'effet en gros avec ces gifs   ... Dans la réalité j'utilise le logiciel Iris mais avec généralement 10 à 30 poses pour les darks maîtres et une douzaines de poses pour les flats maîtres  ...

[DaMs_ 17]

 

il y a une heure, baroche a dit :

j'utilise le logiciel Iris

 

Il y a 7 heures, Astro52 a dit :

Soit on a un logiciel type Iris

Je vois que vous utilisez tout les deux iris,  est ce que vous savez s'il est plus facile à utiliser que astro surface ou siril ou aucune idée? Parce que je ne sais pas encore vers quel logiciel de traitement me tourner. 

Merci à vous deux pour votre aide 

[baroche 8 513]

Ben là je ne peux pas t'aider Damien, je ne connais pas Siril et je débute depuis peu avec Astrosurface et seulement pour l'imagerie planétaire  ... Mais d'autres astrams te renseigneront pour sûr  ...

[thclavel 355]

Bonjour à tous et à Damien, je serai toi je commencerai par le commencement :).

Choisi un objet facile à cadrer facile à pointer style en ce moment la nébuleuse d orion ou les Pléiades, fait le plus grand nbre de clichés que tu peux, en essayant déjà de maîtriser la mise au point ,le suivi /guidage  .T occupe pas des darks et consors.

Prend un logiciel  plutôt Siril +un topo pour les aligner et les empiler.

Ou encore avec Sharcap tu empilés en direct pour commencer ça te donnera une idée.

Et lance toi , tu as tout le temps pour le reste ,je suis sur que tu trouveras ta première image géniale et tu epateras ta famille .

Ne te stresse pas tu es en concurrence avec personne .

Poste ton image et pleins de gentils astrams te donneront des conseils.

Le reste viendra tout seul si tu es motivé.

 

Ce n est que mon avis

 

Bon ciel a tous

 

[DaMs_ 17]

il y a 42 minutes, thclavel a dit :

T occupe pas des darks et consors

Merci pour tes remarques, effectivement peut être commencé par le pas trop dur avant de pinailler sur les détails

il y a 42 minutes, thclavel a dit :

Ou encore avec Sharcap

Effectivement je compte utiliser Sharpcap pour mon acquisition, puis astrosurface pour le planétaire et CP + Siril pour le CP.

 

il y a 42 minutes, thclavel a dit :

Poste ton image et pleins de gentils astrams te donneront des conseils.

Merci beaucoup, je trouve ça effectivement impressionnant la bienveillance des gens sur ce site, c'est super appréciable de pouvoir poser tout type de questions (de débutants) sans passer pour un idiot. Merci beaucoup pour ca

Je ne manquerais pas de mettre ici mes photos bien sur

Modifié 7 février par DaMs_
Faute d'orthographe

[baroche 8 513]

il y a 34 minutes, DaMs_ a dit :

c'est super appréciable de pouvoir poser tout type de questions (de débutants) sans passer pour un idiot. Merci beaucoup pour ca

Mais on est tous passés par là Damien, personne n'a la science et la technique infuse ... Moi par exemple, je débute encore et toujours dans l'astrophoto, actuellement à un stade un peu plus élevé que toi probablement, mais comparé à d'autres ici, je suis une tanche! ... Dans quelques temps si tu persévères, tu nous montreras de superbes clichés ...

[Superfulgur 16 151]

Je suis d'accord avec @thclavel, te prends pas la tête au début, perso, je fais de l'imagerie depuis 50 ans, et bien je fais plus de flats, plus de darks, plus d'offsets, et ça marche très bien.

 

[baroche 8 513]

il y a 48 minutes, Superfulgur a dit :

je fais plus de flats, plus de darks, plus d'offsets, et ça marche très bien.

Moi aussi Mon Nouvel Ami, j'en fais plus aussi, avant j'en faisais moins voire pas du tout ...

 

(Ouais ça va, j'avais bien compris! il manque juste un "ne" avant ton premier plus  )