Nouveaux capteurs : ne faites plus de dark

[frédogoto 2 006]

il y a 11 minutes, jldauvergne a dit :

(Light/Superflat)-Superflat. 

j'avoue que si c'est effectivement ce qui est fait sous réserve que j'ai bien compris, je trouve cela hautement exotique.

autant faire un superflat je trouve ça super (je me rappelle que @cbuilen avait parlé il y a une quinzaine d'année dans ses tutos Iris et cela était un peu sorti de l'esprit)

autant je ne comprends pas quel raisonnement a permis d'élaborer ce procédé (toujours si j'ai bien compris et mes sincères excuses si ce n'est pas le cas)

[apricot 1 431]

Vu sur cette page, (si j'ai bien compris) la soustraction peut être utile pour enlever les patterns de franges d'interférences

https://astro.uni-bonn.de/~theli/gui/aboutbackground.html

[frédogoto 2 006]

ok pigé, mais je crois qu'il y a une erreur méthodologique : diviser par le super flat ok  mais ensuite le soustraire, la ça ne va pas

pour moi seule la division a du sens, si je comprends maintenant que @jeffbax soi tenté de la faire (la soustraction), et a moins qu'il applique une valeur d'offset  x négatif* à son superflat avant soustraction, ça ne peu donner que des valeurs aberrantes
 

*et sur quel critère on applique cette valeur ????

 

[edit]  je note toutefois que @jeffbaxobtient des résultats convaincants si c'est bien cette méthode qu'il applique

 

@jeffbax peux tu nous mettre a dispo un set d'image avec ton superflat à dispo qu'on teste ?

Modifié 17 janvier par frédogoto

[jeffbax 7 405]

Il y a 1 heure, jldauvergne a dit :

Si tu veux, tu me donnes ton mail, j'écris à JC Cuillandre en te mettant en copie pour lui demander son avis sur le traitement Light-Superflat et sur le traitement que tu envisages : (Light/Superflat)-Superflat.

 

Laisse tombé. Si j'ai besoin de son avis je lui demanderai. On est en contact et on échange quelques données épisodiquement 😉. Je ne le dérangerai pas sur un quiproquo forumesque (parce qu'il s'agit que de ça hein, on prend du recul. Personne est mort, on mange tous les jours, on a même le temps de faire de l'astronomie amateur)...

 

Il y a 1 heure, jldauvergne a dit :

Si au moins Thierry est parvenu à te faire comprendre pourquoi ce n'est pas le bon procédé (mais qu'effectivement ça peut faire illusion sur un champ de galaxies)., c'est toujours ça de pris.

 

C'est exactement ça, Thierry lui y est parvenu.

 

Mais du coup ça éveille d'autres idées, car je sais ce que j'ai constaté et du coup l'intérêt est peut être ailleurs, sur le segment non linéaire de post traitement. Je vais voir.

 

Bonne journée 

 

 

 

[Bigcrunch 2 145]

Il y a 3 heures, messier63 a dit :

Comment on fait un biais synthétique ?

tu vas dans Siril tu ouvres une image de Bias que t'as capturé , tu fais statistique et tu relèves la médiane en principe une puissance de 2 ; pour moi de mémoire 1024
ensuite qd tu faiston prétraitement tu coches utiliser offset et tu mets =1024 

 

Olivier

[jeffbax 7 405]

il y a 33 minutes, frédogoto a dit :

 

[edit]  je note toutefois que @jeffbaxobtient des résultats convaincants si c'est bien cette méthode qu'il applique

 

Hello Fredo, je n'ai pas publié d'image avec ce processus en prétraitement. Mais j'ai noté effectivement une très bonne correction du fdc avec. On obtient un beau FDC propre pour de belles images. Ceci dit, après les explications de Thierry, c'est pas anormal, mais ça affecte les objets. Je l'ai bien compris maintenant. 

 

Je rentre ce weekend et je vais creuser ça. Plutôt en postraitement du coup qu'en prétraitement. C'est à dire à compter du moment où on fabrique l'image à partir de la donnée avec des manipulations non linéaires de toutes façons.

 

Par exemple (mais j'ai d'autres idées) imagine un beau FDC obtenu par soustraction d'un superflat monté avec les bons masques derrière les données relatives aux objets qui elles sont traitées normalement. Bref, du postraitement. Ça j'adore.

 

A+

Modifié 17 janvier par jeffbax

[jeffbax 7 405]

il y a une heure, apricot a dit :

Vu sur cette page, (si j'ai bien compris) la soustraction peut être utile pour enlever les patterns de franges d'interférences

https://astro.uni-bonn.de/~theli/gui/aboutbackground.html

 

Oui. Très bien ce truc qui explique bien que dans certains cas une soustraction n'est pas totalement denuée de sens. Mais c'est pour des usages spécifiques et le raisonnement de Thierry reste valable en général. On sacrifie le point zéro photométrique avec des distorsions non négligeables.

 

Le passage sur l'IR m'intéresse beaucoup. On travaille sans filtre avec pas mal d'IR du coup au T1000. J'en ai plein mon fond de ciel... Merci.

 

Très intéressant 

Modifié 17 janvier par jeffbax

[jldauvergne 15 128]

Il y a 2 heures, jeffbax a dit :

(parce qu'il s'agit que de ça hein, on prend du recul.

Content de te l'entendre dire. Merci. 

[jldauvergne 15 128]

Il y a 2 heures, frédogoto a dit :

[edit]  je note toutefois que @jeffbaxobtient des résultats convaincants si c'est bien cette méthode qu'il applique

ça c'est logique, si une galaxie tombe au niveau d'une poussière, elle va être plus sombre mais ton œil lui ne sait pas quelle est la luminosité de cette galaxie.

En revanche avec un Superflat fait sur le fond de ciel, la soustraction va corriger parfaitement et en totalité les variation de luminosité du fond de ciel, c'est pour ça que l'image finale peut faire illusion esthétiquement. Elle se sera néanmoins éloigné de la réalité, elle perd son "objectivité". 

Et si ça fait illusion visuellement c'est quasi un coup de chance d'être sur un cas où les effets du vignetage et des poussière ne soient pas perceptibles (ce qui ne veut pas dire absent)  sur l'IFN ou la cible elle même. 

Ce qui serait intéressant c'est de voir les exemples des 2 traitements, tu avais évoqué plus haut que tu allais les partager.

C'est sûr que l'impact dépend d'un très grand nombre de choses (force du vignetage, f/d, propreté du capteur, IFN visible ou non, type de cible, etc, etc).

[jeffbax 7 405]

il y a 39 minutes, jldauvergne a dit :

l'image finale peut faire illusion esthétiquement

 

Oui. C'est exactement la définition d'une image pour moi, contrairement à des données : Une illusion esthétique. Comme un tableau ou une symphonie. Ma passion c'est de transformer les données en images du ciel, la partition en musique, la peinture en tableau, etc... Et pour cet usage, je prends tous les biais qui m'inspirent.

 

il y a 39 minutes, jldauvergne a dit :

Ce qui serait intéressant c'est de voir les exemples des 2 traitements, tu avais évoqué plus haut que tu allais les partager.

 

Je suppose que tu t'adresses à moi dans cette réponse à Frédo. Et je confirme que c'est intéressant. C'est justement pour ça que je vais le faire. Et partager bien sûr, j'adore ça 😊

 

Laissez moi un peu de temps simplement, j'ai un vrai boulot à côté et c'est dense en ce moment. Je ferai un post.

 

JF 

Modifié 17 janvier par jeffbax

[jeffbax 7 405]

Il y a 5 heures, frédogoto a dit :

j'avoue que si c'est effectivement ce qui est fait sous réserve que j'ai bien compris, je trouve cela hautement exotique.

autant faire un superflat je trouve ça super (je me rappelle que @cbuilen avait parlé il y a une quinzaine d'année dans ses tutos Iris et cela était un peu sorti de l'esprit)

autant je ne comprends pas quel raisonnement a permis d'élaborer ce procédé (toujours si j'ai bien compris et mes sincères excuses si ce n'est pas le cas)

 

Re, Frédo.

 

L'usage normal d'un superflat est bien en division. Je le redis. Et ça n'a pas disparu du tout. Les images profondes au T1000 que nous avons publiées récemment en utilisent.

 

Ce principe n'est pas remis en cause.

 

Parallèlement, à côté, parce que j'adore manipuler des images, j'ai testé en soustraction et j'ai observé un superbe fdc. Et maintenant je saisis mieux pourquoi et j'en comprends certaines limites. L'étape d'après, en me basant sur ce que j'ai compris et mes observations je vais essayer des choses. J'ai une intuition sur un truc du genre correction par division completée par un truc soustractif. Dans quel ordre, comment, etc... J'en sais rien. Je suis un intuitif avec les images. Je vais tester 😉

 

A+

Modifié 17 janvier par jeffbax

[alx 103]

Cette discussion me paraît être devenue assez surréaliste. Ne serait-il pas plus simple de dire:

Toutes les quantités de l'image (''bias'', ''dark'', fond de ciel, objets dans l'image avec poussières et vignettage ou non, etc...) sont mesurés par la caméra par des nombres (adu) dans une échelle propre à la caméra. Mais on veut l'image dans une échelle physique de flux lumineux, indépendante de l'instrument utilisé. 

Pour un télescope idéal et une réponse linéaire de la caméra (ce qui est le cas dans une CMOS moderne), les deux échelles sont proportionnelles (égales un facteur prés). Pour un télescope réel le facteur de proportionnalité n'est pas le même pour tous les pixels car il  peut varier dans le champ de la caméra (vignettage, poussières, etc...). 

C'est là que le ''flat'' intervient: on mesure une source de référence, supposée uniforme à l'entrée du télescope .

La mesure (en adu) de ce signal plat (égal à 1 dans l'unité physique qui va bien) donne directement le facteur de proportionnalité  en chaque pixel.

Donc @jldauvergne a raison, la seule procédure correcte consiste bien à diviser par le ''flat'' pour obtenir l'image corrigée en valeur physique, c'est-à-dire indépendante du télescope utilisé.

Et plus précisément à effectuer l'opération (image - dark)/(flat - dark) pour tenir compte de la valeur du signal nul (absence de signal optique, le ''dark'' par définition) mesuré en adu par la caméra.

On en revient au début de ce fil initié par @frédogotoqui faisait remarquer avec justesse que les CMOS modernes permettent, avec une très bonne approximation et un avantage pratique évident, de remplacer le 'dark'' (de niveau négligeable en poses suffisamment courtes) par le zéro de référence de la caméra (''offset'' ou ''bias'') . Comme le signal de ''flat'' est aussi beaucoup plus grand que celui de ''dark'', on peut même se contenter, sans grande erreur, de l'opération encore plus simple:  (image - offset)/flat.

 

 

 

[Thierry Legault 5 814]

Il y a 4 heures, alx a dit :

on peut même se contenter, sans grande erreur, de l'opération encore plus simple:  (image - offset)/flat.

 

simplification tout à fait inutile : si on déjà a l'offset sous la main, ça ne coûte rien de le soustraire du flat. Surtout que le niveau d'offset n'étant pas forcément négligeable devant celui du flat (ça veut dire quoi "beaucoup plus grand ? x10, x100 ? A partir de quel moment l'omission de l'offset ne se verra plus sur le résultat final ?), c'est prendre un risque de biaiser le flat (et donc d'altérer la correction qu'il apporte) pour n'y rien gagner 

 

Modifié 18 janvier par Thierry Legault

[jldauvergne 15 128]

Il y a 6 heures, alx a dit :

de l'opération encore plus simple:  (image - offset)/flat

Je dirais même plus (image-offset)/(flat-offset)

 

(Dans ton écriture, la soustraction de l'offset au flat était sans doute implicite).

Modifié 18 janvier par jldauvergne

[alx 103]

Il y a 4 heures, Thierry Legault a dit :

que le niveau d'offset n'étant pas forcément négligeable devant celui du flat (ça veut dire quoi "beaucoup plus grand ? x10, x100 ? A partir de quel moment l'omission de l'offset ne se verra plus sur le résultat final ?), c'est prendre un risque de biaiser le flat (et donc d'altérer la correction qu'il apporte) pour n'y rien gagner 

La réponse est très simple: avec une caméra 12 bits par exemple le niveau de saturation est 4096, donc le flat doit être fait vers au moins ~3000 de signal moyen. D'autre part, avec un bruit au niveau du fond du ciel (dominé par le bruit de lecture) de l'ordre de 1 ou 2 adu ,  l'offset qui va éviter de tronquer le bruit de fond va être de l'ordre de 10 (5 sigmas sous le pic de l'histogramme).

D'où le biais d'un trois centième (10/3000),  négligeable en amplitude sauf pour de la photométrie de haute précision et sans effet sur l'évolution du SNR au cours de l'intégration.

Maintenant, pour l'ordinateur utilisé, c'est vrai que ça ne change rien de diviser par (flat-offset) ou simplement flat. Il s'agit juste de bien comprendre ce que l'on fait.

[frédogoto 2 006]

Il y a 7 heures, jldauvergne a dit :

Je dirais même plus (image-offset)/(flat-offset)

 

(Dans ton écriture, la soustraction de l'offset au flat était sans doute implicite).

oui, mais si flat synthétique alors

image - offset / flat 

[Thierry Legault 5 814]

Il y a 7 heures, alx a dit :

La réponse est très simple: avec une caméra 12 bits par exemple le niveau de saturation est 4096, donc le flat doit être fait vers au moins ~3000 de signal moyen. D'autre part, avec un bruit au niveau du fond du ciel (dominé par le bruit de lecture) de l'ordre de 1 ou 2 adu ,  l'offset qui va éviter de tronquer le bruit de fond va être de l'ordre de 10 (5 sigmas sous le pic de l'histogramme).

D'où le biais d'un trois centième (10/3000),  négligeable en amplitude

 

ça, c'est le cas où l'offset est très bas (voire réglable). Pas du tout le cas de l'APN qui a un offset à 128 ou 256 ADU sur 14 bits.

 

Il y a 7 heures, alx a dit :

Il s'agit juste de bien comprendre ce que l'on fait.

 

On le voit bien dans ce fil, beaucoup de gens n'ont pas assimilé ces notions et ont besoin de "recettes" simples et applicables dans tous les cas (ce n'est pas un reproche, juste un constat : je suis comme ça quand il faut que je jardine ou que je fasse cuire un poulet !) . Les exceptions et simplifications en forme de prise de tête (genre : quand-est ce que je peux éviter de soustraire l'offset du flat ?), il vaut mieux qu'ils les fuient ! 

[alx 103]

il y a 40 minutes, Thierry Legault a dit :

ça, c'est le cas où l'offset est très bas (voire réglable). Pas du tout le cas de l'APN qui a un offset à 128 ou 256 ADU sur 14 bits.

Ca ne change rien, l'offset correspondant  en 12 bits sera 32 ou 64,  donc toujours au niveau de 1 à 2 % de la valeur du flat. 

 

il y a 43 minutes, Thierry Legault a dit :

Les exceptions et simplifications en forme de prise de tête (genre : quand-est ce que je peux éviter de soustraire l'offset du flat ?), il vaut mieux qu'ils les fuient !

En principe, je serais d'accord avec cette règle .

Mais ici, on peut dire que l'offset est toujours négligeable devant le flat (au niveau de précision ''astram'' standard ), et que le plus important c'est de régler l'offset (si il est réglable) au niveau le plus bas possible préservant l'intégrité de l'histogramme du bruit de fond.

[Thierry Legault 5 814]

il y a 1 minute, alx a dit :

Ca ne change rien, l'offset correspondant  en 12 bits sera 32 ou 64,  donc toujours au niveau de 1 à 2 % de la valeur du flat. 

 

toujours en supposant que le flat est fait à haute dynamique. Rien, absolument rien n'oblige à faire un flat comme ça. Deux flats à 5000 ADU valent un flat à 10000 ADU.

 

il y a 3 minutes, alx a dit :

Mais ici, on peut dire que l'offset est toujours négligeable devant le flat (au niveau de précision ''astram'' standard ), et que le plus important c'est de régler l'offset (si il est réglable) au niveau le plus bas possible préservant l'intégrité de l'histogramme du bruit de fond.

 

la vache, donc il va falloir aller regarder l'histogramme et régler l'offset pour "préserver l'intégrité du bruit de fond", au lieu de mettre l'offset en soustraction du flat dans un calcul tout automatisé ! 

 

[jeffbax 7 405]

Ah, c'est encore ouvert ici. Super, j'ai eu accès au PC.

 

Voici un exemple de superflat pour ceux qui ont demandé. C'est celui qu'on a employé (en division hein on recommence pas) sur la première détection du halo de NGC 5982 confirmée par l'équipe du CFHT avec qui on a partagé les données. ici :

 

 

Avec ce résultat au final :

 

 

 

Ca ressemble à ça, 120x 60 secondes autour du champ (la visualisation est stretchée pour bien voir ici) :

 

 

 

JF

 

 

Modifié 19 janvier par jeffbax

[alx 103]

il y a une heure, jeffbax a dit :

Voici un exemple de superflat

Je n'arrive pas à lire l'échelle de droite sur la visu dilatée en amplitude.

Quelle est l'amplitude relative (1%, 5%, 30%) d'ensemble (et des bosses centrales) de ce ''superflat''  ?

Merci,

alx.

[jeffbax 7 405]

il y a 1 minute, alx a dit :

Je n'arrive pas à lire l'échelle de droite sur la visu dilatée en amplitude.

Quelle est l'amplitude relative (1%, 5%, 30%) d'ensemble (et des bosses centrales) de ce ''superflat''  ?

Merci,

alx.

 

0.43 à 0.53. Une extinction de 20% environ liée au vignetage entre le centre et les coins.

 

JF

[alx 103]

Merci,

Donc les bosses centrales, c'est de l'ordre de 1%  ?

alx.

[jeffbax 7 405]

Il y a 8 heures, alx a dit :

Merci,

Donc les bosses centrales, c'est de l'ordre de 1%  ?

 

Hello,

pas sûr de comprendre la question. Mais en gros oui les bosses au centre sont en relatif de cet ordre.

 

Surtout on voit ici ce que fait un superflat par rapport à un flat normal ou synthétique. Il y a des structures de fdc très complexes qui sont corrigées.

 

Pour info le halo stellaire de la galaxie a été estimé par le CFHT au voisinnage de 31mag/arcsec2. C'est une folie en termes de detectivité LSB. Et c'est ça qui les intéresse dans nos images pour le coté science. Et JC Cuillandre a un faible en plus pour mes rendus d'images (pas scientifiques du coup). Je suis content de ces échanges 😉

 

JF 

 

 

Modifié 19 janvier par jeffbax

[jeffbax 7 405]

Ah oui. J'ai oublié, je lâche pas mon inspiration sur l'emploi de ces superflats autrement qu'en division. Les traiteurs expérimentés comprennent certainement pourquoi j'ai ces idées déviantes en regardant ce superflat. C'est une mine d'informations sur le fdc. Je vais revenir ( I will be back) 🤠

 

J'aime assez ces phrases traduites en français mais qui perdent de fait beaucoup de leur sens lié à l'humour anglo-saxon ( je suis totalement fan des Monty python).

 

Y'en a d'autres :

 

"Who he can does, who he cannot teaches". En gros, mais sans restituer tout l'humour de langue : celui qui peut fait, celui qui ne peut pas explique.

 

Personne n'est visé évidemment car je sais que @jldauvergne pourrait partager avec nous ses résultats en ciel profond. En plus de ceux qu'il obtient en planétaire dont je reconnais l'excellence indiscutable.

 

D'ailleurs je ne vais jamais sur ce terrain. Même si je pourrais préférer ceci ou celà. Je respecte le travail des meilleurs dans leur domaine et JLD est un maître dans ce domaine.

 

Par contre quand on cause CP. Je sais de quoi que je cause...

 

JF 

Modifié 19 janvier par jeffbax