Nouveaux capteurs : ne faites plus de dark

[alx 103]

Il y a 21 heures, Roch a dit :

mais quand parfois ma fwhm descend à 2 pixels, je crois que c'est vraiment pas une bonne idée

 

Le filtrage median 3x3 (le CMed sans lissage gaussien), à l'usage,  me paraît quand même la bonne idée.

En effet, il procure un gain en ''bruit de lecture" important (un bon facteur 2) et n'est pas si critique que ça pour ce qui concerne la résolution. C'est assez proche d'un ''binning'' x2.

Par exemple, sur une image brute où j'ai mesuré que les 10 plus brillantes étoiles avaient un  FWHM de 4.0 pixels (2") , celui-ci passe à 4.4 pixels sur la même image filtrée.

Le seul inconvénient à mon avis est que le filtrage médian n'est pas un filtrage linéaire, donc opérable par convolution. C'est un algorithme lent, pas facilement compatible avec un traitement en temps réel. Par exemple, sur mon PC portable d'acquisition  une image 3008x3008 est traitée en 140 ms., même en utilisant un code fortement optimisé (code parallèlisé + instructions avancées SSE2).

C'est pourquoi, j'aimerais bien que les fabricants de caméras (ZWO & co) aient la bonne idée d'implanter ce filtrage dans le FPGA de sortie de la caméra, en remplacement de la fonction "binning" qui n'a pas d'utilité pour un CMOS.

En tout état de cause, la question de la perte de résolution peut être réglée par un sur-échantillonnage adéquat (Barlow).

Modifié 6 février par alx

[Roch 1 898]

il y a une heure, alx a dit :

Par exemple, sur une image brute où j'ai mesuré que les 10 plus brillantes étoiles avaient un  FWHM de 4.0 pixels (2") , celui-ci passe à 4.4 pixels sur la même image filtrée.

 

Déjà 10% de perte, c'est trop pour moi. Qui plus est, à mesure que ta FWHM diminue, la perte augmente en proportion. A mon avis sur du 2 pixels on doit être beaucoup plus haut. Essaye

 

il y a une heure, alx a dit :

En tout état de cause, la question de la perte de résolution peut être réglée par un sur-échantillonnage adéquat (Barlow).

 

Non plus... Qui dit barlow dit poses unitaires plus longues et donc pas toujours possible, et pour plein de raisons dans mon cas. La résolution finale sera moins bonne qu'à focale native.

 

Le sweet spot pour moi c'est une fwhm moyenne de 3.5 pixels... Qui se transforme en fwhm de 2 pixels sur les très bonnes  brutes. Et c'est précisément celles-ci que je veux altérer le moins possible

 

[alx 103]

 

Il y a 3 heures, Roch a dit :

Non plus... Qui dit barlow dit poses unitaires plus longues et donc pas toujours possible,

Pourquoi ? Le temps de pose unitaire  pourra rester le même et donner  le même  SNR après intégration si tu regroupes tes pixels correctement dans l'image finale.

 

Avec mon T305 à F/D=5 et la turbulence de mon site qui ne descend jamais au-dessous de 2" (Bretagne), je me satisfais  jusqu'à présent du CMed.

Une possibilité, pour minimiser ce problème de perte de résolution, pourrait être l'algorithme suivant, que je n'ai pas essayé:

Pour chaque pixel, comparer sa valeur avec les valeurs minimum et maximum dans un voisinage (3x3 ou 5x5). S'il y a égalité, marquer ce pixel. Pour les voisinages marqués, en fonction de l'écart des extremums, remplacer ou non la valeur du pixel central par la valeur de la médiane.

L'avantage étant que les calculs de médianes seront minoritaires et que ceux des extremums peuvent être faits par opérations morphologiques (ouverture et fermeture) nettement moins lentes.

Mais c'est peut-être déjà bien connu:

 

Merci en tous les cas d'avoir relancé cette discussion: les nouvelles CMOS simplifient énormément les choses puisqu'il n'y a presque plus aucune opération correctrice à faire pour éliminer les biais de l'instrumentation. Ce qui devrait aider beaucoup d'astrams à simplifier leurs procédures.

Sauf malheureusement l'élimination du RTS qui reste un problème ouvert.

Modifié 6 février par alx

[Roch 1 898]

Il y a 4 heures, alx a dit :

Pourquoi ? Le temps de pose unitaire  pourra rester le même et donner  le même  SNR après intégration si tu regroupes tes pixels correctement dans l'image finale.

 

Non, il faudrait faire du hard binning pour ça. Pour un grandissement X2, Il y aura deux fois plus de bruit de lecture par unité de surface. Et comme je le disais plus haut, je me place dans le cadre des poses courtes donc le bruit de lecture n'est pas négligeable.

Un filtre médian pourrait probablement augmenter un peu le SNR mais certainement pas le ramener à celui de l'image en grandissement X1. Enfin il me semble.

[cbuil 3 483]

Alx, en fait CMED dans ISIS fonctionne de cette manière, ce n'est pas un simple filtrage médian, trop destructif vis-à-vis des détails. C'est une filtrage médian pondéré qui tiens compte de l'intensité et du contexte. Roch, c'est particulièrement efficace pour le bruit en général : un bruit de lecture qui descend en dessous de 1 e- sous sur une 2600/6200 par exemple. Ce n'est pas usuel. Cela agit aussi sur les points chauds bien entendu, ce qui rejoins cette discussion.

 

Attention, il faut que le FWHM des étoiles soit de 3 pixels au moins, et mieux encore 3,5 à 4 pixels, voir plus. Une image stellaire avec des étoiles très fines, parfois on n'a pas le choix, parfois on cherche cela absolument en optimisant son setup, ce e n'est pas une très bonne idée. D'une manière générale lorsqu'on cherche a détecter des objets de faible éclat, et singulièrement en CMOS. Penser l'inverse est une sorte de légende urbaine qui circule parfois. L'ennemi en matière de détectabilité est le sous-échantlonnage. A l'inverse en sur-échantilonnant (sans exager) un algorithme comme CMED permet de filtrer des bruits détecteurs, que l'on se prend plein pôt en sous échantillonnant (Le C de CMED est le C de CMOS). Vive aussi les petits pixels.

 

Enfin, on voit aujourd'hui pas mal d''images prise en diphering avec des poses courtes (genre 10 secondes), ce qui est un moyen de lutter contre les points chaud et bruit télégraphe (mais un poil moins efficacement et avec d'autres contraintes).

 

Christian

[Roch 1 898]

Il y a 20 heures, cbuil a dit :

C'est une filtrage médian pondéré qui tiens compte de l'intensité et du contexte. Roch, c'est particulièrement efficace pour le bruit en général : un bruit de lecture qui descend en dessous de 1 e- sous sur une 2600/6200 par exemple. Ce n'est pas usuel. Cela agit aussi sur les points chauds bien entendu, ce qui rejoins cette discussion.

 

Hmm intéressant ! Même si je reste persuadé que c'est un peu trop destructeur pour les fins détails, effectivement pour des images un peu suréchantillonées ça doit être efficace.

 

Il y a 20 heures, cbuil a dit :

D'une manière générale lorsqu'on cherche a détecter des objets de faible éclat, et singulièrement en CMOS. Penser l'inverse est une sorte de légende urbaine qui circule parfois. L'ennemi en matière de détectabilité est le sous-échantlonnage

 

Je te rejoins là dessus, mais seulement si tu travailles en poses longues, là où le bruit de lecture est devenu négligeable au regard du bruit de fond de ciel

 

Si ton rapport ( bruit de fond de ciel ) / ( bruit de lecture ) est déja très faible ( autour de 1.5 pour moi ), suréchantillonner va encore faire descendre ce rapport. Et des poses plus longues pour compenser ne sont pas envisageables, ne serait-ce que pour une question de qualité de suivi.

Le filtre médian que tu proposes doit aider un peu mais certainement pas gagner un facteur 2, qui serait par exemple nécessaire si je mettais une barlow X2.

[apricot 1 430]

Le 23/01/2024 à 15:10, Philippe Bernhard a dit :

 

Justement, c'est là où on en a le moins besoin car M45 est un phare.

Donc oui, pour les images conventionnelles ça fonctionne (avec un bon algo de suppression des pixels chauds)

 

Pour voir la différence, il faut des images en très faible lumière (quelques photons en narrowband ou spectroscopie). C'est là où c'est d'ailleurs le plus amusant. 

 

J'ai refait une comparaison pragmatique de prétraitement avec et sans dark, ce coup ci sur une cible faible, la nébuleuse du spaghetti, avec un filtre bi-narrowband (Ha + [OIII] de chez Optolongue).

FS60 et réducteur, ASI2600MC (-10°C), 48 poses de 600 sec, ciel Pyrénéen.

 

 

Brutes prétraitées avec masterbias (33 bias de 1 ms) et masterdark (15 darks avec la même température et temps de pose) et masterflat, puis empilées.

 

Stats sur l'image

avgDev 16.301 13.633 9.630

MAD 3.938 2.101 1.557

 

Brutes prétraitées avec le masterbias et masterflat puis empilées.

 

avgDev 16.323 13.675 9.700

MAD 3.973 2.137 1.617

 

 

La différence est hyper subtile... peut être un tout petit peu moins de bruit dans la première.

 

La division des deux images indique qu'il y a bien une différence, mais est elle significative ?

Stats sur la division:

mean 64720.572 64538.790 63738.800

median 64804.183 64604.151 63890.091

avgDev 486.429 491.302 1081.649

MAD 415.134 424.961 971.690

minimum 39039.264 36530.552 35706.842

maximum 65535.000 65535.000 65535.000

 

Jean-Philippe

 

edit pour clarifier la méthododolgie

Modifié 13 février par apricot

[guillaumeri 1]

@apricot : Rien à voir avec le sujet mais tu as des étoiles légèrement carrées, j'ai eu le même souci récemment. Tu saurais à quoi cela est dû (je n'arrive pas à corriger ce défaut avec PI) ?

[apricot 1 430]

@guillaumeri c'est parce que les étoiles sont trop bien rangées dans la boite à pixel !

Dans le cas ci dessus avec la caméra en bin 2 et la petite focale, la résolution est de 6.07"/pixel. Donc avec un seeing et un suivi < à cette résolution les étoiles tiennent dans un seul pixel, elles sont au carré.

Solution, éviter de sous échantillonner ( ne pas binner , adapter sa taille de pixel/focale ). A tester, drizzle au moment du prétraitement (?), ou faire de la peinture (!) avec les outils de floutage, ou morphological transformation median.

Mais avec les nébuleuses, les trop petites étoiles ne sont pas forcément désavantageuses

[guillaumeri 1]

merci pour ces explications très claires, j'avais lu que cela pouvait être dû au sous échantillonnage mais tu as bien confirmé tout cela !

[toyof 496]

Le 10/02/2024 à 11:06, apricot a dit :

33 Bias et 15 Dark

Pourquoi tu précises 33 bias? Tu t'en sers pas là dans la version avec dark?

[Fred_76 646]

@cbuil, quelle différence y-a-t-il entre « diphering » et « dithering » ?

[frédogoto 2 006]

Le 11/02/2024 à 09:02, guillaumeri a dit :

@apricot : Rien à voir avec le sujet mais tu as des étoiles légèrement carrées, j'ai eu le même souci récemment. Tu saurais à quoi cela est dû (je n'arrive pas à corriger ce défaut avec PI) ?

faut utilliser une autre algo de transformation. genre bilinear

[Thierry Legault 5 808]

Il y a 3 heures, Fred_76 a dit :

@cbuil, quelle différence y-a-t-il entre « diphering » et « dithering » ?

 

j'ai trouvé ! C'est la troisième lettre en partant de la gauche 

[Fred_76 646]

Il y a 8 heures, Thierry Legault a dit :

 

j'ai trouvé ! C'est la troisième lettre en partant de la gauche 

Voui, c’est bien ce qu’il me semblait. En fait en cherchant sur le net la définition de « diphering », les seules (quasiment) sources données sont des textes de … Christian Buil !

 

Bref, diphering = dithering, mais par Christian 😇

[apricot 1 430]

Le 12/02/2024 à 01:44, toyof a dit :

Pourquoi tu précises 33 bias? Tu t'en sers pas là dans la version avec dark?

Heu, j'ai enregistré 33 bias et 15 darks pendant la nuit d'observation, puis prétraité avec soit avec les bias, soit avec les bias & dark.

Mais je n'ai peut être pas compris ta question ??

Jean-Philippe

Modifié 13 février par apricot

[toyof 496]

il y a une heure, apricot a dit :

Heu, j'ai enregistré 33 bias et 15 darks pendant la nuit d'observation, puis prétraité avec soit avec les bias, soit avec les bias & dark.

Mais je n'ai peut être pas compris ta question ??

Ce que je veux dire c'est que si tu calibres avec le master dark, tu ne te sers pas des bias. Puisque le signal de bias est aussi dans le signal de dark.

Tu fais (brute - master dark) dans un cas ou (brute - master bias) dans l'autre, c'est bien ça?

[apricot 1 430]

Bias seul:

brute calibrée = (brute-bias)/(flat-bias)

 

Dark & bias:

brute calibrée = (brute-bias-(dark-bias))/(flat-bias)

[Bigcrunch 2 142]

il y a une heure, apricot a dit :

Dark & bias:

brute calibrée = (brute-bias-(dark-bias))/(flat-bias

 

Il n est pas nécéssaire de retirer le bias de la brute si déjà retirer du Mdark puisque on va soustraire ce dernier des brutes,enfin c est ce que j avais compris et faisais..

[apricot 1 430]

Bien sur (brute-bias-(dark-bias)) = (brute-dark). L'intérêt* de (brute-bias-(dark-bias)) est de pouvoir utiliser un dark avec des brutes qui n'ont pas exactement le même temps de pose, avec (brute-bias-K*(dark-bias))

 

* ou plutôt non intérêt vu le sujet du fil !

Modifié 13 février par apricot

[toyof 496]

il y a 44 minutes, apricot a dit :

* ou plutôt non intérêt vu le sujet du fil !

Oui on dérive un peu mais pas tant que ça dans la mesure où on veut bien savoir  comment tu as exactement calibré les 2 brutes de ton post .

D'ailleurs il s'agit de la même brute prétraitée ou un empilement?

Je n'avais pas compris que tu avais fait une correction de flat d'où ma question sur l'utilisation des bias sur la version prétraitée avec les darks.

Et donc là tu as utilisé des darks avec un temps de pose différents des brutes?

[apricot 1 430]

Ce sont des empilements, et les darks avaient le même temps de pose, 600 sec. J'édite mon message ci dessus pour éclaircir.

[frédogoto 2 006]

Le 21/01/2024 à 09:12, JMBeraud a dit :

 

… tout comme Fred par ailleurs, j’ai les yeux qui piquent chaque fois que je vois le titre de ce fil.

et encore, j'ai fait d'incroyable progrès. Si tu lis mes premiers fils sur ce forum, tu vas saigner par tous tes orifices

 

[Thierry Legault 5 808]

Il y a 3 heures, frédogoto a dit :

et encore, j'ai fait d'incroyable progrès. Si tu lis mes premiers fils sur ce forum, tu vas saigner par tous tes orifices

 

c'est remarquable, mais je note qu'il a quand même fallu plus d'un mois pour aboutir à une phrase sans aucune faute  (ah mince même pas, j'avais lu trop vite )

 

Modifié 24 mars par Thierry Legault

[JMBeraud 1 772]

il y a 32 minutes, Thierry Legault a dit :

Il y a 2 heures, frédogoto a dit :

et encore, j'ai fait d'incroyable progrès. Si tu lis mes premiers fils sur ce forum, tu vas saigner par tous tes orifices

 

c'est remarquable, mais je note qu'il a quand même fallu plus d'un mois pour aboutir à une phrase sans aucune faute 

 

Vous y êtes presque, il manque un "s" à incroyable.  (Thierry pourtant avait 17/20 en CM2 si je me souviens bien) - je blague hein pas taper.