Nouveaux capteurs : ne faites plus de dark

[Philippe Bernhard 557]

il y a 2 minutes, frédogoto a dit :

cela à été fait

Sur quel(s) type(s) d'images ?

Car ce qui fonctionne bien avec un type d'images ne le sera pas forcément sur d'autres (comme les très (très) faibles niveaux)

[frédogoto 2 006]

clique sur le lien fournis.

Mais pour faire simple, c'est du m45, donc oui, ça envoie

[Philippe Bernhard 557]

il y a 18 minutes, jldauvergne a dit :

Au cas où je n'ai pas été clair, je ne pense pas ça du tout. 
J'ai pris mon temps pour me laisser convaincre par BlurX, mais au final je pense que c'est un outil assez révolutionnaire. Le seul truc qui me chagrine perso c'est qu'il soit prisonnier d'un logiciel que je n'aime pas. Ca aurait mérité un logiciel propre ou un plug-in Adobe en plus (peut être qu'il y viendra)

 

Rassures-toi, je ne te visais pas particulièrement (j'ai juste repris ton post mais j'aurais pu aussi reprendre celui de Cyril (Siril) ou d'autres. Mais comme BlurX est un sujet épineux sur AS... 

 

 

Pour Adobe, Russel a dit que non. 

Après, là aussi, Pixinsight est probablement criticable sur sa partie ergonomique mais je suis mal placé car je l'utilise depuis sa version 1.0 LE donc j'ai eu un peu le temps de m'y faire... 

Ensuite, je ne vois pas comment un plugin payant pourrait se retrouver dans le un logiciel libre comme Siril. Ce n'est pas leur truc et ça se comprend. Et c'est d'ailleurs une excellente nouvelle qu'ils développent leur propre algorithme de déconvolution.

 

 

il y a 13 minutes, jldauvergne a dit :

Sur el débruitage AI tu peux ajouter Adobe.

 

Oui, Adobe a fait pas mal de progrès sur ce point. Peut-être pas au niveau qualitatif de DXO, mais c'est très bien ce qu'ils font. Le problème est que la correction est meilleure quand il y a une passe avant le dématriçage. 

 

 

[Philippe Bernhard 557]

il y a 13 minutes, frédogoto a dit :

Mais pour faire simple, c'est du m45, donc oui, ça envoie

 

Justement, c'est là où on en a le moins besoin car M45 est un phare.

Donc oui, pour les images conventionnelles ça fonctionne (avec un bon algo de suppression des pixels chauds)

 

Pour voir la différence, il faut des images en très faible lumière (quelques photons en narrowband ou spectroscopie). C'est là où c'est d'ailleurs le plus amusant. 

Modifié 23 janvier par Philippe Bernhard

[Franck_77 1 534]

Il y a 15 heures, Thierry Legault a dit :

en quoi consiste son erreur

Pour ta gouverne, ça, ça s'appelle de la didactique, pas de la bienveillance. On a aussi nos "gros mots" dans l'Education (garderie) Nationale 

La bienveillance consiste à encourager un élève qui se trompe... Tu as des progrès à faire dans ce domaine !

 

[Franck_77 1 534]

Le 22/01/2024 à 09:33, jldauvergne a dit :

C'est le mauvais temps qui vous rend tous à ce point énervés ici ? 

Venir nous parler de bienveillance tout en lâchant "Quant à tous les lèche-c.. qui te suivent avec un smile, je n'en rajouterai pas, déplorable !", c'est à un niveau de contorsion hyper balaise.

Tu fais comme ça aussi à l'école primaire ? "Bande de petits connards, je vous ai ordonné d'être gentils les uns avec les autres" 

 

Faut se détendre un peu, ... 

Ouais, je fais comme ça à l'école primaire :"Bande de p'tits cons, je vous ordonne d'être gentils les uns avec les autres", pfff, tu ne connais pas non-plus le sens du terme bienveillance visiblement...

Allez, je te laisse avec ton ignorance en ce domaine, tu m'as bien laissé avec mon ignorance en astro 

 

[jldauvergne 15 123]

Il y a 6 heures, Franck_77 a dit :

tu ne connais pas non-plus le sens du terme bienveillance visiblement...

Je le connais, mais je ne m'en réclame pas en toute circonstance  

[Superfulgur 16 106]

Il y a 9 heures, Franck_77 a dit :

La bienveillance consiste à encourager un élève qui se trompe... Tu as des progrès à faire dans ce domaine !

 

Ou alors c'était de l'ironie, @Thierry Legault m'a vanné récemment dans "Astronomie générale", parce que j'espiquais que j'avais pas de traces de satellites sur mes images grand champ du ciel profond, alors qu'il y a déjà genre 10 000 satellites en orbite basse. Il m'a avec un sourire fait remarquer que c'était assez normal de ne pas voir de satellites quand ils passent dans l'ombre de la Terre, avec un  .

Mais j'avoue, je me demande depuis des semaines si c'était de l'ironie sympa ou si il me prend vraiment pour un con.

 

[frédogoto 2 006]

bon c'est chiant la.

On arrête le tir ? ca par ailleurs y'a une foule d'infos intéressantes dans ce sujet

 

[Great gig in the sky 7 425]

il y a 6 minutes, Superfulgur a dit :

Mais j'avoue, je me demande depuis des semaines si c'était de l'ironie sympa ou si il me prend vraiment pour un con.

 

Joker ! 

[Thierry Legault 5 812]

il y a 26 minutes, Superfulgur a dit :

Ou alors c'était de l'ironie, @Thierry Legault m'a vanné récemment dans "Astronomie générale", parce que j'espiquais que j'avais pas de traces de satellites sur mes images grand champ du ciel profond, alors qu'il y a déjà genre 10 000 satellites en orbite basse. Il m'a avec un sourire fait remarquer que c'était assez normal de ne pas voir de satellites quand ils passent dans l'ombre de la Terre, avec un  .

 

m'enfin !! C'est même pas moi, c'est Nicolas !! C'est pô juste !! 

 

A quand remonte ta dernière visite chez l'ophtalmo ? (ironie bienveillante je précise, maintenant il faut toujours préciser, j'ai bien noté que la team 1er degré n'était jamais très loin )

[Superfulgur 16 106]

il y a 6 minutes, Thierry Legault a dit :

m'enfin !! C'est même pas moi, c'est Nicolas !! C'est pô juste !!

 

Nan, nan, c'était bien toi, Nicolas, ya pas de problèmes, il milite pour "Dernière rénovation" et tire au laser pour aveugler les trucs de monsieur musc, ya pas de soucis, mais ta vanne sur l'ISS qu'on voit pas en pleine nuit, je m'y attendais pas du tout, snif, du coup chu en psychanalyse depuis un mois  "Docteur, j'arrive pas à savoir si Thierry Legault me prend pour un con ou pas ? " Il répond jamais........................................................................

Modifié 24 janvier par Superfulgur

[Thierry Legault 5 812]

il y a 25 minutes, Superfulgur a dit :

"Docteur, j'arrive pas à savoir si Thierry Legault me prend pour un con ou pas ? " Il répond jamais

 

A force de poser des questions comme ça, ça va devenir une prophétie autoréalisatrice 

[clementv 254]

Le 16/01/2024 à 14:59, jeffbax a dit :

C'est le terme superflat qui porte à confusion. En fait c'est un superDOF qui contient à la fois le biais, le dark et un modèle réaliste de fond de ciel, vu du capteur.

Original comme approche
mais à refaire à chaque fois j'imagine ? pas de réemploi comme un master darks classique

[jeffbax 7 399]

il y a 49 minutes, clementv a dit :

Original comme approche
mais à refaire à chaque fois j'imagine ? pas de réemploi comme un master darks classique

 

Oui faut refaire le superflat à chaque fois de préférence au voisinage immédiat de l'objet. C'est pour ça que ça reste un usage particulier.

 

JF 

[jeffbax 7 399]

Il y a 2 heures, Superfulgur a dit :

snif, du coup chu en psychanalyse depuis un mois  "Docteur, j'arrive pas à savoir si Thierry Legault me prend pour un con ou pas ? "

 

Bah, si ton psychanalyste est bon, t'auras pas de réponse mais la question n'aura plus d'importance. 😀

 

Toujours dans l'esprit de l'explication imagée : je faisais pipi au lit encore l'année dernière et je le vivais très mal quand on dormait chez des amis. J'ai vu un bon psychanalyste. Après 6 mois c'est nickel 👌 je pisse toujours au lit, mais maintenant j'en suis extrêmement fier... 😊

 

Les opinions des autres faut relativiser 😄

 

 

Modifié 24 janvier par jeffbax

[Jean-Marc_M 941]

[jeffbax 7 399]

Merci @Jean-Marc_M de l'avoir retrouvée dans sa version native. Excellent.

 

Je ne pisse pas vraiment au lit hein... 😄 Vous aviez compris non ? 🥺🥺

 

 

[Franck_77 1 534]

Le 24/01/2024 à 08:02, jldauvergne a dit :

Je le connais, mais je ne m'en réclame pas en toute circonstance  

Moi non plus, je l'applique juste au quotidien 

[A-FIOCRET 183]

Le 23/01/2024 à 14:40, jldauvergne a dit :

J'ai pris mon temps pour me laisser convaincre par BlurX

 

Tout comme moi, j'aurai pas mis beaucoup de temps pour me laisser convaincre par DXO PhotoLab.

En terme de débruitage, difficile d'aller encore plus loin.

Mon vieux boitier reflex de 2009 que j'utilise encore de temps à autre s'en ressort rajeuni de plus de dix ans. 

https://www.dxo.com/fr/technology/deepprime/

[Roch 1 898]

Le 11/01/2024 à 15:10, frédogoto a dit :

autre point pour les poses ultra-courte ( 2 seconde et moins) la réduction de bruit par le refroidissement devient de plus en plus négligeable (en dessous de 0.5s la différence se joue à la troisième décimale

 

Sujet très intéressant ! dommage que j'arrive un peu tard car j'ai aussi plusieurs pistes de réflexion là dessus. Donc je remonte le fil un poil

 

@frédogotoPeux-tu me dire ce qui t'amène a cette conclusion ci dessus ? Si c'est juste le fait que le bruit thermique est moins important que le bruit de lecture en proportion, c'est vrai, mais ça n'enlève pas le problème des pixels chauds qui seront toujours trop chauds... Donc les darks restent très très utiles, je plussoie @exaxe17 là dessus.

Même si ce que tu dis est vrai, tu négliges ( je crois ) le fait que le signal thermique que l'on soustrait n'est pas quelque chose d'uniforme, et que c'est les pics de signal sur certains pixels qui sont relous et font des trames disgracieuse

Qui plus est, un signal, même très faible, apparaîtra dans tous les cas au regard du bruit avec un nombre suffisant d'images. Avec 40k images, on se retrouve avec un signal thermique 40.000 fois plus fort mais un bruit de lecture final "seulement" 200 fois plus fort. Arrivera un moment où le signal, si faible soit-il, sera visible au regard du bruit.

 

Après personnellement, ayant une monture qui balade suffisamment  l'image dans le champ pour que ce soit équivalent à du dithering, je fais surtout des darks pour utiliser la correction cosmétique, qui permet d'éviter totalement le problème sur les pixels très chauds. Mais il n'en reste pas moins qu'il faut quand même un dark à la base pour utiliser la correction cosmétique.

Par contre cela ne suffit pas à évacuer le bruit télégraphe car certains pixels qui y sont sensibles auront une valeur moyenne dans la norme, mais avec des valeurs extrèmes fréquentes ( comme montré par @alx page 1 ) ce qui induira également une trame sur l'image finale. Enfin c'est mon analyse

 

 

Concernant les poses rapides :

 

Pour répondre à @Thierry Legault et @alx en page 1, le principe même des poses courtes est de diminuer le temps de pose unitaire le plus possible. Donc si le bruit de lecture est plus bas, on va pouvoir poser plus court, et de fait le bruit de lecture ne sera jamais négligeable parce que justement s'il devient négligeable, ça veut dire qu'on peut poser plus court, donc on diminuera notre temps de pose unitaire jusqu'à ce que le bruit de lecture ne soit plus négligeable  ( enfin tant qu'on aura des étoiles à aligner mais il y a de la marge )

 

Et perso je bosse a gain 400 ou 450 en "échelle zwo", car le bruit est significativement plus bas qu'à 100 ; Même une réduction de 5% je prends. De plus, avoir 100e- de full well seulement ne me gêne pas car quand j'empile 50k images je retrouve une dynamique largement suffisante au final.

 

Effectivement, passer de 1e- à 0.7e- permet de diviser le temps de pose unitaire par 2 environ, en conservant le même signal et le même RSB, pour un temps d'acquisition total égal. Je pense que cette précision était implicite pour @exaxe17 mais c'est vrai qu'il faut mieux toujours préciser pour éviter les quiproquos

 

Pour revenir sur le bruit télégraphe :

 

@cbuil et @alx, vous qui semblez avoir creusé un peu la question, est-ce que les pixels affectés par le bruit télégraphes sont toujours les mêmes ? Est-ce que ça concerne des photosites différents d'une nuit sur l'autre ?

 

La méthode du filtre médian est pour moi inapplicable à la pose rapide car on recherche justement le plus fin détail donc c'est un peu se tirer une balle dans le pied quand même ( à moins d'être très suréchantilloné mais c'est aussi contre productif en pose rapide car cela nécessite des poses unitaires plus longues qu'un échantillonage plus faible )

 

En réfléchissant à la question, j'avais eu l'idée d'un prétraitement différent qui pourrait mitiger ces problèmes de bruit télégraphe et potentiellement induire une amélioration du RSB global ( significative ou pas, à voir ). Voilà le protocole auquel j'ai pensé :

 

Il suffirait de partir d'une série d'images prises dans les mêmes conditions ( typiquement des darks, mais peut-être que des offset suffiraient ) et de calculer l'écart-type de chaque pixel entre toutes les valeurs qu'il prend sur la série d'images complète. On aurait donc une carte des pixels "variants" et des pixels "moins variants".

 

De là, deux possibilités :

 

- méthode rapide : on effectue une correction cosmétique afin d'évacuer les pixels trop variants sur nos brutes et se référant à la carte obtenue, de la même manière que pour les darks on évacue les pixels chauds.

 

-méthode compliquée mais moins destructrice : on pondère la crédance de chaque pixels en fonction de la valeur d'écart-type obtenue sur la carte.

 

Je ne suis pas statisticien donc désolé si les termes employés ne sont pas les bons Mais pensez-vous qu'un tel procédé pourrait améliorer ce problème ?

 

Malheureusement pour tester ça il faudrait programmer quelque chose, et je n'ai pas les connaissances nécessaires.

 

Bon pour les darkflats je passe mon tour, déjà juste les flats c'est pas encore probant de mon côté 

 

Voilà, j'espère que ça donnera matière a réflexion !

 

Romain

[cbuil 3 483]

Romain, le bruit RTS est l'objet de très nombreux travaux pour l'évaluation et le retrait. Coté algorithme, compte tenu de la signature particulière  (un phénomène de variation bi-stable du signal), des méthodes par ondellettes sont parfois utilisé. Mon approche avec un filtrage médian pondéré est dans cet esprit, et plus simple.

 

Une autre approche, courante dans les labo, avec derrière la possibilité de correction, vous l'avez décrite en fait, consiste à effectuer une analyse statistique de tous les pixels pris individuellement sur des certaines de trames (osffet), puis de réaliser une cartographie des pixels déviant pour une correction pondéré de ceux-ci. C'est assez efficace (pas mal utilisé sur les capteurs infrarouges). Cette carte est en gros une constante pour un capteur donné. J'ai cela dans la liste des choses à faire...

 

Christian B

[lyl 4 486]

Il y a 15 heures, Roch a dit :

En réfléchissant à la question, j'avais eu l'idée d'un prétraitement différent qui pourrait mitiger ces problèmes de bruit télégraphe et potentiellement induire une amélioration du RSB global ( significative ou pas, à voir ). Voilà le protocole auquel j'ai pensé :

 

Il suffirait de partir d'une série d'images prises dans les mêmes conditions ( typiquement des darks, mais peut-être que des offset suffiraient ) et de calculer l'écart-type de chaque pixel entre toutes les valeurs qu'il prend sur la série d'images complète. On aurait donc une carte des pixels "variants" et des pixels "moins variants".

Ce sont à mon avis des photosites qui ont un ennui à la fabrication (la photo-lithogravure entraine des incidents de connectique, de surface, de densité de dopage). Comme dit à la suite de ton post, on peut en faire une cartographie permanente.

 

Quand j'ai revendu mon ASI-071MC, j'ai fait particulièrement attention à vérifier que la répartition des défauts étaient encore statistique (vieillissement). C'est extrêmement rare voire impossible de réaliser une grille parfaite dans les dimensions APS-C ou full frame. Sur un carré de 16x16, tu as souvent un photosite sauvage.

Modifié 5 février par lyl

[alx 103]

Il y a 7 heures, cbuil a dit :

Cette carte est en gros une constante pour un capteur donné.

Je n'en suis pas sûr, malheureusement.

Voici un test effectué avec mon ASI533mm: une acquisition de 1000 images d'obscurité (''dark'') dans une fenêtre de 320x240 pixels à 125 fps. Le premier graphique montre l'histogramme bien connu des valeurs observées pour les données brutes et les données filtrées par filtrage médian 3x3.

 

La partie haute de l'histogramme est de profil gaussien (le bruit thermique normal de l'électronique). 

Le bruit de télégraphe se manifeste dans la partie basse de l'histogramme  qui représente en moyenne moins d'un millième des pixels de chaque image, soit typiquement 0.001*320*240 ~ 80 pixels.

 

Mais si on localise ces pixels déviants sur les 1000 images, on trouve environ 6000 locations possibles, soit ~75 fois plus  et ~8% des pixels.

 

Cela semblerait plutôt indiquer que le phénomène est très instable, même sur 8 secondes.

Qu'il n y a pas de carte a priori, et qu'il faut nettoyer lecture par lecture ?

Alain.  

[Roch 1 898]

Merci pour vos réponses, c'est super intéressant. Content de voir que mon idée n'est pas dénuée de sens

 

@alxmerci pour l'analyse, c'est intéressant. Tu fais ça avec quel soft ?

 

 

Il y a 1 heure, alx a dit :

représente en moyenne moins d'un millième des pixels de chaque image, soit typiquement 0.001*320*240 ~ 80 pixels.

 

Pour arriver a ce chiffre, tu as fait en gros l'intégrale de la partie "non gaussienne" de la courbe noire, c'est ça ?

 

Il y a 1 heure, alx a dit :

 

Mais si on localise ces pixels déviants sur les 1000 images, on trouve environ 6000 locations possibles, soit ~75 fois plus  et ~8% des pixels.

 

Ok. La question que je me pose, c'est si cette valeur va augmenter avec le nombre d'images intégrées, a savoir si tous les pixels ont une probabilité plus ou moins grande de produire ces valeurs aberrantes, ou si c'est vraiment complètement restreint. Par exemple si tu refais ce test en n'utilisant que les 500 premières images, tu obtiens quelle proportion de pixels affectés ?

 

Dans tous les cas même si visiblement une "carte" ne permettrait pas d'exclure tous les pixels sensibles au bruit télégraphe, il suffit de regarder un fichier vidéo d'offset a grande vitesse pour se rendre compte que ce clignotement est  beaucoup plus intense sur certains pixels. Donc se débarrasser de ceux-là par une correction cosmétique serait déjà un énorme plus, et si en plus ces pixels restent les mêmes d'une nuit sur l'autre c'est encore plus simple.

 

Quand je fais des images en poses courtes, je fais toujours entre 500 et 4000 darks en fin de séance, donc ce ne serait même pas une contrainte en plus niveau prise de vue de le faire a chaque fois puisque je pourrais utiliser des darks que je fais déjà...

 

Il y a 2 heures, alx a dit :

faut nettoyer lecture par lecture ?

 

Ça en revanche je vois mal comment ce serait faisable. Sauf a utiliser une méthode de filtre médian comme mentionné plus haut, mais quand parfois ma fwhm descend à 2 pixels, je crois que c'est vraiment pas une bonne idée

Mais je vais quand même relire la méthode que propose @cbuil pour bien comprendre tout ça.