A7S et addtion d'images...

En se basant sur les images de PVG, sur IC405, quelques considérations sur le traitement (addition) des images issues d'un A7S...

http://www.astronamur.net/t5302-ic405-un-retour-de-flamme

A la fois intéressant et bizarre... Il va falloir examiner des zones en détails... 



"Les dispersions" pouvant avoir plusieurs causes. 

=> tu n'as pas une image < 30 sec ???

TTF image <30s : non
Veux-tu une brute de chaque ?

oui, cela pourrait servir

TTF je te les envoie comment ?
Elles font chacune 12768Ko !

5x60   = 300 sec
3x120 = 360 sec
12x30 = 360 sec

En (grande) théorie le signal résultant des deux dernières images, si le traitement est identique,
devraient être quasi identique... Mais on détecte des différences "par zones".

Exemple :

Je t'envoie un mail privé avec la méthode...

C'était bien le but de la manip.

OK, j'ai reçu tes images... 

Bien pour avoir le 6x60 sec (et pouvoir comparer) mais ce qui m'intéresse, ce sont tes RAW... 
Au moins UNE .arw de chaque : 60, 120, 30 sec... 

Car pour voir le "star eater" (tant décrié), je devrais voir des étoiles disparaître entre
chaque photo... (au plus long la capture en mode bulb, au plus de traitement pour les "points" chaud")

Ex : http://www.astrosurf.com/topic/113350-star-eater-sur-les-sony/

Mais pour le moment, c'est plutôt l'inverse, sauf au niveau du 30 sec "pile" (non bulb)...   
Donc : artefact du traitement ? J'ai raté quelque chose ?    
(je sais que je jongle avec mon boulot, la maison et des cours d'italien, mais tout de même...)

=> Tu m'envoies cela ? 

Rem : passionnant, le cas, cela m'amuse... C'est "A la recherche du traitement perdu" 

Bonjour Thierry, tu as reçu les brutes 
DSC08882 60s.ARW 
DSC08784.ARW 
DSC08888 121s.ARW 

Bon, cela devient (très) intéressant... 
Tout d'abord, noter que la sensibilité est restée la même : 3200 ISO.
Ensuite qu'il y a (ce qui parait logique) une liaison directe entre "traitement correctif" et la valeur ISO
utilisée (e.g. une pose à 20000 ISO sera plus "traitée" qu'une autre à 3200)

Maintenant, quand on "prétraite" chaque photo (unique) avec la même procédure, les différences 
sont nettes... 



Surprising, isn'it ?

=> on voit l'influence du suivi, qui est maîtrisé à 30 sec et ensuite dévie légèrement à 60 et 120 sec

Mais, par contre, en considérant les conditions de prise de vue identiques, on ne s'explique pas trop "logiquement" l'évolution du bruit...

La différence avec la 60 sec est marquante,
tout autant que la version 120sec, ou le bruit est "rectifié" automatiquement. 

A ce stade de l'analyse, je dois évaluer les signaux supprimé et ceux ajoutés... 

Par exemple, une même étoile entre 120, 60 et 30 sec

A 120 sec, max 65535 


A 60 sec, max 65535


A 30 sec, max 65535 !!!


Trois durées, doublées à chaque fois, mais une répartition relativement correcte, non saturée... 

=> pas de saturation... Pratique, isn'it ?

Je crois que le "star eater" ne fonctionne pas trop comme on nous l'avait expliqué... Il a d'autres surprises ! 
Je vais devoir exporter les données pour les traiter... 

le "Big Data", vous connaissez ? 

Bon, cela devient clair... (enfin, je me comprends...  )

Regardons une zone des images après
- conversion raw to fits
- alignement 
- traitement du fond de l'image
- réduction du gradient
- inversion et obtention d'un niveau (quasi) identique... 
=> on voit apparaître le signal des étoiles sans voir les défauts (hot pixels, etc...)



Comme vous pouvez le voir (sans rentrer dans les calculs...)
- L'image à 30 sec/3200 ISO : pris pour base, avec la visualisation des étoiles d'une région donnée (où se trouvait mélangé le plus de signaux "vrais" (capture) et "faux" (bruit))

- l'image à 60 sec/3200 ISO : le signal doit env. être le double... Et à part les objets déjà très lumineux, c'est généralement le cas... Mais en soi : pas de disparition détectée...

- l'image à 120 sec/3200 ISO : le signal doit env. être le double, mais ce n'est pas le cas ! 
En fait : la plupart du bruit existant a disparu, et il y a une "régulation" sur les niveaux extrêmes...
Et si on compte les étoiles... On n'a guère perdu au change...   

Donc : le "star eater" à bouffé... le Bruit... Sans Dark...   

De plus en plus bizarre... Mais pratique 

Pour l'image de 120s je ne t'ai pas envoyé la bonne. Donc comme les étoiles s'étallent sur plusieurs pixels. Je viens de faire le wetransfert.

Heureusement que je fais des scripts...   


OK, voici la comparaison "signal utile" de 30s à 120s, de gauche à droite... 

 
Bien, alors, voici mes "hypothèses"... 

Rappel : une hypothèse est une chose qu'il faut démontrer...  Donc, faudra d'autres tests... 

1) Sur un A7S M1 (je précise), l'algorithme de post-traitement automatique des images ne fait pas forcément ce que je pensais 
(peut-être faussement ?)

=> je pensais avoir compris que le "star eater" était un effet secondaire de la détection de "hot pixels".
C'était après capture totale que le processus éliminait des étoiles considérés comme "bruit", de par leur
caractéristiques...  Donc, une action ponctuelle... 
 
2) En considérant que cette "réduction de bruit en longue pose" (que l'on devrait pouvoir mettre "on/off"; mais c'est un autre débat) devra être subite de toute façon (Sony ne fera jamais marche arrière sur un "vieux" modèle... ), j'avais accepté le principe "rester < 30 sec".

Mais, en fait, il pourrait être utilisé à notre avantage... 

3) Car à la lueur des tests ici... Ce n'est visiblement pas un phénomène "unique et ponctuel", 
mais un phénomène "itératif et global" pendant toute la capture...  

En combinant utilement le "setup  ISO" et "durée capture", on pourrait obtenir un signal plus propre
que d'habitude avec un APN sur des objets larges du ciel (je ne dis pas sur les autres, mais il faut tester..) 
=> l'équivalent du "Dark" automatique des CCD... 

Lors de mes tests de bruit (cf autre topic).
 
J'avais remarqué que passé un niveau de saturation du signal, le logiciel descend "globalement" et non pas "ponctuellement"
les niveaux  de l'image. A mon sens, il fait une compression du signal en réduisant sa dynamique, pour garder 
au maximum utilisable du signal dans ses 12bits "utiles" (re-extrapolés ensuite en 16bits par la conversion RAW)...

Ex : 

Quand, pour des Darks, on monte les ISO (augmente le signal de bruit), à un moment le niveau 
global redescend (ex : ISO 51200 + 8 sec) pour passer le cap avec un bruit "minimal".

De toute façon, si on aurait continué, on serait simplement arrivé à une image blanche   

Donc : en capture normale, idem que dans le Dark, une fois atteinte dans l'image un niveau trop haut...
On descend simplement toute la dynamique pour retrouver une gamme "modifiable" et éviter la saturation. 

Pour les points qui continuent générer des photons, on continue à les accumuler, mais ce n'est PAS
une vraie "capture linéaire"... 

Donc : 2x de pose sur une source constante n'apportera pas un signal deux fois plus élevé,
une fois passé une limite... 

=> à prouver et démontrer... 

Ce qui a comme effet, à la longue, de "retirer un gradient uniforme".. de bruit généré par la longue pose. 

Ex ici : En analysant UNE étoile bien isolée (vide stellaire à côté, vérifié sur des images faites avec des plus gros diamètres)


A 30 sec : capture "habituelle" avec montée de signaux de bruit (capture, ampli) autour du signal utile  


A 60 sec : augmentation du signal (étalement), mais un traitement qui s'est déjà passé : certains pics ont grimpés, 
d'autres ont disparu... 

Donc : une "vraie" étoile (qui continue à fournir des photons) est gardé visible, mais tout ce qui est transitoire : 
disparaît (en fait, est réduit avant de continuer à accumuler)...  

Je suppose que ce phénomène est réactif et dès la "capture photons/conversion", dès que le signal devrait "déborder", il est réduit. 

 
A 120 sec, le cycle de "dépassement/réduction" a été réalisé plusieurs fois... 
Et il ne reste finalement que le signal "utile" des étoiles (moins saturé qu'il ne faudrait en réalité !). 
Ce qui est assez "conforme" à la réalité en final... 

Mais mieux vaut oublier de faire de la photométrie avec un A7S M1 ! 

Conclusions à ce stade... 

Cette hypothèse de travail, TANT qu'on limite les ISO utilisés, pourrait être utilisée à notre avantage... 

- 3200 ISO permet visiblement un évolution > 30 sec avec des cycles ne "détruisant" pas trop le signal vraiment utile.
  En fait, c'est une réduction quasi automatique, sans Dark...   

- Par contre... L'usage même de "Dark" dans les prises à plus de 30 sec devient discutable ! 
  En effet, le signal étant en permanence "retravaillé", le fait de soustraire un Dark (qui lui n'a pas réagit de la même façon)
  pourrait devenir une source de problème... 

  On va "soustraire" une valeur qui n'a pas de liaison "hardware" linéaire avec la ISO/durée de l'image capturée... 
      

  Idem pour le bias... 
  Même si il est calculé sur base de la capture la plus courte, il aura déjà disparu dans la suite du processus et 
  risque de détruire un signal "utile" en le soustrayant...     
 
  Donc.... Cher PVG...   
  Toi qui est parvenu à perturber ma gentille vie (déjà fort agitée)... 

  Pourrais-tu m'envoyer (à la fois, sans te presser...) 

  - l'ensemble des photos (.arw...)
  - tes darks, bias, offset (.arw)
  
  que je puisse valider, ou pas, mon hypothèse dans tout cela... 

Après tout, selon les cibles (champ large, setup iso/durée, ce qui convient bien au format du capteur), 
le "star eater" pourrait nous servir...   

Si cela colle (avec preuves), j'en ferai une conférence... 

@PVG : en fait... Tu pourrais tout faire de ton côté... 

1) tu m'as envoyé les "TIF" de l'assemblage, avec les darks + bias, je suppose ?
2) il suffirait de refaire la même opération, mais SANS les Darks et bias ! 

Et de m'envoyer les 3 images additionnées "sans réduction"... 
Cela permettra de comparer : avec et sans Dark... 

Et voir si on peut en tirer une conclusion  


Dans le futur... Quand le ciel (me) sera favorable... 
Je ferai des images 
- sur le même objet... 
- 1 image à 15s, 30s, 35s, 40s, 50s, 60s, 70s, 80s, 90s, 100s, 110s, 120s, 130s, 140s, 150s
- à la fois sur Canon et sur A7S
- via la même optique.

Et je regarderai l'évolution du signal... Curieux de voir si l'hypothèse se confirme... 

OK je vais faire cela.

Simple test... Etoile artificielle, 3200 iso, 50mm

2 sec


10 sec


20 sec


30 sec

Boum, l'image n'est plus saturée... 
L'algorithme est bien déjà actif à < 30 sec... 
Quoi qu'on fasse... 

Faudra que je regarde dans toutes les options du menu, et désactiver tout ce qui est possible 
(du genre HDR auto, etc...)

Bonjour Thierry , tu est en mode bulb ?
Ou non ?

Dans ce test là,  non,  Mais j'ai désactivé toutes options (disponibles)  de traitement du bruit... 

Je dois désactiver plus pour l'activer....

Philippe, J'ai tout reçu... Merci.

Tu me confirmes donc bien que c'est le résultat du "stacking" sans Dark ? 

Car en les ouvrant :


Une est en 32 bits (avec Dark), l'autre en 16 bits (sans Dark), ce qui devra influencer le traitement... 
En regardant le Exif... 

Je vois que c'est DeepSkyStacker 3.2 d'un côté (avec Dark)
=> Ce qui est explique le format "Tiff" avec erreur (mais tu n'y peux rien)

Mais la deuxième, c'est par CS2, donc, ce qui explique le type 16 bits... 

Bon, je vais convertir la 32 bits en 16 de manière identique, afin de me retrouver 
dans la même gamme et voir ce que cela donne... Car sinon, c'est un peu différent 

J'ai effectué un premier test de comparaison sur un "crop" significatif de l'image... 

Name  ...........  #12 Crop_1900-1700_2420-900_NoDark.fit
 Size  ...........  521 x 801
 Pixels  .........  417321
 Min  ............  6398 @ 209,104
 Min (Lum)  ......  8570.02 @ 74,382
 Max  ............  62693 @ 369,93
 Max (Lum)  ......  62392.82 @ 375,95
 Background  .....  9736
 Average  ........  10012.471
 Sum  ............  4178414542.6
 Std.deviation  ..  2091.6145

Name  ...........  #14 Crop_1900-1700_2420-900_WithDark.fit
 Size  ...........  521 x 801
 Pixels  .........  417321
 Min  ............  6496 @ 465,730
 Min (Lum)  ......  8656.58 @ 10,228
 Max  ............  62519 @ 374,91
 Max (Lum)  ......  62312.98 @ 375,91
 Background  .....  9561
 Average  ........  9887.0056
 Sum  ............  4126055070.4
 Std.deviation  ..  2183.5603

Le moins que l'on pusse dire, c'est que "le delta entre dark et sans dark" n'est guère significatif...

Par contre... DSS et le fichier .arw, c'est pas top... 

Je viens de vérifier le "stacking" d'images RAW identiques... La réponse finale est facilement
déterminable   

Mais si vous regardez à droite de l'image... 

 
C'est également visible dans tes images... 
Et aussi c'est pour cela que j'avais quelques erreurs d'analyse avec des chiffres bizarres... 
Bon, va falloir découper...

Le mécanisme de conversion 14bits vers S-Log2 (connu pour les tournages vidéo)
a tout de même pas mal de concordance "logique" avec la prise 'longue"... 

  
Dans les deux cas, il y a compression de la dynamique... Est-ce que l'on réutilise le code 
à un moment ou l'autre ?  

Hypothèse farfelue ou économie dans le développement ?  

L'avantage du S-Log2, c'est qu'on connait l'algo et donc, on peut pallier à l'effet. 
Mais est-ce le cas ici ?

A creuser...

Bien, PVG m'a réenvoyé ses images, après avoir vérifié la construction... 

A savoir, sur les mêmes images RAW
- dans un cas, on assemble sans DARK
- dans l'autre, on assemble avec Dark et Bias, comme standard... 

Et les résultats collent avec les évaluations... 

1) Si on regarde les fonctions mathématiques d'estimation, aucune différence significative n'est réellement déterminable pour un usage "visuel" final (différence à 0.01 près...) 

2) Si on examine les zones "mixtes" en détail, idem... Le bruit n'est pas quantitativement réduit,
mais bien une (vraiment) très légère différence de niveau... 

3) Si on extrait le "bruit" uniquement... (supposé avoir une influence), l'image fournie montre 
une très faible différence de niveau globale, mais aussi des "hot pixels" qui sont supposés avoir une 
influence, qui ont été ôtés... Là aussi, des résultats très mitigés, car les différences montrent plutôt une différence globale de niveau,
sans actions réellement ponctuelles... 

Par exemple : les "hot pixels" coïncident tous avec des étoiles brillantes... A quoi bon ?
 
J'ai des dizaine de copie d'écran... Mais en gros, cela ne fait que confirmer le scénario... 
Mettons-en un pour illustrer... 



Si on applique une modification de l'histogramme (je ne garanti pas l'égalité stricte de la modification), la tendance reste...  


 
A gauche, la version avec Dark appliqué, à droite, la version sans Dark... 
A part la légère différence de niveau, pas de modification notable du fond de l'image...
Mais sans Dark, les niveaux sont mieux marqués.
Franchement... Si vous y voyez une différence notable exigeant le traitement avec Dark obligatoire ??? 
Et si on va sur 48 points (ce que j'ai fait) = résultat quasi identique... 

Conclusion : Apparemment, 
- sur un A7S en mode "Bulb" utilisé pour une pose longue 
- à 3200 ISO, le niveau de bruit est suffisament faible pour que l'on puisse se passer 
des Dark (et donc, du bias aussi) !
- Et pas de "Star Eater" directement en vue... 

=> je vais continuer à examiner cela avec 3 exemples (addition de 30, 60 et 120 sec).
Quand j'aurai plus d'exemples, on vérifiera encore...

Bonjour Thierry.
Merci pour cette analyse.
Je ne comprends pas tout, mais si tu le dis. 
J'ai refait le traitement des 194 im de 30s sans les longues poses de IC405 sans darks et sans bias, , non autosave, en traitant mieux les courbes, niveaux et FDC (Merci astrolulu). Je suis étonné du peu de bruit.
Je la trouve meilleur que celle avec les longues poses.

Je n'ai plus ce problème à droite de l'image, pourquoi ?????

Et bien, quand je vois le résultat, c'est une belle image ! 

Le problème , Et bien, je crois qu'il est lié au "sauvetage" de l'image en DSS.
Si tu sauves manuellement : cela à l'air de fonctionner. Mais le mode "auto" : problème. 
(hypothèse de ma part...)

Et de plus, avec l'assemblage d'images de 30 sec
- le bruit est (quasi) inexistant... 
- le signal est très "net" (la dynamique est bien marquée)
- aucune trace du "star eater" (tant décrié) quelque part...

Donc : à ce stade, voici une configuration qui nous réserve de beaux avantages 
- poses minimales
- sensibilité 
- pas de Dark à faire...   
- une dynamique idéale pour les nébuleuses et les objets faibles... 

Vivement un ciel valable (et le temps libre pour observer...)
j'ai hâte de tester aussi...