HDD vs SSD pour traitement via Autostakkert (ou Astrosurface)?

[AlSvartr 2 975]

Salut,

 

Suite à mes déboires avec un SSD externe m'ayant "perdu" 400 Go de données, je me pose la question de trouver un ou plusieurs HDD pour stockage...et pourquoi pas traitement. Bien sûr ce qui suit ne concerne pas la phase d'acquisition!

 

Mon raisonnement est le suivant:

 

1) Un HDD externe de base coute (suivant sa capacité, la marque) 5x à 10x moins cher au byte qu'un SSD

2) Avec la production de .ser ayant des tailles de parfois plusieurs dizaines de Go, la limite en TBW pour les SSD peut-être atteinte assez rapidement suivant le modèle, la marque,...Dans ce cas la durée de vie du SSD peut être plus faible que celle du HDD

3) Indépendemment de la durée de vie du SSD, le risque de perte de donnée augmente lorsqu'on approche la limite annoncée en TBW, et cela se fait sans signes avant-coureurs

 

Maintenant une question se pose: comment les vitesses de lecture et écriture affectent un traitement avec Autostakkert? Bien sûr un HDD est nettement moins rapide qu'un SSD, mais une fois la lecture du .ser faite et stockée dans la RAM, et si celle-ci est suffisante (32 voire 64 Go), dans quelle mesure cela est-il vraiment un problème?

 

C'est peut-être une question débile, mais comme je ne sais pas comment AS3! utilise la RAM et les accès au HDD/SDD, je prfère la poser  

 

Bonne journée,

 

Simon

Modifié 23 septembre 2023 par AlSvartr

[christian viladrich 7 689]

Salut Simon,

 

Pour ma part, je lance Autostakkert sur SSD (sur mon PC d'acquisition), puis je passe sur HDD pour la suite du traitement (et le stockage).

 

J'avais fait des tests de vitesse il y a longtemps entre SSD et HDD. C'était plus rapide avec SSD, mais je ne me rappelle plus de combien ...

 

Pour ce qui est de la durée de vie, je n'ai pas vu de problème, pourtant je suis un asse gros "consommateur" avec les images solaires. Je crois que Paul (Banjo) a lui de son côté testé les limites. Il est un très gros consommateur avec ses animations solaires ;-)

 

Pour la RAM, tu as le choix dans AS :

 

La RAM a son importance, en particulier pour le traitement de grosses images (Lune ou Soleil avec IMX533 ou ASI1600). Pour ma part, j'ai 32 Go. Je passerai à 64 Go sur mon prochain PC.

 

Tout cela dépend aussi de combien d'instances d'AS3 tu lances en même temps. Quand je traite des images, je lance systématiquement deux instances d'AS3. Cela permet de saturer l'utilisation des cœurs et de la RAM.

 

Quand je fais les acquisitions, j'ai très souvent un AS3 qui tourne en parallèle pour gagner du temps pour le traitement. Mais ce n'est pas faisable quand je fais des acquisitions avec l'ASI1600 ou l'IMX533.

 

Au bilan, ce n'est pas simple de répondre à ta question ...

[alpheratz06 131]

Il y a 4 heures, AlSvartr a dit :

Suite à mes déboires avec un SSD externe m'ayant "perdu" 400 Go de données, je me pose la question de trouver un ou plusieurs HDD pour stockage

Si la sécurité des données est un vrai problème, une solution possible consiste à utiliser une architecture RAID (plusieurs disques avec redondance), le minimum étant 2 en configuration miroir.

Pas inenvisageable sur une installation fixe ou à portée de câble d'un local raisonnablement accueillant. un peu plus compliqué en nomade.

 

Tu peux aussi faire les acquisition sur un disque unique (un SSD est bien sûr plus pratique) et ensuite transférer les bruts à ,conserver sur un système RAID (le plus simple est un NAS, mais on peut aussi le faire sur une tour).

 

[bon ciel 1 237]

Il y a 7 heures, AlSvartr a dit :

comment les vitesses de lecture et écriture affectent un traitement avec Autostakkert

Le ssd sera le vainqueur mais il y a un paramètre important le cache du ssd. Il y a un fossé entre un Samsung et un ssd générique.

Je l ai constaté en changeant mon hdd assez lent.

Avant j avais des lenteurs et des saturations lors des acquisitions même en passant par le ssd du C:  Depuis j ai même plus besoin d allouer 100% des débits.pour le traitement c est pareil.

Modifié 23 septembre 2023 par bon ciel

[AlSvartr 2 975]

@christian viladrich salut Christian,

 

En fait sous la question se pose une interrogation quant à la configuration du réseau (LAN) sur lequel est relié mon installation fixe (le 400). Sur ce dernier j’ai un petit Dell Optiplex 3080, qui est parfait pour les acquisitions. Les traitements je les fais sur une autre machine bien plus puissante même si elle date un peu. 
Mon idée est de transférer les .ser depuis l’optiplex vers un ou plusieurs HDD via le réseau ethernet de la maison. Et que ce HDD puisse être utilisé pour stocker pendant un moment les acquisitions jusqu’à leur traitement par AS3 ou astro surface  (plusieurs nuits de données s’il le faut-> il faut de la place ) . Et seulement ensuite les .ser qui en valent la peine je les met sur le NAS pour une sauvegarde longue durée.

 

Il faudrait vraiment que je fasse ce test de vitesse, je dois avoir un vieux HDD quelque part dans un tiroir. 
 

 

 

@alpheratz06 c’est un problème de sécurisation pour le très court terme (quelques heures/jours), pour le long terme j’ai un NAS. C’est plus pour éviter au maximum l’utilisation de SSD là ou ce n’est pas nécessaire. 

 

@bon ciel j’ai toujours eu des SSD Samsung (ou Sandisk) et c’est bien un Samsung T5 de 2To qui a flanché, après deux ans d’utilisation. Jamais eu de soucis de vitesse de lecture, c’est vraiment rapide comme tu l’évoques. 

Modifié 24 septembre 2023 par AlSvartr

[alpheratz06 131]

Sur du st

Il y a 18 heures, AlSvartr a dit :

c’est un problème de sécurisation pour le très court terme (quelques heures/jours), pour le long terme j’ai un NAS. C’est plus pour éviter au maximum l’utilisation de SSD là ou ce n’est pas nécessaire. 

Alors dans ce cas un ssd est inutile, un petit HDD suffit, sauf à vouloir limiter au max la consommation électrique. Pour se rassuer, on peut faire un test de santé régulièrement en surveillant une éventuelle dérive (secteurs défectueux, etc)

[AlSvartr 2 975]

Il y a 4 heures, alpheratz06 a dit :

Alors dans ce cas un ssd est inutile, un petit HDD suffit, sauf à vouloir limiter au max la consommation électrique. Pour se rassuer, on peut faire un test de santé régulièrement en surveillant une éventuelle dérive (secteurs défectueux, etc)

Pour les acquisitions en planétaire et a fortiori en lunaire un SSD est nécessaire, qu'il soit externe ou interne. Ma question porte uniquement sur le traitement. En regardant la doc de HDD de bonne réputation tournant à 7200 t/min, il semble que les vitesses de lecture montent à 150 Mo/s, ce qui est grosso modo 1/3 de la limite de vitesse en écriture sous SATA III. C'est probablement encore utilisable avec AS3! ou Astrosurface, mais ça doit être mesuré.

[Jean-Marc_M 941]

Il y a 2 heures, AlSvartr a dit :

Ma question porte uniquement sur le traitement. En regardant la doc de HDD de bonne réputation tournant à 7200 t/min, il semble que les vitesses de lecture montent à 150 Mo/s, ce qui est grosso modo 1/3 de la limite de vitesse en écriture sous SATA III. C'est probablement encore utilisable avec AS3! ou Astrosurface, mais ça doit être mesuré.

Je me suis pris celui-ci pour l'acquisition et le traitement de mes images solaire et lunaire, anti choc-eau-poussières. Il envoie du bois, aucune saturation sous FireCapture  :

https://www.amazon.fr/Samsung-Shield-Disque-Externe-Portable/dp/B09SBJJ4JW/ref=sr_1_7?__mk_fr_FR=ÅMÅŽÕÑ&crid=3OSD1N9XORCH8&keywords=SSD%2BSAMSUNG&qid=1695588361&sprefix=ssd%2Bsamsung%2Caps%2C77&sr=8-7&th=1

J'envisage d'en prendre un autre pour mes images CP qui prennent beaucoup de place lors du traitement. J'ai lu mais je ne sais pas si c'est vrai, que ça "s'use" un SSD et comme sur mon fixe c'est celui qui contient Windows, je préfère claquer un SSD externe à l'occasion..

[alpheratz06 131]

Autre astuce possible : s'il y a un slot libre sur le pc hote, utiliser un adaptateur m.2 pci avec un ssd m.2 dessus. En vitesse i/o, c'est imbattable. Moins de 100€ pour 1to

[lyl 4 486]

il y a 35 minutes, alpheratz06 a dit :

Autre astuce possible : s'il y a un slot libre sur le pc hote, utiliser un adaptateur m.2 pci avec un ssd m.2 dessus. En vitesse i/o, c'est imbattable. Moins de 100€ pour 1to

C'est la meilleure solution. J'ai ça sur un shuttle, c'est ce que j'utilisais pour la compression vidéo à l'époque de la qualification du codec h265.

La RAM, c'est utile également avec AS3!

[AlSvartr 2 975]

il y a une heure, alpheratz06 a dit :

Autre astuce possible : s'il y a un slot libre sur le pc hote, utiliser un adaptateur m.2 pci avec un ssd m.2 dessus. En vitesse i/o, c'est imbattable. Moins de 100€ pour 1to

 

Avec les caméras que j'utilise, c'est soit en effet le SSD M.2 (2280) interne soit un Samsung T7 (externe donc) via port USB 3.0, ça fonctionne très bien, pas besoin de plus.

 

[Jean-Marc_M 941]

il y a 46 minutes, AlSvartr a dit :

Avec les caméras que j'utilise, c'est soit en effet le SSD M.2 (2280) interne soit un Samsung T7 (externe donc) via port USB 3.0, ça fonctionne très bien, pas besoin de plus.

L'avantage du SSD externe comme le Samsung T7 par rapport à un disque M.2 interne est que tu n'as pas besoin de transférer les .ser, tu travailles directement sur le SSD à l'acquisition et au traitement.

[AlSvartr 2 975]

il y a 8 minutes, Jean-Marc_M a dit :

L'avantage du SSD externe comme le Samsung T7 par rapport à un disque M.2 interne est que tu n'as pas besoin de transférer les .ser, tu travailles directement sur le SSD à l'acquisition et au traitement.

Justement je veux éviter au maximum de traiter sur les SSD: ils se fatiguent plus vite et on se retrouve avec des nuits entières comme cela m'est arrivé. D'où la raison de ce post

[Jean-Marc_M 941]

Il y a 2 heures, AlSvartr a dit :

Justement je veux éviter au maximum de traiter sur les SSD: ils se fatiguent plus vite et on se retrouve avec des nuits entières comme cela m'est arrivé. D'où la raison de ce post

Au temps pour moi, j'avais mal compris.. Je ne me sers de ce SSD que pour l'acquisition et le traitement, traitement que je fais en principe dans la foulée. Puis je sauvegarde les stacks et éventuellement les .ser qui le méritent sur un HDD externe (idem pour la sauvegarde de mes images CP).

Avant, je capturais sur le SSD de mon PC portable puis transfert via un SSD pas hyper rapide vers le M.2 de mon fixe plus puissant pour traitement. Travailler depuis un HDD n'a pas été pour moi une manip hyper rapide aussi bien au transfert après capture que pour le traitement. Depuis ce SSD Samsung T7, terminé toutes ces manips et je préfère de loin faire claquer ce SSD externe à 89€ que le M.2 de mon fixe.

Modifié 25 septembre 2023 par Jean-Marc_M

[banjo 6 933]

bonjour à tous 

désolé pour la réponse tardive .

étant un gros consommateur de Go avec mes animations solaires 3/4 ans avec des ssd de toutes marques , je vous donne mon ressenti .

1/les ssd génériques ----> pas si mauvais mais durée de vie très aléatoire surtout si on fait du traitement en plus 

2/ les ssd moyen de gamme  Crucial MX/BX  Samsung 860/870-------> bien sous tout rapport durée de vie correspond aux données constructeur ( si on fait 1T par jour 2ans max)

je ne parle que de ceux que j'utilise .

de Mars à Septembre 800 .SER avec la Asi174 16b salves de 500i toutes les 30s et avec un peu de chance tout les 3 jours 

si on fait les traitements sur le ssd , c'est presque la double peine (écriture / lecture ) , mais tellement plus rapide (~X5) qu'un très bon HDD , perso je préfère mettre 60€ tout les 2ans .

Celui qui m'a lâché enregistrait en 60Mo/s .

je pense qu'il est inutile de mettre des ssd  nvme on est bloqué par l'usb3.0 de la caméra 

mon mini Pc est équipé d'un ssd nvme et d'un MX crucial aucune différence de débit.

comme je suis un peu fou je fais le traitement pendant les prises de vue 

j'enregistre sur le ssd interne non nvme  D: (500Go)  quand il ne lui reste que 50Go  je passe sur l'externe E: , et je commence le traitement des fichiers sur le D:

Quand c'est fait  je transfert que les fichiers traités sur le E: 

quand la cession est fini je rapatrie le E: sur la tour bureau

voili-voilà un peu long

Paul

  

 

[bon ciel 1 237]

Il y a 10 heures, lyl a dit :

La RAM, c'est utile également avec AS3

Assurément. J arrive à le faire planter avec seulement 8go de mem pour traiter des images d une asi 183mm pro.

[AlSvartr 2 975]

Hello,

 

Je fais remonter ce post car j'ai pu faire quelques tests de comparaison de vitesse d'execution d'autostakkert 4 sur un SSD et sur un HDD. Le résultat est intéressant:

 

Sur un ser lunaire (donc pleine trame) de 21 Go (IMX178), la différence de durée de traitement est de moins de 3% (APsize: 72, pas d'improved tracking ou de double stack reference). Le PC a 64 Go de RAM.

 

En fait les temps de run sont strictement égaux à partir de l'Alignment, ce qui veut probablement dire que tout est stocké dans la RAM à partir de cette étape. La différence vient donc des 3 premières étapes, donnant une légère avance au SSD.

Il faut que je refasse le test avec un ser dont la taille est proche de la mémoire vive.

 

Simon

[alx 103]

Il y a 4 heures, AlSvartr a dit :

En fait les temps de run sont strictement égaux à partir de l'Alignment, ce qui veut probablement dire que tout est stocké dans la RAM à partir de cette étape

Oui, ou que le temps moyen de traitement d'une image est supérieur au temps de lecture/écriture de cette image par le HDD. 

Auquel cas il n'y aura pas de différence due aux disques malgré leur écart de performance.

[AlSvartr 2 975]

Il y a 4 heures, alx a dit :

Oui, ou que le temps moyen de traitement d'une image est supérieur au temps de lecture/écriture de cette image par le HDD. 

Auquel cas il n'y aura pas de différence due aux disques malgré leur écart de performance.

En effet, c’est pour ça qu’il faut que je refasse l’expérience avec un .ser bien plus lourd, histoire de remplir la RAM au max et de voir ce qui se passe. 

[jldauvergne 15 123]

Le 23/09/2023 à 15:02, christian viladrich a dit :

problème, pourtant je suis un asse gros "consommateur" avec les images solaires. Je crois que Paul (Banjo) a lui de son côté testé les limites. Il est un très gros consommateur avec ses animations solaires

J'utilise le ssd principal de mon pc sur la partition windows du coup. Il ne faut que 500 go (je suis souvent juste), et le pc a 6 ans, je n'ai jamais eu de pb malgré l'usage intensif. Ca m'inquiète presque cette histoire de durée de vie. Je ne savais pas. Sans doute que la qualité joue ?

[alpheratz06 131]

Il y a indéniablement une notion "d'usure"  des SSD liée aux nombres de cycles d'écriture. En usage normal, la durée de vie sera relativement longue mais en usage intensif il n'est pas aberrant de voir des pannes arriver au bout d'un an ou deux.

Pour les disques qui contiennent de gros volumes de données, je pense assez prudent de ne pas utiliser le disque qui heberge le système d'exploitation : en cas de defaillance, ça permet de sauver les meubles...

Et la taille de la ram est très importante en traitement intensif, parce que les logiciels vont faire en sorte de charger le maximum de données en Ram. J'avais mis en évidence  des différences de vitesse énormes sur du traitement video (pas astro) en passant de 16 à 32Go ram.

La remarque s'applique aussi aux GPUs utilisés par le traitement d'image.

[banjo 6 933]

J’ai pris partie de ne plus faire mes .Ser que sur un un ssd externe ( voir 2) malgré les 2 disques internes .

en plein format je suis à 80/100 images seconde .(ASI174-PO432 )

je fais les traitements sur le ssd externe c’est certainement plus lent qu’en interne ,mais si il tombe en rade je perd que les données d’une séance .

Reste à trouver le logiciel qui peux contrôler le nombre de téra consommé, difficile car il y aura des cellules plus sollicitées que d’autres.

Paul

 

Modifié 23 novembre 2023 par banjo

[christian viladrich 7 689]

il y a une heure, banjo a dit :

Reste à trouver le logiciel qui peux contrôler le nombre de téra consommé, difficile car il y aura des cellules plus sollicitées que d’autres.

 

Salut Paul,

Je ne suis pas sûr de ce que tu veux dire par là, mais sur les Samsung, il y a la possibilité d'avoir le nombre de To écrit :

 

Normalement, c'est le "logiciel" associé au SSD qui se charge de répartir les écritures/ lectures sur l'ensemble des "cellules" du SDD.

 

Samsung Magician permet également de contrôler l'état des "cellules" du SSD.

 

J'imagine qu'il existe des logiciels équivalents chez les autres fabricants ?

 

 

[ALF 2 336]

Il y a 2 heures, jldauvergne a dit :

Ca m'inquiète presque cette histoire de durée de vie. Je ne savais pas. Sans doute que la qualité joue ?

Oui la qualité joue en fonction des constructeurs et souvent du prix que tu vas y mettre...

 

Perso je ne stock rien sur mes SSD NVMe ou pas, je m'en sers que pour l'enregistrement/traitement mais jamais pour le stockage.

 

J'ai un SSD 850 EVO sata connecté à un boitier externe en USB3, je ne vois pas de différence avec un NVMe interne avec ma 462MC (Ca joue peut être avec des résolution plus grange), dans mon cas je suis à 63fps ou 100fps en fonction du turbo mode et sans "bufferiser"à 10ms

 

Je traite systèmatiquement dessus car beaucoup plus rapide puis je stock sur des HDD de 3To.

 

Pour le moment je n'ai pas encore cramé le moindre SSD  

 

Ps: Le site de samsung donne 150 téraoctets  j'ai un peu de marge avec la météo pourrie en Normandie  

 

GreG.

Modifié 23 novembre 2023 par ALF

[jldauvergne 15 123]

il y a 4 minutes, ALF a dit :

Je traite systèmatiquement dessus car beaucoup plus rapide puis je stock sur des HDD de 3To.

Je ne fais pas de stockage en SSD. Mais si l'utilisation intensive d'un SSD peut l'endomager il se passe quoi ? 
Est ce que ce sont simplement les données concernées qui sont corrompues ou bien c'est un décès du HD. Car si c'est le cas, sur mon PC vu qu'il y a windows et tous les programmes sur le même disque, ça craint. 
Si je comprends bien le message d' @alpheratz06, c'est plutôt option ça craint, .... Je vais devoir revoir ma façon de travailler j'ai l'impression. 
le HD externes m'adace un peu, on a vite fait d'avoir un faux contact sur le port USB. Il faudrait que je vois si mon 2e disque dur interne encaisse bien (mais il est mécanique et pas très rapide).