manup

stockage des astrophotos long terme, le M-DISC ???

Messages recommandés

bonjour à tous ;) 

j'aimerais savoir si quelques uns d'entre vous utilisent des M-DISC pour stocker les astrophotos ???

il parait que ces disques son fiables pour une durée 1000 ans contre 5 à 10 ans pour les SSD ou les clés usb

est-ce que c'est une bonne idée ???

merci pour vos retours

cdt

Partager ce message


Lien à poster
Partager sur d’autres sites

La faible capacité de stockage pet être un problème en astro.

M disc : 4.7 Go pour 3 €

SSD 1 To  : 62 € 

1  To = 212 x 4.7 Go

On peut donc stocker pour 62 €  l'équivalent de 626 € de M Disc.

Moralité racheter un SSD tous les 10 ans pour rafraichir le stockage et on est largement gagnant financièrement ^_^

 

Bon ciel

Patrick

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 2 heures, Lonelystar78 a dit :

La faible capacité de stockage pet être un problème en astro.

le contraire aussi, si on a trop de place, il faudra savoir, trier, ranger et faire des choix ;) 

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 2 heures, Lonelystar78 a dit :

La faible capacité de stockage pet être un problème en astro.

M disc : 4.7 Go pour 3 €

SSD 1 To  : 62 € 

1  To = 212 x 4.7 Go

On peut donc stocker pour 62 €  l'équivalent de 626 € de M Disc.

Moralité racheter un SSD tous les 10 ans pour rafraichir le stockage et on est largement gagnant financièrement ^_^

 

Bon ciel

Patrick

ok 

je pense que je vais rester aux SSD :) 

cdt

Partager ce message


Lien à poster
Partager sur d’autres sites

Pourquoi ne pas stocker ses images sur des disques durs tout simples en RAID1 ?

Le truc de base à comprendre quand on veut une sécurité de stockage, c'est qu'il faut dupliquer les choses (donc RAID1).

On peut bien sûr faire du RAID1 avec des SSD, mais cela ne sert pas à grand chose. Et puis les disques durs sont considérablement moins chers que les SSD.

  • J'aime 2

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 38 minutes, christian viladrich a dit :

Le truc de base à comprendre quand on veut une sécurité de stockage, c'est qu'il faut dupliquer les choses (donc RAID1).

Non on utilise plutôt des algorithmes auto-correcteurs (code de Hamming)

Peu importe le support, la technologie DVD utilise largement les technos d'autocorrection.

 

Pour info, le M-Disc est un WORM amélioré

https://macbidouille.com/news/2016/05/19/verbatim-lance-ses-supports-optiques-capables-de-resister-1000-ans

 

C'est ce qu'on utilise actuellement pour la sauvegarde de données à 75ans de durée avec rafraichissement régulier.

Modifié par lyl

Partager ce message


Lien à poster
Partager sur d’autres sites
Le 15/04/2023 à 19:59, christian viladrich a dit :

On peut bien sûr faire du RAID1 avec des SSD, mais cela ne sert pas à grand chose. Et puis les disques durs sont considérablement moins chers que les SSD.

 

Tout à fait et beaucoup beaucoup plus gros ! Le SSD c'est utile pour le système, et les données utilisées souvent. Mais pour l'archivage à long terme le rapport Capacité/Prix est déplorable (cela viendra par contre c'est sur). Quand à faire du RAID 1 ... bof, le SSD est quand même plus fiable à priori que la mécanique d'un HDD. Mais c'est pas mieux pour d'autre RAID ; RAID 0 ... sur un SSD c'est avoir besoin d'un très très gros débit, et en NVMe, le SSD débite quelques Go/s, presque comme un ramdisk (utile pour des fichiers réellement temporaires), et du coup RAID 5 ou autre, c'a va être pareil !

Il n'y a que sur des applications industrielles particulières où j'ai croisé du RAID 5 avec 4 x SSD mais c'est pour répondre à des problématiques de vibrations et où il faut enregistrer en continu un flux de centaines de milliers, voire des millions de paramètres par seconde (attention au réseau). Mais on est loin de la question de l'archivage là, et la solution pour l'un n'est pas forcément applicable pour l'autre !

 

Pour ma part, j'archive sur un NAS, (je termine la migration de mon NAS pour un modèle plus récent, reçu samedi). Et avec des backups (quotidiens pour les comptes utilisateurs, hebdomadaires, mensuels ou semestriels pour d'autres types de données) sur des disques externes, je n'ai -pour le moment- jamais perdu un seul fichier sauf à considérer l'erreur de l'utilisateur (effacement ou corruption de fichier, d'où les backups quotidiens) depuis presque 10 ans. J'ai pourtant perdu des disques (vieillesse, voire pour 2 cas, coup sur coup pour une mauvaise série), mais tu démonte le truc, tu remonte un nouveau disque et tu laisse le bouzin se débrouiller pour tout reconstruire ... tout en laissant madame continuer à travailler ses articles, les gosses à archiver leurs devoirs dessus et moi à stocker mes données astro ! C'est simplement un poil plus lent. Parfois tu n'est même pas obligé d'éteindre le NAS pour remplacer le disque => utile en entreprise !

 

Les solutions de cloud sont complètement inadaptées quand les volumes dépassent la centaine de Go/quelques To ou beaucoup trop onéreuses. Et puis quand on a pas la fibre, accéder à ses données devient une galère sur un cloud, tout en ne gérant pas forcément le lieu de stockage !

 

Mais c'est vrai qu'avant, je stockais sur CD, puis sur DVD, mais bon c'était avant !

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 43 minutes, patry a dit :

Pour ma part, j'archive sur un NAS,

Je crois que l'on dit la même chose ;)

 

Si on veut stocker les choses, et surtout ne pas les perdre, il faut de la redondance (autrement dit dupliquer). Du plus simple (moins cher) au plus compliqué (plus cher) :

- on stocke sur deux disques différents,

- on stocke en RAID1 : autrement dit, on a un système (=boîtier) avec deux disques, mais la duplication est faite par le "système" automatiquement sur les deux disques (quand le système est bien fait, on peut retirer  chaud un disque),

- on a un NAS, autrement dit une baie de disques, et là on peut s'amuser à faire du RAID1 ou du RAID5, et on peut retirer à chaud un disque pour le changer car tout est redondant.

 

La durée de vie du support lui-même est d'importance secondaire : au bout du 10 ans (même moins), l'ordinateur que l'on utilise ne sera plus capable de lire le support en question.

 

J'ai par exemple des observations astro stockées sur bande (ce qui était le moyen de stockage au début des années 2000) que je ne peux plus lire. Et je n'ai plus de lecteur de DVD/CDROM sur mon PC.

 

Au bilan, et selon le budget et les besoins, ce sera soit petit boîtier avec deux disques en RAID1, soit baie de disques NAS en RAID5.

 

 

 

  • J'aime 2

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 15 minutes, christian viladrich a dit :

Si on veut stocker les choses, et surtout ne pas les perdre, il faut de la redondance (autrement dit dupliquer). Du plus simple (moins cher) au plus compliqué (plus cher) :

- on stocke sur deux disques différents,

Tout à fait

 

Je pousse le vice jusqu'à dupliquer les données sur un disque de marque différente du master pour éviter les défauts récurrents :D avec un stockage dans un lieu constant en température et hygrométrie (ma cave !!!) 

 

Bon ciel

Patrick

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a 3 minutes, Lonelystar78 a dit :

Je pousse le vice jusqu'à dupliquer les données sur un disque de marque différente du master pour éviter les défauts récurrents :D avec un stockage dans un lieu constant en température et hygrométrie (ma cave !!!) 

Salut Patrick,

J'ai fait pire, avec des disques durs stockés dans des lieux différents pour des données vraiment très importantes :D

Mais depuis il y a le cloud, ça aide bien.

  • J'aime 2

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 3 heures, christian viladrich a dit :

Je crois que l'on dit la même chose ;)

 

Oui je sais. Et un petit NAS, 2 baies, t'offre déjà du RAID 1 et ce n'est pas si cher (250 à 300€).

Avec 4 baies, c'est l'assurance de faire du RAID 5 (au moins).  J'ai commencé petit ainsi, avec 2 disques de 2To plus un de 1To, puis ensuite j'ai ajouté/changé de disque et laissé le NAS se débrouiller à construire la meilleure configuration possible (avec 2x2To + 2x1To, il me fait un RAID 5 sur 4x1To et ajoute du RAID 1 sur 2x1To), c'est confortable. Actuellement j'ai plus de 600Go de mes meilleures captures avec les fichiers source depuis l'année 2008, c'est royal !

Mais on peut aussi se le faire "soi même", en recyclant un vieux PC et en installant une distribution spécifique. Par contre si c'est évidemment plus performant, cela consomme aussi infiniment plus que ces petits processeurs de NAS, qui eux sont largement suffisant pour la fonction NAS. Si maintenant tu veux faire de la virtualisation ou faire tourner docker, il faut de la mémoire et un peu plus de CPU c'est certain ! Mais tu consommera aussi beaucoup plus que 15 à 25W aussi, dommage pour un truc qui tourne 24h/24 !

 

Partager ce message


Lien à poster
Partager sur d’autres sites

En fait, tout dépend du besoin, des contraintes et du budget. Pour ma part, j'ai trois "disques" RAID 1 de 14 To chacun (donc 2x14 To physique pour chacun). Au fur et à mesure de l'augmentation de la capacité des disques, je me débarre des anciens disques.

Un critère pour moi, c'était l'absence de bruit. Je n'avais pas envie d'avoir le bruit des ventilateurs en permanence dans les oreilles. L'autre critère, c'était la vitesse, ils écrivent à plus de 250 Mo/s en USB3.

 

Dans tous les cas, il y a moyen de trouver son bonheur avec toutes les possibilités existant actuellement.

Modifié par christian viladrich
  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites

perso ma solution c'est blackblaze avec l'option conservation sans limite

amazon glacier fait le job également, mais c'est plus cher

 

 

  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
Le 18/04/2023 à 17:20, Lonelystar78 a dit :

dupliquer les données sur un disque de marque différente du master

oui, particulièrement vrai pour les SSDs.

Un truc à savoir, expérimenté de façon professionnelle est que les premières générations de SSD avaient un défaut sur l'alerting SMART. (prédiction de pannes).

Un SSD est un support à obsolescence prévisible suivant le nombre d'écritures.

Utiliser une paire de SSD de même marque et acheté en même temps pour servir sur un RAID 1 : c'est une ineptie.

 

Une autre méthode pour obtenir du débit physique augmenté sur les mini-baies à 4 emplacements disques est de faire du RAID 10 stripped.

Pour la solution de base, le contrôleur n'a pas besoin d'électronique sophistiquée et l'on a les mêmes performances doublées en lecture et écriture.

 

Certains ont des contrôleurs améliorés avec de l'électronique de type checksum par bloc ou hamming, ce n'est pas simple à connaitre la différence sans soulever le capot.

Je connais ça depuis 2005 sur les baies HP EVA, jamais eu de problèmes insolubles avec même en cas de panne d'un disque SAS° 15k rpm en situation de production.

En mode pro, il y a nombre de raffinements tels que la migration automatique des stripes suivant l'obsolescence des disques. (maintenance préventive) et sur les baies de certaines marques des caches de niveau 2 ou 3 en SSD, mais clairement le stockage permanent de gros volume n'est pas confié à du SSD.

 

Schema-Systeme-RAID-10-_RAID_1_0_.png

° extractible à chaud. Ce n'est pas utile pour le particulier.

 

Certains NAS utilisent cette solution RAID 10, c'est à préférer. De plus, c'est en effet bien mieux de maintenir en rotation un disque que de lui faire des arrêts démarrage réguliers. NAS c'est supérieur à une baie passive sur ce point.

Bon ensuite, il faut quand même choisir des disques de bonne qualité, c'est de la mécanique de précision.

J'avais souvenir que les mono-plateaux sont les plus fiables et la marque OEM de disques à support magnétique pour laquelle nous avons eu le moins de panne c'était Hitachi (sous l'étiquette :P)

. Et c'est utilisé par Blackblaze pour le haut de gamme d'ailleurs.

A voir si c'est toujours eux qui sont en tête.

 

Pour synthétiser, un NAS à 4 baies disques avec son onduleur et extinction automatique. A surveiller la batterie de l'onduleur régulièrement et on dort sur ses deux oreilles jusqu'à ce qu'il bipe pour une alerte.

C'est une formule à prix variable qui satisfera pas mal de monde pour du stockage de vidéo ou d'images. Faut juste pas oublier de lire la doc avant de le laisser dormir dans son coin.

 

Un bon SYNOLOGY 4 baies et son onduleur par exemple pour 400€ en prix de base + prix des disques

Modifié par lyl
  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant



  • Contenu similaire

    • Par jeffbax
      Bonjour les amis,
       
      Les dernières semaines de vaches maigres pour les observations n'ont pas eu que des inconvénients (même si c'est mieux quand il fait beau). Elles ont laissé du temps au traitement et à la gestation d'images, dont particulièrement celle-ci.
      L'idée est née avec @GuillaumeGZ, avec qui nous partageons beaucoup, suite à la publication d'un travail colossal effectué par un groupe d'une quinzaine de photographes en plus de 250 heures. Ils ont détecté les extensions de M51 comme jamais, dont en Ha.
       

       
       
      Guillaume voulait tenter cette détection et de mon coté je voulais un truc avec plus de résolution. On a d'abord pensé à des poses rapides au T350 pour la galaxie... C'était déjà pas mal. Mais en voyant s'accumuler les poses en luminance, on a changé de calibre.
       
      Exceptionnellement, nous avons marié les données issues du T1000, publiées en 2021 par la team Omicron avec celles du T250 f/4 de Guillaume.
       
      Il y a au T1000 f/3.2 8h10 de luminance et 1h45 par couche RVB - Ancienne CCD STX. Au T250 f/4 il y a 58h de L conservée sur 69h + 18h de Ha et 3h de RVB avec une 2600 MM Pro. Soit environ 92 heures.
       
      Durant ces dix derniers jours, entre les transferts de données, les versions intermédiaires et les choix partagés de rendu, on a bossé dur et finalement on s'est arrêtés sur l'image suivante. Elle résulte des compromis et corrections à tous les 3 avec @Superfulgur.
       
       

       
       
      Ne ratez pas la FULL en 6000 pixels :
       

       
       
      C'est un résultat tout en compromis que nous proposons, dont les différentes étapes de mixage seraient bien trop longues à expliquer en détails. En gros, tout ce qui est LSB (extensions lointaines) provient du T250, ainsi que le Ha. La galaxie jusqu'aux moyennes lumières vient du T1000, ainsi que les étoiles faibles et pétouilles de fond de ciel. Les extensions proches sont du T1000 + T250. On est à MAG 24 environ avec l'ancienne STX contre un peu plus de 22,5 avec le T250. Ca reste cohérent.
       
      La dynamique est monstrueuse et pour garder un aspect visuel équilibré, la galaxie est laissée en hautes lumières et brille fort. Le Ha a été intégré dans la couche rouge. Enfin, la couleur RGB vient d'un mixage des 2 télescopes. L'image du T1000 a été un poil réduite et celle du T250 agrandie raisonnablement. Pour finir on a gardé du bruit dans les extensions. On peut lisser ces extensions encore plus, même complètement, mais ça dénaturerait trop ce signal, extrêmement ténu. Ca moutonne déjà un peu là.
       
       
      Pour partage voici la L de 58h, déjà débarrassée d'une grande part de halos en prétraitement "spécial" (il en reste encore). Montée d'histogramme en GHS avec SIRIL + un masque sur la galaxie. On voit bien les structures de marée et c'est déjà surprenant.
       

       
       
      Et le petit lien Astrobin :
       

       
      La team remercie infiniment Guillaume pour ce partage et cette réalisation. Nous n'aurons jamais le temps de télescope pour attaquer ce type de LSB. Mais comme c'est moins le diamètre que le rapport F/D, la noirceur du ciel et le temps de pose qui comptent pour ces extensions, ce partage nous permet d'y accéder quand même.
       
      Voilà... On en est assez contents. Espérons qu'elle vous fera voyager aussi.
       
      Bon ciel.
       
      JF
       
    • Par Chani11
      Bonjour,
      Il s'agit d'une extension pour NINA pour gérer le retournement au méridien, qui permet de contrôler toutes les actions contrairement au meridian flip auto.
      Dans les vidéos tutos ou notice de cette extension, il faut installer le DIY meridian flip TRIGGER das lequel on doit mettre toutes les commandes. Hors celui-ci n'apparait pas, juste trois instructions qui ne fonctionnent pas seules. J'ai désinstallé puis réinstallé le pluggin, rien à faire. (mes versions sont à jour)
      Une idée ????
       

       
      Flip, rotate et wait ne peuvent fonctionner que dans M flip trigger, absent ici !
    • Par Bigcrunch
      bonsoir ,

      cette image a été prise la même nuit que le triplet du Lion , en suivant,  mais ce coup ci sans la lune ,  
      toujours avec la FS60 et son correcteur et le Sigma FP refiltré.
      147 poses de 60 s à 1250iso 112 poses retenues Prétraitement et traitement sur PI 
      images présentées : full à 1850 px ; crop à 50%; crop à 100%

      bonne soirée 
       
      Olivier




    • Par Astramazonie
      Bonjour les Astros, 
       
      Petite prise du "CASQUE DE THOR" qui date d'une semaine, que je pensais perdu dans les abysses des clichés mais qui a pu être récupérée, toujours au Seestar 20 minutes de pose.
       
      Merci à @Bob Saint-Clar pour son aide pour le traitement ... et le sauvetage de cette photo.
       

       

    • Par Chani11
      Bonjour,
      Après beaucoup de faux pas, d'hésitations et d'erreurs en tout genre, je pense commencer à maitriser le B A BA de NINA et de PHD2 associé. En gros, je fais la mise au point manuelle grâce aux valeurs HFR (mieux que le bahtinov), le pointage et le centrage de la cible se font correctement grâce à l'astrométrie, le suivi PHD2 une fois calibré est plutôt bon (l'amplitude des oscillations se situe dans une gamme inférieure à +/- 1 ". Faire une séquence est alors un jeu d'enfant.
      Cependant, au vu des résultats, mon enthousiasme est plus que modéré.
      J'ai choisi pour mes trois nuits d'essai (trois nuits sans vent, c'est exceptionnel) M101, cible facile, brillante et bien placée en ce moment.
       
      Ce qui me frappe immédiatement, c'est le fort vignetage de la caméra. Mon APN,  APS-C et nombre et taille de pixels comparables à la 2600, n'avait pas de vignetage visible. Bien sûr ça se corrige plus ou moins avec les flats, mais ce n'est pas top pour ce genre de capteur.
      Deuxième déception, le bruit. Les images sont très bruitées, même après traitement : dark, flat, 75 poses de 2 minutes sur T200/1000. J'ai choisi le gain donné par défaut par NINA pour cette caméra, à savoir 421/600 et un offset de 1. Est-ce trop élevé ?
      Avec ce gain, durant deux minutes de pose, la galaxie n'apparait pas sur les brutes, ce qui me surprend énormément pour une caméra dite sensible.
       
      Voici le résultat avec un traitement classique Siril
       
       

       
      J'ai dû lisser un max pour atténuer le bruit. C'est très en deçà de ce que j'obtenais avant.
       
      Pour info, une brute, réduite en 2k
       

       
      A votre avis, quelles sont les pistes d’amélioration ?
      Merci
       
  • Évènements à venir