De tout de rien à propos de défaillance de disques durs et des sauvegardes

[fran6p]

J'avais récupéré un bon nombre de fichiers (pages HTML, vidéo, GIFs, …) de ce MOOC mais ils ont disparu quand le disque dur qui les contenait, un Toshiba 3To (ainsi que bien d'autres fichiers dont j'ai dû faire le deuil) a décidé de se faire «seppuku» (carte électronique HS donc aucune récupération possible sauf à y laisser deux bras, un rein, un poumon et encore quelques autres organes)

EDIT: les propos suivants ont été scindés du sujet de départ qui concernait des formations à distance via MOOC sur le parcours d'un maker: Arduino, imprimantes 3D, utilisation de FreeCAD (voir ce sujet).

Nous ne relatons que quelques expériences personnelles vécues avec nos matériels informatiques et ne sont probablement pas représentatives de l'expérience de chacun vis à vis de l'univers informatique

Pour les plus anciens et les plus jeunes, un peu d'histoire :

  

Même avec les disquettes, il y avait un risque :

Révélation

Au pire, il restait toujours la solution expéditive :

Révélation

Modifié (le) Juin 8, 2022 par fran6p
Correction de seppuku pour @pommeverte

[Kachidoki]

il y a 52 minutes, fran6p a dit :

carte électronique HS donc aucune récupération possible

Tu peux racheter le même disque dur, et échanger les cartes électronique. 

Ca arrive toujours au moins une fois, avant qu'on ne prenne les mesures de backups qui s'imposent...

[Idealnight]

Et en backup j'utilise un logiciel dans sa version gratuite qui m'incrémente mes clones de disque dur la nuit sans m'en soucier.

ainsi pour 5 disques durs j'en ai 5 autres en doublon dans le serveur (et comme je suis am* prime mes photos possèdent une 3eme sauvegarde).

Dans ma jeunesse j'ai perdu un disque dur sans avoir son clone 2To (tête bloquée) ça m'a vacciné lol.

La méthode de kachidoki peut fonctionner je l'ai déjà fait assez souvent je garde mes vieux hdd morts, je récupère aussi les aimants ^^ (mécaniquement) mais pas a tous les coups parfois il y'a des cartes mises à jour ou fabriquées dans une autre usine possédant une petite différence qui fera que cela ne fonctionnera pas.

Modifié (le) Juin 7, 2022 par Idealnight

[fran6p]

Il y a 14 heures, Kachidoki a dit :

Tu peux racheter le même disque dur, et échanger les cartes électronique. 

Mon PC principal était équipé de 5 disques: 1 SSD (OS), 2 x 3 To (Toshiba) et 2 x 4 To (Western Digital). Quand l'un des deux Toshiba est passé de vie à trépas, j'ai tenté effectivement d'utiliser la carte électronique de l'autre mais malheureusement ça n'a pas fonctionné. Pourtant c'étaient deux disques de la même série produits le même mois.

En mettant la carte électronique du disque DCD sur celui fonctionnel, il ne fonctionnait plus donc la carte avait bien un problème mais il y avait autre chose en plus (moteur, … ?) donc j'ai laissé tomber, d'autant plus qu'il était garanti trois ans, tombé en panne avant ce délai, il m'a été intégralement remboursé (achat Amazon). Ce modèle n'existant plus, j'ai pris un équivalent en capacité de stockage d'une autre marque (WD).

Bien qu'effectuant de nombreuses sauvegardes, certains dossiers (la quasi totalité à vrai dire) de ce disque HS ne faisaient pas partie des sauvegardes, ne pensant pas avoir besoin des données stockées dessus . Depuis j'ai amélioré mon système de sauvegarde en appliquant la règle:  3 / 2 / 1

[Kachidoki]

@fran6p, peut-être penser à changer de système avec autant de disques à disposition. Surtout que tu ne crains pas la ligne de commande.

Sans forcément investir dans un NAS qui fait du RAID-1 ou plus, tu peux par exemple utiliser ZFS (pour la faire courte, un RAID 2.0) pour être tolérant à la panne d'un ou deux disques (ou plus mais €€€/To). Si tu es un peu plus équipé en matériel, tu peux même regarder la version cluster, du côté de Ceph (pour la faire courte, un RAID 3.0), pour être tolérant à la panne d'un ou deux "n'importe quoi" (disque, réseau, ou machine entière). Plus complexe mais tellement plus flexible.

Ca ne remplace en rien les sauvegardes offline, mais ça évite pas mal de tracas lors d'une panne, ne serait-ce que la corvée de restauration.

On peut en discuter dans la section Blabla si tu veux, en transférant cette partie de discussion. 

[fran6p]

Je transférerai plus tard, il faut que je vois comment et où scinder le sujet

J'ai d'autres systèmes informatiques en plus de mon PC principal (j'adore accumuler en plus de procrastiner ).

Un serveur faisant office de passerelle derrière la BOX (mode bridge) lui-même équipé de nombreux disques en RAID6 (disques de petites capacités 500, 750 et 1000 Go) qui ne sert pas à la sauvegarde mais offre de nombreux services aux matériels du réseau (distribution basée sur CentOS (ClearOS)).

Pour une partie des sauvegardes sur le réseau local, j'ai un NAS pseudo Synology avec 4 disques de 4 To montés en RAID6. Chez mes parents, un petit et vieux NAS Netgear (RAID1 de deux 1 To) pour les sauvegardes distantes et pour terminer un gros disques 5 To connecté de temps en temps sur le NAS Xpenology via USB pour les sauvegardes mensuelles.

Les sauvegardes sont vérifiées de temps en temps pour s'assurer qu'elles sont fonctionnelles. Pour une bonne part des sauvegardes, étant un adepte de longue date de Linux, j'utilise BorgBackup , la lecture de cet excellent article de Linux Pratique (les éditions Diamond produisent de bons magasines dédiés Linux et Hackers) avait fini de me convaincre. Pour compléter l'utilisation de Borg, je consulte régulièrement le Shaarli  / Wiki de Sebsauvage.

Borg ne fonctionnant pas sous Windows (peut-être via WSL ?),  j'utilise un logiciel très simple: SyncBackup (version free) pour les sauvegardes des disques du PC principal (d'où les doubles disques de même capacité) ainsi que sauvegardes vers les NAS.

Aujourd'hui, si je devais «mettre à niveau» mon serveur tête de réseau, je partirais sur un système de fichiers plus moderne qu'à l'époque où je l'avais installé: ZFS (il me semble que Xpenology / Synology dans ses dernières versions peut utiliser ce système de fichiers mais pas le courage de refaire mon NAS (quand ça fonctionne, on ne touche plus à rien ). 

Modifié (le) Juin 8, 2022 par fran6p

[Kachidoki]

Et avec tout ça, tu oses encore perdre des données... 

De mon côté, pas de données en local sur les PC, tout est centralisé sur un vieux DS214+ (en mode fichiers et quelques LUN iSCSI) avec un disque de 3To et un disque de 4To en SHR (RAID-1). Je sais... mais le 4To est tout récent pour remplacer le dernier 3To défaillant, et il était moins cher que le 3To... NAS qui a déjà subit au moins 3 remplacements de disques depuis sa mise en service. Jamais eu de soucis pour la reconstruction cependant, Synology c'est un peu le Prusa du domaine, "it just works".

Pour les sauvegardes "online", j'ai un disque connecté en USB en permanence, qui backup toutes les heures en mode incrémental, grâce au SmartRecycle je suis capable de retrouver des fichiers vieux de plusieurs années, pour me protéger d'un effacement accidentel, ou d'une corruption silencieuse (vécu, 2Go d'archives de mails corrompu, soigneusement backupé avec la corruption)... Pour les sauvegardes offline, j'ai un backup complet sur un disque USB de 3To que je ne branche qu'une fois par mois, ainsi que deux disques de 500Go déportés dans les deux voitures, sur lesquels je ne copie que les dossiers les plus importants tous les 15 jours en alternance. Tout ça avec l'HyperBackup de Syno, ça simplifie grandement la corvée.

Pour les photos, données de loin les plus irremplaçables, elles sont également dans le cloud en plus, je me fiche pas mal qu'un GAFA zieute mes photos de vacances , et pour les plus belles, elles sont tirées en grand format et accrochées aux murs.

 

Depuis quelques temps je songe à remplacer ce NAS vieillissant par une solution plus récente, et surtout tolérant à la panne de deux disques minimum, car je serre les fesses à chaque reconstruction (même si tout est sauvegardé, c'est pénible de reconfigurer tout un système vieux de plusieurs années)... Je préfère anticiper la future défaillance du NAS lui-même, que de devoir monter un nouveau système dans l'urgence.

Du coup j'hésite encore entre un bête ZFS via TrueNAS, mais peut-être trop rigide à mon goût. Ou carrément plonger dans Ceph via Proxmox, qui m'a tout de suite plu pour sa robustesse et sa flexibilité. Toutes mes simulations sur VM ne m'ont pas permis de perdre des données. Seul problème, c'est plutôt taillé pour des grosses structures, pour un homelab c'est juste. Mais avec des compromis sur les domaines de défaillance, on peut avoir un système équivalent à un NAS RAID standard (une machine avec plein de disques), tout en ayant la flexibilité de la gestion des disques par Ceph (nombre et taille variable) et surtout on profite de la fonctionnalité d'auto-réparation : un disque défaillant est exclu automatiquement après quelques minutes et les données qu'il contenait sont automatiquement réparties (via les réplicas) sur les disques restants en attendant son remplacement. C'est assez rigolo de voir évoluer l'espace disponible d'un partage réseau au gré des "in/out" de disques.

Reste à trouver aussi l'équivalent du SmartRecycle ou un versionning qui gère tout seul l'espace disponible, sans trop me casser la tête. Et l'autre critère important pour moi est la consommation d'énergie. De ce côté là un NAS tout-en-un va être difficile à battre...

Modifié (le) Juin 8, 2022 par Kachidoki

[Idealnight]

A la maison a titre personnel j'ai abandonné le RAID, nas et consort qui pour moi avaient trop de contraintes, j'ai mis en place un pur clonage, un disque lâche aucun stress j'en plug un nouveau et le clonage se fait et ensuite cela fonctionne par incrémentation. 

Qui plus est que j'avais besoin d'un "serveur" tournant sous W10 car certaines applications ne fonctionnaient que sur lui pour le partage (émulateurs, media server pour les box tv, le cloud amaz etc...)

Je ne reviendrai pas en arrière sur du NAS ou RAID mais c'est une question de goût et de besoins ^^

[Titi78]

Bon, je me résous à vous dire que je n'y connais rien en nas et autres raid. Je parle pas la même langue sûrement....

C'est aussi ma hantise de perdre des données .

Alors pour faire simple j'utilise un dd externe en usb sur lequel j'exécute un .bat avec la commande robocopy. 

Ça m'a sauvé plusieurs fois à condition de penser à le faire  et ça me permet de ranger ce disque à l'abri en cas d'incendie ou d'inondation. 

[Kachidoki]

il y a 5 minutes, Titi78 a dit :

Alors pour faire simple j'utilise un dd externe en usb sur lequel j'exécute un .bat avec la commande robocopy. 

Les solutions les plus simples sont bien souvent suffisantes. La sauvegarde offline (ton exemple du disque branché juste le temps de la copie) et off-site (donc pas stocké à côté de la source) ne met pas à l'abri de tout, mais couvre efficacement les plus gros pépins. C'est le minimum à faire pour un backup. Mais comme tu dis, il faut penser à le faire (j'ai des rappels périodiques dans mon agenda pour ça).

 

Il y a 3 heures, Idealnight a dit :

j'ai abandonné le RAID [...], j'ai mis en place un pur clonage, un disque lâche aucun stress j'en plug un nouveau et le clonage se fait

Bah, ça s'appelle un RAID-1 manuel. 

 

Il y a 3 heures, Idealnight a dit :

Qui plus est que j'avais besoin d'un "serveur" tournant sous W10

Windows 10 ou pas, un "serveur" qui fait du partage réseau et tourner des containers ou des VMs, ça s'apparente déjà à un NAS. C'est vrai qu'on assimile souvent le terme NAS avec les petits boitiers de bureau tout-en-un, mais ça peut très bien être un rack dans une baie comme une tour de PC, ou même une simple VM. Le NAS c'est plutôt la fonction que le matériel.

Par contre j'ai du mal à voir les contraintes que tu avais avec le RAID ? Quand ça tourne il n'y a rien à faire. Un remplacement de disque dur aujourd'hui se fait à chaud, on reçoit un mail, on retire l'ancien disque, on met le nouveau, et on clique sur "rebuild". Même pas de redémarrage ni d'interruption de service. Chez syno (et je pense la plupart des concurrents) c'est comme ça. Les contraintes que j'y vois, c'est surtout l'immutabilité du système. C'est assez peu évolutif, il faut donc dès le départ bien prévoir ses besoins sur le long terme.

 

@fran6p, xpenology tu en penses quoi avec le recul ? Je ne parle pas du logiciel en lui-même, car c'est celui de Synology et il est très bien, mais plutôt du côté "hack". J'avais bien envisagé de l'utiliser, au moins dans une VM, ne serait-ce que pour HyperBackup avec SmartRecycle et la liaison avec HyperBackupVault qui fonctionne très bien (on l'utilise au taf). Mais j'ai l'impression que c'est comme avoir une épée de Damoclès au dessus de la tête, et se retrouver piéger d'un jour à l'autre avec un système verrouillé.

[Invité]

donc si je comprend bien, sur windows, vous n'avez toujours pas l'équivalent de "time capsule" comme sur le mac

c'est pourtant hyper utile pour remonter le temps si nécessaire, mais surtout sauvegarder en temps réel tout le travail en automatique sur un disque externe en réseau local

ça fait de nombreuses année que j'utilise ça et lorsque je change d'ordinateur, le nouveau récupère automatiquement tous mes fichiers perso, à partir du moment que je lui indique que c'est le remplaçant de l'ancien

Modifié (le) Juin 8, 2022 par Patrick76

[Idealnight]

@Kachidoki oui c'est un principe de raid 1 sans en être 1 et ça s'apparente à un NAS sans en être 1 avec les fonctions limitées (n'étant pas sur un principe NAS cela reste un PC utilisable pour d'autres fonctions) ^^.

Disons que le raid oblige a tout penser au préalable (utilité, capacité et/ou performance), là je peux changer mes choix sans remettre en question l'installation.

Les rebuild quand elles bloquent tu sues comme pas possible là je n'ai pas cette contrainte (et du temps d'attente qui peut être long dans certains cas).

Un disque peut tomber en panne sans remettre en question l'accès au système tant que je ne suis pas intervenu (là je pense surtout au RAID 5).

Mais je le dis bien j'en vois l'utilité à titre personnel pour un besoin qui m'est propre (A savoir que je ne maitrise que les systèmes sous windows postes clients et serveurs donc cela me limite aussi dans mes choix ).

[Kachidoki]

Il y a 12 heures, Patrick76 a dit :

donc si je comprend bien, sur windows, vous n'avez toujours pas l'équivalent de "time capsule" comme sur le mac

Windows n'est pas vraiment une référence dans le domaine, c'est un OS où de base il n'y a pratiquement rien en applications, et elles sont souvent très basiques ou peu performantes, même pour la gestion du système lui-même. Lorsque j'ai branché le dernier disque défaillant du Syno sur un dock pour purger la table des partitions, le gestionnaire de disques devenait fou et impossible de faire quoi que ce soit (forcément, si c'est pas du FAT, FAT32, NTFS ou exFAT, il veut rien savoir). J'ai branché le même dock sur mon PC linux, et en 15 secondes c'était plié, nouvelle table de partitions toute fraiche. Voilà un disque de 3To qui fonctionne très bien, sur lequel j'ai collé un sticker "SMART failed" pour mes tests.

[fran6p]

Il y a 14 heures, Kachidoki a dit :

, xpenology tu en penses quoi avec le recul ?

Ça va faire plus de 4 ans que je l'ai installé sur un mini boitier pouvant accueillir 4 disques durs dans des baies permettant l'extraction à chaud, carte mère ASUS mini, pas encore rencontré de problèmes. L'installation à l'époque était plutôt barbue / geekesque mais depuis ça s'est fortement amélioré.

Le seul gros risque c'est lors des montées de versions majeures de l'OS Synology (DSM). La communauté autour de Xpenology est plutôt active (forum anglais principalement mais le français est bien représenté). Ça reste tout de même un hack, le prix d'un boitier original Synology pour une version 2 disques reste abordable, celui des 4 disques ou plus lui par contre représente un investissement.

Mon PC principal (sous Windows) accueille quelques VMs Linux (Virtualbox) ainsi que WSL2, pour pouvoir travailler sur les disques accueillant des partitions non «microsoftiennes» (j'ai également des outils permettant de travailler sur des partitions Machinchose qui ont bien dépanné mon fils quand le SSD de son vieux Macbook pro a rendu l'âme).

[Kachidoki]

J'ai avancé un peu dans ce projet. Certes à petits pas, mais avancé tout de même. 

Matériel :

J'ai décidé de sortir de la virtualisation, et de recycler une ancienne tour. Un vieux Phenom II X6 1090T, 16Go de RAM, et surtout 8 ports SATA. J'ai collé tous mes plus gros fonds de tiroir inutilisés (phase de test). J'ai donc casé 3x 1To et 5x 500Go. Tous en 7200trs/min excepté un des 1To qui est en 5400trs/min.

J'ai bien évidemment abusé de l'impression 3D pour utiliser divers adaptateurs 3.5" -> 2.5" et 5.25" -> 3.5" que j'ai imprimé en polycarbonate. C'est tellement compact quand c'est bien fait, que je pourrais sans problème ajouter une douzaine de disques s'il le fallait.

Au début, j'ai eu peur que mon alim, une Zalman de 450W, ne tiennent pas le choc quand j'ai additionné les courants mentionnés sur les disques. Finalement, après mesure, en pleine charge HDD + CPU, je monte à 140W (cos phi 1.000, pas mal l'alim). En jouant du "scaling governor" j'arrive à descendre à 90W. Je n'ai pas cherché plus loin, tous les périphériques de la carte mère sont encore activés, et les disques ne se mettent pas en veille, ce qui n'est de toute façon pas possible avec Ceph.

Ca reste une grosse conso (~10€/mois), pour le moment je pars là-dessus, le temps d'explorer la solution, et j'aviserai ensuite. A titre de comparaison, j'ai mesuré la prise juste à côté, qui contient un onduleur, une livebox, un switch, un DS214+, un disque externe et un bridge philips hue. Cet ensemble tire 40W.

Installation :

Côté soft, j'ai installé Proxmox, qui gère Ceph nativement. Ce couple peut former un cluster hyper-convergé. C'est pensé pour être fortement distribué, permettant par exemple une migration à la volée des containers, et la gestion de la haute disponibilité. Il n'est pas recommandé de l'utiliser avec une seule machine, tant pour les performances que pour l'impossibilité d'assurer la survie du cluster en cas de défaillance autre que celle d'un disque. J'y suis allé tout de même, connaissant cette contrainte et les limitations qui vont avec, ayant de toute manière prévu une solution de sauvegarde.

J'ai créé une partition de 50Go en ZFS miroir sur les 3 disques de 1To pour le système. Le reste va pour les "OSD" de Ceph. Un OSD est un démon (un service) qui gère un disque dur unitairement. On peut aussi lui passer une partition (ce que j'ai fait pour le reste des disques de 1To), mais ce n'est pas recommandé non plus, Ceph préfère parler directement avec les disques. 

Tests :

Côté perfs, pour le moment, out-of-the-box, sans réglages particulier, sur un CephFS je tournais à ~40Mo/s en écriture, et 250-300Mo/s en lecture. J'ai rapidement compris que le disque à 5400trs/min pénalisait toute la grappe. Je l'ai donc exclu du cluster, simple comme bonjour, on positionne un flag à "out" et on attend le re-balancing. Après ça, je suis monté à 70-80Mo/s en écriture et 400Mo/s en lecture.

Ca parait peu en écriture, mais cela s'explique assez simplement. J'utilise la règle basique de réplication 3/2. En clair, maximum trois copies des données sont présentes. Au minimum 2 copies, en dessous le cluster bloque tout accès pour protéger les données, le temps de les dupliquer vers les disques survivants. 3 copies, on est sur un système distribué (différent du raid), donc on fait transiter 3 fois les données sur la bande passante. Il ne faut pas oublier que c'est prévu pour transiter par le réseau d'un nœud à un autre. Pour la lecture c'est l'inverse, les données sont lues depuis 3 disques différents, donc on additionne le débit unitaire de chaque disque.

En parlant de réseau justement, comme je n'ai que du gigabit à disposition, je suis  limité à 110-120Mo/s. Je sature donc de loin la bande passante en lecture, mais pas encore tout à fait en écriture. Cela dit, 70-80Mo/s pour un usage domestique me suffit amplement.

Réflexions :

Ca me fait un système tolérant à la panne simultanées de 2 disques à un instant T pour le système comme pour les données, puis à la perte de N disques supplémentaires étalés dans le temps pour les données (tant qu'il y a de la place et le temps de re-distribuer les données entre chaque nouvelle perte de disque). C'est toute la puissance du "self-healing" de Ceph. C'est par ce principe qu'on peut entrer et sortir à la volée des disques de n'importe quelle taille, les algos du cluster s'adaptent. C'est valable aussi pour l'ajout de machines au cluster le cas échéant.

Le côté négatif, c'est que j'ai rentré 4.5To de disques bruts (en ayant exclu un disque de 1To), et je n'ai que 1.5To d'utilisable (réplicas 3). A ça il faut ajouter le ou les backups. Il faut donc bien penser qu'une donnée coûtera en réalité jusqu'à 4 à 5 fois sa taille en stockage. C'est à ce moment qu'il faut réfléchir au type de données qu'on souhaite stocker et qu'on se permet de perdre, je pense partir sur un pool en replica 3 + sauvegarde pour les données importantes, et un pool en replica 3 sans sauvegarde tant que j'ai assez d'espace, puis bascule en replica 2 (équivalent RAID1) ou ajout/changement de disque à ce moment là.

Pour les points de défaillance, le pire qui puisse arriver, c'est une perte ou corruption de la base de donnée, n'ayant qu'un seul nœud et donc pas de redondance. Je peux toujours ajouter un RPi ou deux comme nœuds supplémentaires pour ajouter de la redondance sur les "monitors", à voir. L'autre point est la suppression accidentelle d'une donnée ou un ransomware. Ces deux points sont couverts par les sauvegardes. Une défaillance matériel se récupère très bien, on transfère les disques dans une autre machine et ça repart.

La suite :

Pour le moment je continue de tester les performances et me familiariser avec le système. Je joue avec les profils QoS pour voir les impacts de la répartition des IOPS entre les clients et la récupération lorsque je sors ou rentre un disque. En tant que particulier, je veux que ça restaure le plus vite possible mais pas au point de figer toutes les applications clientes (finalement un pro aurait la même exigence...). Je pense par la suite ajouter quelques containers pour gérer notamment le media server, des petites bases de données domotique, un dépôt pour mes codes, un site web de pré-prod et pourquoi pas les imprimantes 3D (histoire de boucler la boucle).

Le media server va être un bon point de départ pour stresser le système en Mo/s (pas trop car bridé par le gigabit), mais je l'attend au tournant sur les IOPS, clairement le point faible. Là je pense qu'il me faudra une solution différente pour les appli gourmandes, comme les BDD, ou un cache quelque part, mais testons d'abord.

Reste dans la todolist : gestion des backups (et leur restauration), test de PBS (Proxmox Backup Server) qui me permettrait de retrouver l'incrémental que j'ai sur le Syno, transfert des données de "production", échange des disques de test par les plus gros disques de production, gestion de la consommation énergétique et ajout de nœuds (utilisation de minimum trois NUC ?), réfléchir à l'utilité d'utiliser un ou des SSD (journal, metadata, cache etc...), coller un panneau solaire derrière l'onduleur, documenter tout ça pour savoir remettre le système en route lorsqu'il va planter dans 5 ans...