Anime-Sanctuary

RAID logiciel et surveillance SMART

RAID logiciel mdadm et surveillance SMART : deux outils pour qu'un disque qui lâche ne vous prenne pas par surprise. Vous apprenez à garder le serveur en marche pendant la panne, puis à la voir venir.

Parcours
Tutoriel 32 sur 35
Durée
35 min de lecture
Vérifié avec
Debian 13.7 (trixie), mdadm 4.4, smartmontools 7.4
Ce que vous saurez faire
  • Dire ce que le RAID protège, et ce qu'il ne protège pas.
  • Créer un RAID 1 avec mdadm, simuler une panne et reconstruire, sans risque pour vos vrais disques.
  • Recevoir un courrier quand un disque du RAID tombe.
  • Lire la santé d'un disque avec smartctl, programmer des tests avec smartd et savoir quand le remplacer.

Avant de commencer : Lire les journaux, Première sauvegarde avec rsync.

Sommaire
  1. Ce que le RAID protège, et ce qu'il ne protège pas
  2. RAID 1, RAID 5, RAID 6 : lequel choisir
  3. 1. Préparer de faux disques
  4. 2. Créer le RAID 1 et le lire
  5. 3. Simuler une panne
  6. 4. Remplacer le disque et reconstruire
  7. 5. Recevoir un courrier quand un disque tombe
  8. 6. Ranger l'essai
  9. 7. Lire la santé d'un disque avec smartctl
  10. 8. Lancer un test court ou long
  11. 9. Laisser smartd surveiller
  12. Quand remplacer un disque
  13. Si ça échoue
  14. Pour aller plus loin
  15. La suite
  16. Sources

Ce que le RAID protège, et ce qu'il ne protège pas

Le RAID protège d'une seule chose : la panne d'un disque. Un disque dur est une pièce qui tourne et qui s'use, donc il finira par casser. Le RAID regroupe plusieurs disques pour que la panne de l'un n'arrête pas le serveur.

Disque dur ouvert : le plateau argenté qui tourne et le bras qui porte la tête de lecture, au-dessus de la carte noire du boîtier.

Il est logiciel quand c'est Linux qui fait ce regroupement, avec un outil nommé mdadm, au lieu d'une carte spéciale. C'est le cas de ce tutoriel. Voici ce que cela couvre, et surtout ce que cela ne couvre pas.

  • Couvert : un disque qui meurt. Le serveur continue de répondre, vous changez la pièce quand vous voulez.
  • Pas couvert : votre erreur. Un fichier effacé l'est sur tous les disques à la fois, immédiatement.
  • Pas couvert : un rançongiciel. Ce programme chiffre vos fichiers pour réclamer de l'argent. Il les chiffre sur tous les disques du RAID.
  • Pas couvert : le feu, le vol, la panne d'alimentation. Tous les disques sont dans la même machine.

Le RAID est donc un parachute contre un seul risque, à ajouter à vos sauvegardes et non à leur place. Il existe plusieurs façons de regrouper les disques, appelées niveaux. Voyons les trois principales.

RAID 1, RAID 5, RAID 6 : lequel choisir

Chaque forme de RAID s'appelle un niveau, et le niveau règle le prix de la sécurité en disques. Le RAID 1 est un miroir : deux disques portent exactement les mêmes données. Les RAID 5 et RAID 6 répartissent les données sur plusieurs disques, avec de la parité en plus. La parité est une information de contrôle qui permet de recalculer le contenu d'un disque perdu.

Les trois niveaux, avec des disques de 4 To
NiveauDisques minimumPlace utilisablePannes supportées
RAID 12Celle d'un disque : 2 disques donnent 4 To1
RAID 53Tous les disques sauf un : 3 disques donnent 8 To1
RAID 64Tous les disques sauf deux : 4 disques donnent 8 To2

Le reste de l'article suit le RAID 1, le plus lisible. Pour l'apprendre sans toucher à vos vrais disques, nous allons fabriquer de faux disques.

1Préparer de faux disques

Un fichier peut jouer le rôle d'un disque : Linux sait le présenter comme un périphérique, qu'on appelle un périphérique boucle. Nous créons des fichiers de 200 Mo, des disques pour de faux. Seuls ces fichiers seront concernés par la suite.

Installons d'abord l'outil, puis fabriquons deux faux disques. La commande truncate crée un fichier de la taille demandée, et losetup le branche comme disque.

Sur le serveur
sudo apt install -y mdadm
mkdir -p ~/essai-raid
cd ~/essai-raid
truncate -s 200M disque1.img disque2.img
D1=$(sudo losetup --find --show disque1.img)
D2=$(sudo losetup --find --show disque2.img)
echo "$D1 $D2"

La dernière ligne affiche deux noms de la forme /dev/loop0, et ces noms peuvent varier chez vous. Les variables D1 et D2, de petites mémoires nommées du terminal, gardent ces deux noms. Gardez ce terminal ouvert jusqu'à la fin de l'essai. Les disques existent, reste à les réunir en RAID.

2Créer le RAID 1 et le lire

La commande mdadm --create réunit les deux faux disques en un seul disque, /dev/md9, dont chaque donnée est écrite deux fois. Trois réglages la décrivent.

  • --level=1 choisit le miroir.
  • --raid-devices=2 annonce deux disques.
  • --run évite la question de confirmation sur le démarrage.
Sur le serveur
sudo mdadm --create /dev/md9 --level=1 --raid-devices=2 --run "$D1" "$D2"
sudo mdadm --wait /dev/md9
cat /proc/mdstat
sudo mdadm --detail /dev/md9

La création affiche une note sur le démarrage de la machine (/boot) : elle ne nous concerne pas ici. Juste après, le RAID recopie un disque sur l'autre une première fois, et --wait attend la fin de cette copie. Le fichier /proc/mdstat est le tableau de bord du RAID : le noyau y écrit l'état de chaque ensemble. Voici ce que vous lirez pour un RAID 1 sain.

Lecture de /proc/mdstat
Personalities : [raid1]
md9 : active raid1 loop1[1] loop0[0]
      203776 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Retenez la fin de la ligne de chiffres : [2/2] dit que deux disques sont attendus et deux sont là, et chaque U est un disque en marche. La commande --detail donne la même chose en phrases. Cherchez-y State : clean (le RAID est en bon état) et Failed Devices : 0 (aucun disque en panne). Mettons maintenant ce RAID à l'épreuve.

3Simuler une panne

Pour voir le RAID tenir, on déclare un disque en panne et on vérifie que les données restent lisibles. Rangeons d'abord un fichier sur le RAID. Il faut pour cela un système de fichiers, la façon dont un disque range les fichiers.

Sur le serveur
sudo mkfs.ext4 -q /dev/md9
sudo mkdir -p /mnt/essai
sudo mount /dev/md9 /mnt/essai
echo "contenu precieux" | sudo tee /mnt/essai/important.txt

Voici la suite en schéma : un disque tombe, l'autre répond seul, un troisième le remplace.

Un disque tombe en panne, un autre le remplace Trois situations. D'abord les disques A et B portent les mêmes données. Ensuite A tombe en panne, barré d'une croix, et B répond seul. Enfin A est retiré, un nouveau disque C le remplace et une barre montre la copie de B vers C. A B 1. A et B ont les mêmes données A B 2. A tombe en panne, B répond seul A B C 3. C remplace A, copie de B vers C
Texte équivalent : au début, deux disques A et B portent les mêmes données. Quand A tombe en panne, B répond seul et le serveur continue. On retire A, on branche un disque neuf C, et le RAID copie les données de B vers C.

Passons à la panne elle-même. L'option --fail déclare le disque en panne, et --remove le retire du RAID, comme on le sortirait de la machine. Lisez ensuite le fichier : il doit répondre quand même.

Sur le serveur
sudo mdadm /dev/md9 --fail "$D1"
cat /proc/mdstat
cat /mnt/essai/important.txt
sudo mdadm /dev/md9 --remove "$D1"

Dans /proc/mdstat, le disque en panne porte la marque (F), et la ligne de chiffres devient [2/1] [_U]. Le tiret bas marque le disque absent, et le RAID est alors dit dégradé : il fonctionne, mais sans filet. Votre fichier, lui, répond toujours : cat doit afficher contenu precieux. Il reste à rendre son filet au RAID.

4Remplacer le disque et reconstruire

Remplacer un disque revient à en brancher un neuf et à demander au RAID de le remplir. Fabriquons un troisième faux disque, puis ajoutons-le avec --add. La copie des données de B vers C s'appelle la reconstruction.

Sur le serveur
truncate -s 200M disque3.img
D3=$(sudo losetup --find --show disque3.img)
sudo mdadm /dev/md9 --add "$D3"
cat /proc/mdstat
sudo mdadm --wait /dev/md9
cat /proc/mdstat
sudo mdadm --detail /dev/md9

Pendant la copie, le premier /proc/mdstat contient une ligne recovery (reconstruction, en anglais) avec un pourcentage. Sur nos faux disques de 200 Mo, elle est très courte. Sur un vrai disque de plusieurs téraoctets, elle dure des heures, et le serveur reste utilisable. La commande --wait attend la fin, puis vous retrouvez [2/2] [UU] et State : clean. Le RAID est réparé. Il reste à être prévenu la prochaine fois sans regarder soi-même.

5Recevoir un courrier quand un disque tombe

mdadm surveille les RAID en fond et écrit à l'adresse de la ligne MAILADDR de son fichier de réglages. Sur Debian, cette ligne vise root au départ, le compte administrateur du serveur. Remplaçons-la par alice, la boîte de courrier du serveur lui-même, comme dans Supervision simple. Le service de surveillance, mdmonitor, ne relit ce fichier qu'au démarrage : on le redémarre.

Sur le serveur
sudo sed -i 's/^MAILADDR .*/MAILADDR alice/' /etc/mdadm/mdadm.conf
grep MAILADDR /etc/mdadm/mdadm.conf
sudo systemctl restart mdmonitor
systemctl is-active mdmonitor
Résultat attendu
MAILADDR alice
active

Pour vérifier que le message part, mdadm sait envoyer un courrier de test pour chaque RAID trouvé. Le message arrive dans /var/mail/alice, et la commande grep en affiche l'objet.

Sur le serveur
sudo mdadm --monitor --scan --oneshot --test
grep ^Subject /var/mail/alice
Résultat attendu
Subject: TestMessage event on /dev/md9:mon-serveur

Si /var/mail/alice n'existe pas, il manque la commande mail : installez-la comme dans Supervision simple. Lors d'une vraie panne, un message dont l'objet commence par DegradedArray event arrive dans la minute qui suit. L'essai est terminé : rangeons-le pour ne pas laisser de faux disques derrière nous.

6Ranger l'essai

Rangez dans l'ordre inverse de la création : démonter, arrêter le RAID, débrancher les faux disques, supprimer les fichiers.

Sur le serveur
sudo umount /mnt/essai
sudo mdadm --stop /dev/md9
sudo losetup -d "$D1" "$D2" "$D3"
cd ~
rm -r ~/essai-raid
sudo rmdir /mnt/essai

Votre machine est revenue à son état d'avant. Sur de vrais disques, les gestes sont les mêmes, avec des noms différents.

Sur de vrais disques

Repérez d'abord les disques avec lsblk, puis vérifiez deux fois leurs noms. La commande de création efface les deux disques cités. Ici ce sont /dev/sdb et /dev/sdc, deux disques vides dont vous n'avez plus besoin.

Sur le serveur
lsblk -o NAME,SIZE,MODEL,SERIAL
sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb /dev/sdc
sudo mkfs.ext4 /dev/md0
sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
sudo update-initramfs -u

La création pose deux questions. La première propose une option pour accélérer les reconstructions : répondez n. La seconde, Continue creating array, demande confirmation : répondez y. Les deux dernières lignes enregistrent le RAID dans la configuration, pour qu'il se réassemble au redémarrage. Montez ensuite /dev/md0 où vous voulez ranger vos données.

Le RAID sait réparer une panne qui s'annonce brutalement. Mais un disque prévient souvent avant de casser, si vous savez l'écouter. C'est le travail de SMART.

7Lire la santé d'un disque avec smartctl

SMART est un carnet de santé que chaque disque tient sur lui-même, et la commande smartctl le lit. Le paquet smartmontools la fournit. Cherchez le nom de votre disque avec lsblk, puis lisez son carnet. Nous prenons ici /dev/sda.

Sur le serveur
sudo apt install -y smartmontools
lsblk -d -o NAME,SIZE,MODEL
sudo smartctl -a /dev/sda

La sortie est longue, mais deux endroits comptent : le verdict en haut et la table des attributs en dessous. Chaque ligne de la table est un compteur tenu par le disque. Voici un extrait pour un disque sain, avec des valeurs d'exemple.

Exemple de lecture de smartctl -a
SMART overall-health self-assessment test result: PASSED

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   087   087   000    Old_age   Always       -       11874
194 Temperature_Celsius     0x0022   064   052   000    Old_age   Always       -       36
197 Current_Pending_Sector  0x0032   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0

Ne regardez que la dernière colonne, RAW_VALUE : c'est le vrai compteur, sans calcul du fabricant. Quatre attributs méritent votre attention.

Les attributs qui comptent
AttributCe qu'il compteSi le compteur monte
Reallocated_Sector_CtZones abîmées remplacées par des zones de réserveLe disque s'use : préparez son remplacement
Current_Pending_SectorZones douteuses qu'il n'arrive plus à lireSurveillez : s'il reste au-dessus de zéro, remplacez
Offline_UncorrectableZones illisibles trouvées pendant un testMême réponse que le précédent
UDMA_CRC_Error_CountErreurs de transmission entre le disque et la carte mèreCe n'est pas le disque : changez d'abord le câble

Un grand service de sauvegarde en ligne a suivi cinq compteurs sur près de 70 000 disques. Les trois premiers du tableau en font partie. Pour lui, un compteur au-dessus de zéro mérite une enquête. Au-dessus de zéro, 76,7 % des disques morts le montraient, contre 4,2 % des disques encore sains. Le reste, 23,3 %, est mort sans prévenir : un carnet de santé aide, il ne garantit rien. C'est une des raisons de garder des sauvegardes.

Et pour un SSD NVMe ?

Un SSD NVMe n'a pas les mêmes attributs. La commande est la même, avec le nom du disque NVMe, par exemple sudo smartctl -a /dev/nvme0. Cherchez-y le pourcentage d'usure et le compteur d'erreurs d'intégrité des données, qui jouent le rôle des compteurs ci-dessus.

Lire le carnet est un instantané. Pour qu'il soit complet, le disque doit aussi se tester lui-même.

8Lancer un test court ou long

Un disque peut se tester sans quitter le service, et il y a deux tests. Le test court prend quelques minutes et vérifie l'essentiel. Le test long lit toute la surface du disque et dure plusieurs heures sur un gros disque. Lancez le court : la commande annonce la durée, par exemple Please wait 2 minutes for test to complete. Attendez ce délai, puis lisez le journal des tests et le verdict.

Sur le serveur
sudo smartctl -t short /dev/sda
sleep 150
sudo smartctl -l selftest /dev/sda
sudo smartctl -H /dev/sda

Voici la forme du journal, avec des valeurs d'exemple. La ligne du test doit se lire Completed without error.

Exemple de lecture de smartctl -l selftest
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     11874         -

Une ligne Completed: read failure à la place veut dire que le disque n'a pas pu relire une zone : prenez-la au sérieux. Pour le test long, remplacez short par long et laissez-le travailler. Lancer ces tests à la main chaque semaine est vite oublié. Un service s'en charge pour vous.

9Laisser smartd surveiller

Le service smartd relit les compteurs en fond, lance les tests aux heures prévues et vous écrit quand un compteur se dégrade. Sur Debian, il démarre avec le paquet et lit le fichier /etc/smartd.conf. Sa ligne DEVICESCAN surveille tous les disques qu'il trouve. Nous gardons cette ligne et lui ajoutons trois réglages.

  • -a : surveiller la santé, les compteurs et les journaux d'erreurs du disque.
  • -s (S/../.././02|L/../../6/03) : un test court chaque jour à 2 h, un test long chaque samedi à 3 h (le 6 désigne le samedi).
  • -m alice : la boîte de courrier qui reçoit les alertes, à la place de root.
Sur le serveur
sudo sed -i 's#^DEVICESCAN.*#DEVICESCAN -a -d removable -n standby -s (S/../.././02|L/../../6/03) -m alice -M exec /usr/share/smartmontools/smartd-runner#' /etc/smartd.conf
grep '^DEVICESCAN' /etc/smartd.conf
sudo systemctl restart smartmontools
systemctl status smartmontools --no-pager

La ligne affichée doit être celle que vous venez d'écrire, et le service doit être active (running) sur une machine physique. Pour vérifier qu'un message part, ajoutez temporairement -M test à la fin de la ligne : smartd envoie alors un courrier de test à chaque démarrage. Retirez-le ensuite. Les alertes arrivent, reste à savoir quoi en faire.

Quand remplacer un disque

Remplacez un disque dès qu'un signe sérieux apparaît, sans attendre la panne complète. Voici les signes qui comptent.

  • Un compteur qui monte : Reallocated_Sector_Ct, Current_Pending_Sector ou Offline_Uncorrectable augmente d'un jour à l'autre.
  • Un test long raté : Completed: read failure dans le journal des tests.
  • Un verdict négatif : smartctl -H affiche FAILED.
  • Un RAID qui exclut le même disque : mdadm le marque en panne une seconde fois.

Une exception : si seul UDMA_CRC_Error_Count monte, changez le câble avant le disque. Mon avis : un disque qui a commencé à réallouer ne guérit pas, et il coûte moins cher qu'une reconstruction ratée.

Si ça échoue

  • Smartctl open device: /dev/sdz failed: No such device : le nom du disque est faux, ou le disque est virtuel. Relisez le nom avec lsblk -d.
  • losetup: disque1.img: failed to set up loop device: No such file or directory : le fichier n'existe pas là où vous êtes. Placez-vous dans ~/essai-raid avec cd ~/essai-raid, ou refaites l'étape 1.
  • mdadm: cannot open /dev/loop9: No such file or directory : le nom de faux disque n'existe pas. Refaites l'étape 1 et vérifiez avec echo "$D1 $D2".

Pour aller plus loin

Contrôle régulier du RAID et disque de réserve

Debian fournit des minuteurs mdcheck, des tâches que systemd lance à heures fixes, et qui relisent tout le RAID pour déceler des erreurs cachées. Voyez ce qui est actif sur votre machine avec systemctl list-timers 'mdcheck*'. Vous pouvez aussi ajouter un disque de plus à un RAID sain avec --add : il reste en réserve et prend la place du premier disque qui tombe.

Les autres niveaux et les autres outils

Le RAID 5 et le RAID 6 se créent comme le RAID 1, avec --level=5 ou --level=6 et le bon nombre de disques. D'autres systèmes de fichiers, comme Btrfs ou ZFS, gèrent le regroupement eux-mêmes. C'est un autre choix, avec ses propres règles.

La suite

Votre disque est maintenant doublé et surveillé, et vous savez quand le changer. Reste le cas où tout est sain mais le serveur rame, parce que le disque est trop sollicité. L'article suivant, Diagnostiquer un disque saturé, apprend à mesurer cette saturation : il vient maintenant, car on ne diagnostique bien un disque que lorsqu'on sait qu'il est en bonne santé.