Supervision simple
Comment surveiller son serveur Linux simplement, sans passer ses soirées à regarder des courbes ? Cinq vérifications, un petit script, et un message dans la boîte de courrier du serveur seulement quand quelque chose change.
- Parcours
- Tutoriel 30 sur 35
- Durée
- 40 min de lecture
- Vérifié avec
- Debian 13.7 (trixie), systemd 257, OpenSSL 3.5.7, cron 3.0pl1
Ce que vous saurez faire
- Lire la charge, la mémoire, le disque et les services en échec avec cinq commandes.
- Savoir quand un certificat HTTPS va expirer.
- Installer un script qui vérifie tout cela et écrit dans la boîte du serveur seulement quand la situation change.
- Le lancer toutes les 5 minutes avec cron.
Avant de commencer : Lire les journaux, Première sauvegarde avec rsync, Mises à jour et paquets.
Sommaire
Cinq questions à poser à votre serveur
Pour surveiller son serveur Linux simplement, il suffit de cinq questions : est-il débordé, a-t-il encore de la mémoire, de la place sur son disque, des services en panne, des certificats qui vont expirer ? Un serveur qui répond « non » aux cinq va bien. Votre serveur tourne depuis plusieurs articles, et personne ne vous prévient quand il tombe en panne : vous le découvrez le jour où un site ne s'ouvre plus.
Nous allons d'abord poser chaque question à la main, avec une commande. Puis nous mettrons les cinq dans un petit script que le serveur lance tout seul. Il écrira seulement quand la réponse change, pas toutes les cinq minutes pour dire que tout va bien. Ses messages arrivent dans la boîte de courrier du serveur lui-même : un fichier que l'on lit en se connectant, pas votre messagerie habituelle. L'étape 6 montre comment le lire. Les recevoir ailleurs demande un réglage que nous n'avons pas testé : il tient dans une section repliée de l'étape 6, à prendre comme une piste.
1La charge
La charge dit si le processeur est débordé, et la commande uptime l'affiche avec la durée depuis le dernier démarrage. Le processeur est la puce qui exécute les programmes, et chacun de ses cœurs traite un travail à la fois. Pensez aux caisses d'un supermarché : deux cœurs, deux caisses.
uptime 10:12:01 up 12 days, 3:04, 1 user, load average: 0.15, 0.10, 0.08Les trois nombres après load average sont la charge : le nombre moyen de travaux qui occupent une caisse ou attendent dans la file, sur la dernière minute, les 5 dernières et les 15 dernières. Ici, 0,15 est presque rien. Pour savoir si un nombre est grand, comparez-le au nombre de cœurs.
nproc2Avec 2 cœurs, une charge de 2 signifie des caisses toutes occupées et personne dans la file. Au-delà de 4, soit le double, la file s'allonge pour de bon : c'est notre seuil d'alerte, que l'étape 5 apprend à changer. Reste la mémoire et le disque, qui se remplissent plus discrètement.
2La mémoire et le disque
La mémoire et le disque se vérifient avec free et df, et la bonne colonne est celle qui dit ce qui reste. La mémoire vive est la place de travail des programmes en cours : elle se vide à l'arrêt, contrairement au disque, qui garde vos fichiers.
free -h total used free shared buff/cache available
Mem: 3.8Gi 512Mi 2.4Gi 1.0Mi 1.1Gi 3.3Gi
Swap: 1.0Gi 0B 1.0GiRegardez available, la mémoire que les programmes peuvent encore obtenir. Linux garde les fichiers récemment lus en réserve (buff/cache) et la rend dès qu'il en faut, donc free paraît toujours petit sans que ce soit grave. Ici, 3,3 Gi sur 3,8 Gi sont disponibles. Nous alerterons sous 10 % du total.
df -h /Filesystem Size Used Avail Use% Mounted on
/dev/vda1 40G 9.8G 28G 26% /La colonne Use% donne la part du disque utilisée : 26 % ici. Un disque plein est la panne la plus sournoise, car les programmes cessent d'écrire sans prévenir. Nous alerterons à 85 %, ce qui laisse le temps de faire du ménage. Vos chiffres seront différents de ceux de l'exemple, c'est normal. La machine est examinée : voyons maintenant les programmes qu'elle fait tourner.
3Les services en échec
Un service qui s'est arrêté sur une erreur est listé par systemctl --failed. Un service est un programme que Debian lance et surveille pour vous, comme Apache ou ssh. Quand l'un d'eux plante et ne repart pas, il passe en « failed ». Sur un serveur sain, la liste est vide.
systemctl --failed UNIT LOAD ACTIVE SUB DESCRIPTION
0 loaded units listed.Pour voir à quoi ressemble une panne, fabriquons-en une. La commande suivante lance un service de démonstration, demo-panne, qui exécute /bin/false, un programme dont le seul métier est d'échouer.
sudo systemd-run --unit=demo-panne /bin/falseRunning as unit: demo-panne.service; invocation ID: c498f0594eac4b93aa70299f854f189fL'identifiant change à chaque lancement. Demandons la liste en version compacte, sans l'en-tête, avec --no-legend et --plain : c'est la forme que notre script lira.
systemctl --failed --no-legend --plaindemo-panne.service loaded failed failed [systemd-run] /bin/falseLe premier mot est le nom du service en échec, et c'est lui que le script retiendra. Laissez demo-panne en place : il nous servira à tester l'alerte. Un dernier sujet ne dépend pas de la machine mais du calendrier : le certificat HTTPS.
4Les certificats
Un certificat expiré fait afficher un grand écran d'alerte rouge à vos visiteurs, et la commande openssl lit sa date de fin. Le certificat est le fichier qui prouve l'identité de votre site en HTTPS. Celui de HTTPS avec Let's Encrypt vit dans /etc/letsencrypt/live/, dans un dossier qui porte le nom de votre domaine, et dure 90 jours. Dans nos commandes, exemple.fr est un nom d'essai : remplacez-le par le vôtre. Pour le retrouver, listez ce dossier.
sudo ls /etc/letsencrypt/live/exemple.frDemandons maintenant sa date de fin au certificat.
sudo openssl x509 -enddate -noout -in /etc/letsencrypt/live/exemple.fr/fullchain.pemnotAfter=Feb 3 07:22:47 2027 GMTVotre date sera la vôtre. Pour que le script n'ait pas à calculer des jours, l'option -checkend pose la question à OpenSSL : « ce certificat sera-t-il encore valable dans 14 jours ? ». Le nombre est en secondes, et 14 jours font 1 209 600 secondes.
sudo openssl x509 -checkend 1209600 -noout -in /etc/letsencrypt/live/exemple.fr/fullchain.pemCertificate will not expireSi la réponse devient Certificate will expire, la commande échoue avec un code de retour non nul, ce que le script saura lire. Certbot renouvelle un certificat quand il lui reste un tiers de sa durée, soit 30 jours pour 90, et il essaie deux fois par jour. Un certificat qui n'a toujours pas été renouvelé à 14 jours de la fin a donc raté deux semaines d'essais : le renouvellement automatique est cassé, et il reste assez de temps pour le réparer. Les cinq questions sont posées : il est temps de les réunir.
5Tout réunir dans un script
Un script est un fichier texte qui contient des commandes lancées l'une après l'autre. Le nôtre, supervise.sh, refait les cinq vérifications et retient chaque problème dans une liste. Il tient en 58 lignes et suit quatre temps : les seuils et le destinataire en haut, les cinq vérifications, la comparaison avec le dernier passage, puis l'envoi du message. Vous n'avez pas à tout lire : le script entier est replié plus bas pour qui veut vérifier ce qu'il installe, et ces lignes clés suffisent pour s'y repérer.
DEST="alice": le compte qui reçoit les messages.MAX_DISQUE=${MAX_DISQUE:-85}: « prendre la valeur deMAX_DISQUEsi elle existe, sinon 85 ». On change le seuil en modifiant ce nombre.probleme nom "message": ajoute un problème à la liste, avec un nom court et une phrase pour l'expliquer.awk -v c="$charge":awkest un petit programme de calcul, et-vlui passe une valeur, ici la charge, à comparer au seuil.$((JOURS_CERT * 86400)): un calcul en secondes, car un jour en compte 86 400.ETAT: le fichier où le script note la liste des problèmes du dernier passage.exit 0: quitter sans rien dire quand la liste n'a pas changé.
Lire le script avant de l'installer
#!/bin/sh
# Surveille le serveur et ecrit a DEST seulement quand la situation change.
DEST="alice"
ETAT=/var/lib/supervise/etat
MAX_DISQUE=${MAX_DISQUE:-85}
MIN_MEMOIRE=${MIN_MEMOIRE:-10}
JOURS_CERT=${JOURS_CERT:-14}
CHARGE_PAR_COEUR=${CHARGE_PAR_COEUR:-2}
cles=""
details=""
probleme() {
cles="$cles$1;"
details="$details$2
"
}
# Charge : plus de CHARGE_PAR_COEUR fois le nombre de coeurs.
charge=$(cut -d ' ' -f 1 /proc/loadavg)
awk -v c="$charge" -v n="$(nproc)" -v f="$CHARGE_PAR_COEUR" 'BEGIN { exit !(c > f * n) }' &&
probleme charge "Charge elevee : $charge pour $(nproc) coeurs"
# Memoire disponible, en pourcentage du total.
libre=$(free | awk '/^Mem:/ { print int($7 * 100 / $2) }')
[ "$libre" -lt "$MIN_MEMOIRE" ] && probleme memoire "Memoire disponible : $libre %"
# Disques pleins.
pleins=$(df -P -x tmpfs -x devtmpfs | awk -v max="$MAX_DISQUE" 'NR > 1 && int($5) >= max { print $6 "=" $5 }')
for p in $pleins; do
probleme "disque-${p%=*}" "Disque plein : ${p%=*} a ${p#*=}"
done
# Services en echec.
for u in $(systemctl --failed --no-legend --plain | awk '{ print $1 }'); do
probleme "service-$u" "Service en echec : $u"
done
# Certificats Let's Encrypt qui expirent bientot.
for c in /etc/letsencrypt/live/*/fullchain.pem; do
[ -e "$c" ] || continue
openssl x509 -checkend $((JOURS_CERT * 86400)) -noout -in "$c" > /dev/null ||
probleme "cert-$c" "Certificat bientot expire : $c ($(openssl x509 -enddate -noout -in "$c"))"
done
# Alerte seulement si la liste des problemes a change depuis le dernier passage.
mkdir -p "$(dirname "$ETAT")"
[ "$cles" = "$(cat "$ETAT" 2>/dev/null)" ] && exit 0
if [ -n "$cles" ]; then
sujet="ALERTE $(hostname)"
corps=$details
else
sujet="OK $(hostname) : retour a la normale"
corps="Plus aucun probleme."
fi
printf '%s\n' "$corps" | mail -s "$sujet" "$DEST" || exit 1
printf '%s' "$cles" > "$ETAT"
logger -t supervise "$sujet"
Chaque vérification suit le même moule : si quelque chose cloche, elle appelle probleme avec un court nom et un message. Le nom (memoire, disque-/, service-demo-panne.service) identifie le problème, le message l'explique. Quatre seuils se règlent en haut du fichier : MAX_DISQUE=85 (pour cent), MIN_MEMOIRE=10 (pour cent), JOURS_CERT=14 et CHARGE_PAR_COEUR=2, la charge d'alerte par cœur : 2 donne 4 pour une machine à 2 cœurs. Une fois le script installé, ouvrez-le avec sudo nano /usr/local/bin/supervise.sh et changez le nombre qui suit :- ; rien d'autre n'est à toucher. Le script a aussi besoin de la commande mail, que l'outil apt de Mises à jour et paquets installe. Ensuite, téléchargez le script.
sudo apt install -y bsd-mailx
sudo curl -fsSo /usr/local/bin/supervise.sh https://anime-sanctuary.net/tutoriels/supervision-simple/files/supervise.sh
sudo chmod 755 /usr/local/bin/supervise.shLe paquet bsd-mailx fournit la commande mail et un petit serveur de courrier, le programme qui range et envoie les messages. Un écran de configuration en anglais peut s'afficher et demander quel type de courrier installer. Choisissez la ligne local delivery only; not on a network, « livraison locale seulement » : les messages restent sur ce serveur, ce qu'il nous faut pour commencer. Si l'écran diffère ou ne s'affiche pas, prenez l'option qui parle de livraison locale seulement. Pour éviter l'écran, installez avec la commande ci-dessous : elle choisit d'office cette livraison locale, que la seconde commande confirme. Dans le script, DEST="alice" désigne la boîte de l'utilisateur alice, sur le serveur lui-même.
sudo DEBIAN_FRONTEND=noninteractive apt install -y bsd-mailx
grep configtype /etc/exim4/update-exim4.conf.confdc_eximconfig_configtype='local'Essayons le script : sur un serveur sain, il ne doit rien dire.
Mais le service demo-panne de l'étape 3 est encore en échec. Effaçons-le d'abord pour partir d'un serveur sain.
sudo systemctl reset-failed demo-panne.service
sudo /usr/local/bin/supervise.sh
echo "code de retour : $?"code de retour : 0Le silence est la bonne réponse : aucun problème, donc aucun message. Le code 0 veut dire « terminé sans erreur ». Voyons maintenant ce qui se passe quand ça tombe en panne.
6Alerter seulement quand ça change
Le script écrit à la première panne et au retour à la normale, mais jamais entre les deux. Il garde la liste des problèmes du dernier passage dans /var/lib/supervise/etat et la compare à la nouvelle liste. Si elles sont identiques, il s'arrête sans rien dire.
Un script qui écrirait à chaque passage en panne enverrait trois alertes (10 h 10, 10 h 15, 10 h 20) puis le message de retour : quatre. Le nôtre n'en envoie que deux, et l'écart grandit avec la durée de la panne : une alerte répétée toutes les cinq minutes finit ignorée. Rejouons ce scénario avec notre service de démonstration. Recréons la panne, puis lançons le script deux fois.
sudo systemd-run --unit=demo-panne /bin/false
sudo /usr/local/bin/supervise.sh
sudo /usr/local/bin/supervise.sh
sudo grep -E '^(Subject|Service)' /var/mail/aliceRunning as unit: demo-panne.service; invocation ID: 1d7a5f0cb4e24a0d8a3b9f6e2c5d7a10
Subject: ALERTE mon-serveur
Service en echec : demo-panne.serviceLa livraison prend une à deux secondes : si le dernier grep ne montre rien, relancez-le. Deux passages, un seul message : le premier a alerté, le second a vu la même liste et s'est tu. Le nom de votre serveur remplacera mon-serveur. Réparons maintenant la panne et relançons le script.
sudo systemctl reset-failed demo-panne.service
sudo /usr/local/bin/supervise.sh
sudo grep -E '^(Subject|Plus)' /var/mail/aliceSubject: ALERTE mon-serveur
Subject: OK mon-serveur : retour a la normale
Plus aucun probleme.Le second message est arrivé dès que la liste est redevenue vide. Chaque message est aussi noté dans le journal, ce qui vous donne un historique, comme dans Lire les journaux.
sudo journalctl -t supervise --no-pagerNov 05 07:22:44 mon-serveur supervise[950]: ALERTE mon-serveur
Nov 05 07:22:45 mon-serveur supervise[977]: OK mon-serveur : retour a la normaleCes messages arrivent dans la boîte de courrier locale d'alice sur le serveur, le fichier /var/mail/alice que lisaient les commandes grep ci-dessus. Pour la lire plus confortablement, connectez-vous en alice et tapez mail : la liste des messages s'affiche, 1 puis Entrée ouvre le premier, q quitte.
mailMail version 8.1.2 01/15/2001. Type ? for help.
"/var/mail/alice": 1 message 1 new
>N 1 root@mon-serveur Thu Nov 05 08:09 20/616 ALERTE mon-serveurCette boîte reste sur le serveur : l'alerte ne vous trouvera pas toute seule. Tant que vous ne la redirigez pas, il faut penser à la lire.
Recevoir l'alerte dans votre vraie messagerie
Pour cela, le serveur doit savoir envoyer du courrier vers l'extérieur. Nous n'avons pas essayé cette partie, voici donc la piste sans les détails. Le paquet de l'étape 5 a installé Exim, son programme de courrier. La commande sudo dpkg-reconfigure exim4-config rouvre l'écran de réglage : choisissez mail sent by smarthost; received via SMTP or fetchmail, « courrier envoyé par un relais », puis donnez le serveur d'envoi et le compte que votre fournisseur de messagerie indique. Un fichier .forward dans le dossier d'alice, qui contient votre adresse, renvoie ensuite tout ce qui arrive.
L'autre voie : remplacer la ligne mail du script par l'envoi vers le service de notification de votre choix. Le reste du script ne change pas.
Les deux messages sont partis au bon moment. Il reste à laisser le serveur lancer tout cela sans vous.
7Le lancer toutes les 5 minutes
Cron lance le script à votre place, comme pour la sauvegarde de Première sauvegarde avec rsync. Ce script concerne tout le serveur, pas un seul utilisateur : on le déclare donc dans le dossier /etc/cron.d/, où chaque ligne nomme l'utilisateur qui exécute la commande, ici root. Les cinq premiers champs, */5 * * * *, signifient « toutes les 5 minutes ».
echo '*/5 * * * * root /usr/local/bin/supervise.sh' | sudo tee /etc/cron.d/supervise*/5 * * * * root /usr/local/bin/supervise.shCron relit ce dossier tout seul, sans redémarrage. Pour vérifier qu'il lance bien le script, attendez 5 minutes puis cherchez sa trace dans le journal.
sudo journalctl -u cron --since "10 minutes ago" --no-pager | grep superviseNov 05 07:19:01 mon-serveur CRON[597]: (root) CMD (/usr/local/bin/supervise.sh)
Nov 05 07:24:01 mon-serveur CRON[641]: (root) CMD (/usr/local/bin/supervise.sh)Une ligne par passage : la surveillance tourne. Plus rien à faire, sauf lire la boîte du serveur de temps en temps, ou la rediriger comme dans la section repliée de l'étape 6.
Utiliser un minuteur systemd à la place de cron
Un minuteur (timer) est la version systemd de cron : deux petits fichiers, un qui décrit la tâche et un qui décrit l'horaire. Son avantage : chaque passage laisse une trace dans le journal. Créez /etc/systemd/system/supervise.service et /etc/systemd/system/supervise.timer, puis activez le minuteur.
sudo tee /etc/systemd/system/supervise.service <<'EOF'
[Unit]
Description=Verification de sante du serveur
[Service]
Type=oneshot
ExecStart=/usr/local/bin/supervise.sh
EOF
sudo tee /etc/systemd/system/supervise.timer <<'EOF'
[Unit]
Description=Lance supervise toutes les 5 minutes
[Timer]
OnCalendar=*:0/5
[Install]
WantedBy=timers.target
EOF
sudo systemctl daemon-reload
sudo systemctl enable --now supervise.timerN'utilisez pas les deux en même temps : supprimez /etc/cron.d/supervise si vous passez au minuteur. Voyez la liste avec systemctl list-timers supervise.timer.
Si ça échoue
mail: not found: la commandemailmanque. Installezbsd-mailx, comme à l'étape 5.mkdir: cannot create directory '/var/lib/supervise': Permission denied: le script a été lancé sanssudo. Il a besoin des droits de root pour écrire son fichier d'état.Could not open file or uri for loading certificate: le nom de domaine de votre commandeopenssln'est pas le bon. Relancezsudo ls /etc/letsencrypt/live/et reprenez le nom affiché.- Le script ne dit rien : c'est normal. Aucune sortie veut dire aucun changement. Pour forcer un message, recréez la panne de démonstration de l'étape 3.
Voici le message complet quand mail manque : le script s'arrête sans enregistrer son état, donc il réessaiera au passage suivant.
sudo /usr/local/bin/supervise.sh/usr/local/bin/supervise.sh: 55: mail: not foundPour aller plus loin
Les outils tout faits
Quand votre parc grandit, des outils font le même travail avec des graphiques et des alertes plus riches. Ils demandent plus de mémoire et plus de réglages que notre script de 58 lignes.
- Monit : surveille des services et des fichiers, et peut relancer un service tombé.
- Netdata : affiche en direct des centaines de courbes sur une page web.
- Prometheus avec node_exporter : garde l'historique des mesures de plusieurs machines pour les comparer.
Un seul serveur n'en a pas besoin pour commencer. Mon avis : ajoutez un de ces outils le jour où vous vous demandez « depuis quand ça dure ? » et que le script ne sait pas répondre.
La suite
Votre serveur écrit maintenant dans sa boîte de courrier quand un disque se remplit, qu'un service tombe ou qu'un certificat vieillit, et vous pouvez rediriger ces messages vers votre messagerie. Savoir qu'une panne arrive ne sauve pas vos fichiers si le disque lâche. L'article suivant, Sauvegardes chiffrées avec restic, ajoute des sauvegardes chiffrées et versionnées : le filet qui reste quand l'alerte arrive trop tard.