TailleMax la surveillance d’un dossier du NAS
Indice NDT
(D)ifficulté : Simple, Moyenne, Complexe.
(T)emps estimé pour la réalisation.
| Utilisateur | Technicien | Expert |
| Simple | Moyenne | Complexe |
| – d’une heure | + de 5 heures | 12 heures et + |
OcM
Contexte de la réalisation.
Modalité de l’éxécution.
Dis moi quand tu arrives ou dépasses les 200 Mo !
C‘est ce que propose tout simplement ce script maison. La surveillance d’un dossier du NAS. Certes il existe la notion de quota sur nos NAS Synology mais elle est limitée aux utilisateurs et/ou à des niveaux de dossiers si le format est en BTFRS (pas EXT4).
Suite à une demande dans le forum NAS Synology, je me suis dit que cela pouvait intéresser des personnes.
C-I-P-E
Dans les onglets suivants on retrouve les éléments pour le (C)ontenu son (I)nstallation, son (P)aramètrage et enfin son (E)xploitation.
TailleMax est un script bash composé :
- du script – TailleMax
- du fichier de paramètrage – Param.txt
Le script s’appuie sur le fichier de paramètrage pour plus facilement installer et adapter le script bash à tous et dans toutes situations. (pas besoin d’un accès telnet/ssh au NAS pour installer, paramètrer et exploiter TailleMax)
Prérequis :
- Paquet PHP installé (si PhotoStation et/ou WebStation présents, alors PHP l’est aussi)
- Notification des mails paramètrée dans le panneau de configuration
On installe le script et son fichier de paramètrage dans un dossier du NAS.
Ce n’est pas le visé pour la « surveillance ».
Idéalement un dossier personnel type admin ou utilisateur (dans homes/user)
Une fois déposé et paramétré .. on y accède plus.
exemple :
un dossier spécifique dans le dossier run d’admin donc un chemin global qui peut être :
/volume1/homes/admin/run/TailleMax
C’est dans le fichier param.txt que cela se passe !
Comme son nom l’entend, il s’agit d’un fichier texte modifiable avec n’importe quel éditeur. (on évitera word…)
ATTENTION : les paramètres sont inscrits à des numéros de ligne précis. Il faut éviter les retours chariots.Que se passe-t-il si le paramètre n’est pas trouvé ou incomplet, incohérent ou à la ligne du dessous…
Un contrôle des paramètres est réalisé tant sur leur cohérence (présence d’une corbeille si souhaitée), comme aussi l’existence du dossier visé. Le traitement ne se poursuit QUE si le fichier de paramètrage est correctement renseigné. Dans le cas contraire, le fichier de trace TR_param.txt généré dans le dossier d’exécution renseigne sur les informations manquantes et/ou erronées.
Les Paramètres
– Variable : DOSS_CIB
– Dossier cible à surveiller
– Format : /volume1/depot/cargo/web
– Ligne 15
– Un contrôle est fait sur sa présence et cohérence.
#—————————————————-
– Variable : TypeTaille
– Lettre spécifiant l’unité de mesure.
(K)ilo, (M)éga, (G)iga, (T)éra, (P)éta octet.
– Format lettre unique en MAJUSCULE.
exemple : M pour Méga octet
– Ligne 25
– Contrôle de cohérence effectué.
#—————————————————-
– Variable : TailleMax
– Taille maximum atteinte ou dépassée pour l’alerte.
– Format numérique ENTIER : 200
– Ligne 35
– Un contrôle est fait sur sa cohérence.
#—————————————————-
– Variable : REP_DATA
– Dossier d’exécution du programme
– Format : /volume1/homes/moi/monscript
– Ligne 45
– Un contrôle est fait sur son existence.
#—————————————————-
– Variables : email
– Destinataire et expéditeur (suppose que le paramètrage d’envoi soit fait par avance)
– Ligne 55 et 65
– format email
– Contrôle de cohérence réalisé
#—————————————————-
Afin d’exécuter le script on l’ajoute au planificateur des tâches.
Les traces
Sont générées dans le dossier d’exécution les fichiers suivants :
– F_init
– Trace la bonne installation (paramètrage OK date d’initialisation correcte)
– Si absent il est généré à la 1ere exécution.
– TR_param.txt
– Trace la bonne interprétation des paramètres de param.txt
– Si absent est généré à chaque exécution
– Permet d’investiguer si une erreur est trouvée dans le fichier de paramètrage
– TR_traces.txt
– Traces surveillance réalisée (quota non atteint ou quota dépassé et mail envoyé)
– TR_smtp.txt
– Verification des fichiers de paramètrage d’envoi de mail.
– TR_message.txt
– Le Message constituant le mail envoyé (ou pas mais qui est toujours généré)
Démo
Le paquet
Composé de 3 fichiers
- TailleMax le script Bash – V3
- Param.txt le fichier de paramètrage à amender
- TailleMax.pdf la notice complémentaire
FAQ
Les principales questions/réponses collectées sur le sujet et/ou les éventuelles évolutions.
Ne pas ajouter ou supprimer des lignes dans un fichier est plus facile à faire lorsqu’on voit les numéros des lignes.
Il existe différents logiciels permettant de le faire comme par exemple :
- Ultraedit sous windows (existe aussi sous macOS)
- TextMate (mon préféré) sous macOS
- et sur le NAS le paquet Éditeur de texte fait le job
(cf FAQ « Modifier un fichier Texte avec le NAS »)
Il en existe plein d’autres sur internet !
Le script ne réalise pas de changement sur les éléments constituant l’environnement logiciel du NAS Synology. Il automatise une action qui peut être faite manuellement par l’utilisateur.
En conséquence, le script ne représente ni un risque de sécurité ni une atteinte aux éléments techniques et juridiques du NAS.
Dans le fichier de paramètrage on doit renseigner les chemins complets selon les volumes existants sur le NAS. Ainsi un dossier cargo dans le dossier partagé web est en fait : /volume_n (où est n est le numéro du volume)/web/cargo.
A partir de FileStation on obtient dans les propriétés du dossier ce chemin complet comme sur l’image à gauche.
Le script représente une automatisation qui ne s’appuie pas sur des fonctions de DSM. Ainsi , sauf changement d’OS et/ou de suppression de fonctions intégrées bas niveau , une MAJ du NAS n’obère pas le traitement du script.
La notification par mail s’appuie sur PHP et les paramètres de notification du NAS.
PHP est un paquet installé sous DSM avec PhotoStation et/ou WebStation mais on peut l’ajouter manuellement si nécessaire.
Aucune personnalisation supplémentaire n’est requise sur ce paquet.
La notification par mail se réalise dans le panneau de configuration en tant qu’administrateur et permet de s’assurer (par l’envoi d’un mail de test) que les paramètres sont correctement renseignés.
Ce sont les prérequis pour que l’alerte par mail puisse être opérationnelle avec ce script.
TailleMax n’est pas une surveillance en « temps réel » de l’évolution du dossier concerné.
Selon la planification de l’exécution de TailleMax (toutes les heures, tous les jours…) l’e-mail d’alerte arrive en constat de la comparaison [Taille du Dossier] versus TailleMax.
On peut s’en rapprocher, selon la vitesse de croissance du dossier, en réduisant au minimum la fréquence d’exécution (toutes les 5 minutes par exemple).
Cependant, afin d’éviter le spam d’alerte, si le process a une fréquence inférieure à la journée, seul un mail par jour est envoyé.
(lors du premier constat d’atteinte et/ou de dépassement de la taille maximum autorisée.)
Pour pouvoir modifier un fichier texte directement depuis File Station sous DSM sur un NAS Synology, il faut ajouter le paquet Editeur de Texte (section utilitaire dans l’ajout des paquets).
Par la suite sous File Station, bouton droit sur un fichier texte permet son ouverture pour modification.
Pratique on peut ajouter les n° des lignes et ainsi mieux gérer les modifications dans le fichier de paramètrage.
Attention à la page de code (en général il faut une page de code UTF-8).
Par défaut la fonction utilisée DU renvoie la taille en octets. Par ailleurs, quelque soit l’unité de mesure utilisée, l’affichage est en entier. Plus l’unité est élevée (Méga, Giga..) plus les petits dossiers sont faussement annoncés à 1M parce qu’ils ont une taille supérieur à 0 mais inférieure au Méga si c’est le Méga qui est utilisé.
Cet inconvénient est présent en affichage dans le mail de notification dans la liste des dossiers contenu dans le dossier principal; mais c’est bien par rapport à la TailleMax définie dans le fichier de paramètrage que tout le dossier est correctement comptabilisé.
Pas question d’ouvrir le débat entre « j’ai le droit de le faire » versus « ça ne se fait pas ».
Le postulat pour mes scripts, est de pouvoir traiter les sous-dossiers et/ou fichiers présents avec ou sans espace.
(exception faite du dossier de surveillance principal qui ne doit de ne pas avoir d’espace – contrôle réalisé -)
Au delà à chacun son école…
Personnellement je m’interdis les espaces et les caractères spéciaux dans les noms des fichiers et dossiers, un peu comme la méthode préconisée par et l’université de Lausanne par exemple.
Le dossier homes sur un NAS Synology contient le home de chaque utilisateur du NAS. Sauf à se connecter avec un utilisateur du groupe Administrator (ou d’en avoir expressément ajouter les droits), un utilisateur ne voit QUE son home et jamais le dossier homes contenant les dossiers des autres utilisateurs.
L’exécution d’un script « maison » est réalisée avec des droits d’administrateurs. (dans le planificateur des tâches).
C’est pourquoi, sauf sur site distant, pointer un dossier home d’un utilisateur dans le fichier de paramètrage, param.txt, doit être écrit en tenant compte de l’arborescence complète.
Pour le paramètrage en local, la syntaxe « arborescence complète » se présente ainsi :
→ Exemple local : utilisateur toto son home en local est sur le /volumex(x=1 à n selon le nombre de volume présent)/homes/toto.
Dans le cadre de SyncDoss, la connexion au site distant ne se réalise pas avec les mêmes prérogatives (et c’est normal).
→ Exemple distant : pour mon utilisateur toto son home en local sur le site distant est sur le /home/toto.
Cette fois-ci , je me connecte en tant que toto, mon home dans le fichier de paramétrage, param.txt, est à écrire avec l’arborescence simplifiée.
Un shell est un programme qui fait office d’interface entre vous et l’ordinateur sous la forme d’un interpréteur de commandes.
Le Shell est le programme qui fait office entre nous et l’ordinateur. C’est l’intrèpréteur de commandes de base sous le système d’exploitation. Sous linux/Unix il en existe plusieurs :
- Almquist shell (ash) : écrit en remplacement du Bourne Shell, sous licence BSD ; souvent utilisé dans des environnements aux ressources limitées. Les sh de FreeBSD, NetBSD (et leurs dérivés) sont basés sur des cendres qui ont été améliorées pour être conformes à POSIX. (présent sur le NAS Synology)
- Bourne Shell (sh) : Le shell Bourne était le shell par défaut de la version 7 d’Unix. De nombreux systèmes de type Unix continuent à avoir /bin/sh – qui est l’interpréteur de commandes Bourne, ou un lien (symbolique ou en dur) vers un interpréteur de commandes compatible. (par défaut sur le NAS Synology)
- Bourne-Again shell (bash) : écrit dans le cadre du projet GNU pour fournir un sur-ensemble de fonctionnalités du Bourne Shell. Ce shell est souvent pré-installé et est le shell interactif par défaut pour les utilisateurs sur la plupart des systèmes Linux et macOS (jusqu’à Catalina macOS 10.15)
- C shell (csh) : Shell Unix créée par Bill Joy alors qu’il était étudiant à l’Université de Californie, Berkeley, à la fin des années 1970. Il a été largement distribué, à commencer par la version 2BSD de la Berkeley Software Distribution (BSD) pour la première fois en 1978.
- Debian Almquist shell (dash) : un remplacement moderne du shell ash dans Debian et Ubuntu
- Korn shell (ksh) : écrit par David Korn à partir des sources du shell Bourne alors qu’il travaillait aux Bell Labs
- Public domain Korn shell (pdksh) : Shell Unix qui a été développé par David Korn aux Bell Labs au début des années 1980 et annoncé sur USENIX le 14 juillet 1983. Le développement initial était basé sur le code source du shell Bourne.
- MirBSD Korn shell (mksh): un descendant du ksh d’OpenBSD et de pdksh, développé dans le cadre de MirOS BSD
- TENEX Shell (tcsh): Shell Unix basé sur et compatible avec csh. Il s’agit essentiellement d’un interpréteur de commandes C avec une complétion en ligne de commande programmable, une édition en ligne de commande et quelques autres fonctionnalités. Il s’agit de l’interpréteur de commandes racine natif pour les systèmes basés sur BSD comme FreeBSD.
- Z shell (zsh): une coquille relativement moderne qui est rétrocompatible avec le bash. C’est le shell par défaut dans macOS depuis la version 10.15 de Catalina . Présent aussi sur le NAs Synology DSM6.
Quel shell ai-je par défaut ?
D’autres SHELL présents ?
Changer le shell par défaut ?
Sortir du mode Terminal et se reconnecter pour constater que désormais c’est ce shell qui est appliqué par défaut.
Bonjour Daffy,
Je viens de faire la dernière mise à jour et cela fonctionne parfaitement !
Merci beaucoup pour ce script et pour le tutoriel absolument impéccable !
Bravo !
Bravo pour le travail réalisé et la simplicité de mise en oeuvre.
ça fonctionne comme je le souhaitai.
Cette capacité n’est offerte en natif, que sur des disque formatés en Btrfs (et encore sur un dossier mais pas forcément sur la granularité que je veux) sur nos NAS Synology mais je suis en EXT4; (que je juge plus rapide d’ailleurs).
Bref c’est nickel sans que je poursuive sur les voies du SSH et autre accès au système du NAS qu’on me proposait.
Merci
Il ne se passe rien lorsque j’exécute la tâche. Pourtant, j’ai bien vérifié les paramètres
Bonjour,
j’ai bien lu votre commentaire, mais il me manque des informations.
Pouvez vous m’envoyer votre fichier de paramètrage param.txt
ou le mettre en partage via fileStation ce qui est encore plus simple.
Je regarderai votre paramètrage et votre arborescence afin de simuler sur mon NAS une situation quasi similaire.
Merci
Bonjour Yann
Merci, de votre réponse
Je n’avais pas mis le dossier TailleMax dans Home.
Je viens de le faire et ça a fonctionné. C’est possible de le placer ailleurs que dans Home ?
Bonjour,
je viens de faire ce test :
– dossier d’exécution du NAS : /volume2/DL/Appli/TailleMax
– dossier à surveiller : /volume2/web/test
– Taille à surveiller max : 150M
1ère exécution OK traces, OK pas de mail dossier taille < à limite fixée Puis chargement dossier test de web + de 450 M re exécution mail envoyé pour signaler dépassement.
Cordialement,
DaffY