Menage
Indice NDT
(D)ifficulté : Simple, Moyenne, Complexe.
(T)emps estimé pour la réalisation.
| Utilisateur | Technicien | Expert |
| Simple | Moyenne | Complexe |
| – d’une heure | + de 5 heures | 12 heures et + |
OcM
Contexte de la réalisation.
Modalité de l’éxécution.
Faire place nette ! Trop souvent on oublie et on laisse passer le temps jusqu’à ce jour où il faut s’attaquer à ce fameux ménage des fichiers à supprimer dans un dossier. Typiquement le dossier « download / téléchargement » est un exemple adapté. La perle rare est isolée et déplacée vers un autre quant au reste… Menage a pour vocation d’appliquer ce nettoyage de fond en s’appuyant sur la dernière date de modification. Le principe est :
« si tu es là depuis x jours dans ce dossier, c’est tu n’as pas vocation à y rester ! »
C-I-P-E
Dans les onglets suivants on retrouve les éléments pour le (C)ontenu son (I)nstallation, son (P)aramètrage et enfin son (E)xploitation.
Menage est un script bash composé :
- du script – Menage
- du fichier de paramètrage – Param.txt
Le script s’appuie sur le fichier de paramètrage pour plus facilement installer et adapter le script bash à tous et dans toutes situations. (pas besoin d’un accès telnet/ssh au NAS pour installer, paramètrer et exploiter Menage)
Prérequis :
- Paquet PHP installé (si PhotoStation et/ou WebStation présents, alors PHP l’est aussi)
- Notification des mails paramètrée dans le panneau de configuration
On installe le script et son fichier de paramètrage dans un dossier du NAS.
Ce dossier n’est pas le dossier visé pour le « nettoyage ».
Idéalement un dossier personnel type admin ou utilisateur (dans homes/user)
Une fois déposé et paramétré .. on y accède plus.
exemple :
un dossier spécifique dans le dossier run d’admin donc un chemin global qui peut être :
/volume1/homes/admin/run/menage
C’est dans le fichier param.txt que cela se passe !
Comme son nom l’entend, il s’agit d’un fichier texte modifiable avec n’importe quel éditeur. (on évitera word…)
ATTENTION : les paramètres sont inscrits à des numéros de ligne précis. Il faut éviter les retours chariots.Que se passe-t-il si le paramètre n’est pas trouvé ou incomplet, incohérent ou à la ligne du dessous…
Un contrôle des paramètres est réalisé tant sur leur cohérence (présence d’une corbeille si souhaitée), comme aussi l’existence du dossier visé. Le traitement ne se poursuit QUE si le fichier de paramètrage est correctement renseigné. Dans le cas contraire, le fichier de trace TR_param.txt généré dans le dossier d’exécution renseigne sur les informations manquantes et/ou erronées.
Les Paramètres
– Variable : DOSS_CIB
– Dossier cible à nettoyer
– Format : /volume1/depot/cargo/web
– Ligne 15
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS
#—————————————————-
– Variable : DT_MEN
– Nombre de jours depuis la dernière modification
– Format numérique entier : 10
– Ligne 25
– Contrôle de cohérence effectué.
#—————————————————-
– Variable : REP_DATA
– Dossier d’exécution du programme
– Format : /volume1/homes/moi/monscript
– Ligne 35
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS
#—————————————————-
– Variables : email
– Destinataire et expéditeur (suppose que le paramètrage d’envoi soit fait par avance –)
– Ligne 45 et 55
– format email
– Contrôle de cohérence réalisé
#—————————————————-
– Variable : CORB
– Format : chemin de la corbeille concernée, type /volume1/web/#reclycle
– Ligne : 65
– Un contrôle est fait sur son existence
#—————————————————-
– Variable PCC (prise en charge corbeille)
– Même si corbeille présente, permet de dire si on l’utilise ou pas avec Menage
– Valeur numérique : 1 oui 0 non
– Ligne 75
– Contrôle de cohérence fait sur sa justification.
#—————————————————-
A noter : En général la corbeille est située à la racine du dossier visé sauf pour HOMES où, si activée, elle se trouve à la racine de chaque utilisateur concerné.
Afin d’exécuter le script on l’ajoute au planificateur des tâches.
Les traces
Sont générées dans le dossier d’exécution les fichiers suivants :
– F_init
– Trace la bonne installation (paramètrage OK date d’initialisation correcte)
– Si absent il est généré à la 1ere exécution.
– TR_param.txt
– Trace la bonne lecture et interprétation des paramètres de param.txt
– Si absent est généré à chaque exécution (si changement de paramètrage param.txt)
– Permet d’investiguer si une erreur est trouvée dans le fichier de paramètrage
– TR_ficsuppr
– Liste des fichiers nettoyés (déplacés/supprimés)
– TR_smtp.txt
– Vérification des fichiers de paramétrage d’envoi de mail.
– TR_message.txt
– Le Message constituant le mail envoyé (ou pas mais qui est toujours généré)
Démo
Pour des raisons de confidentialité Vimeo a besoin de votre autorisation pour charger. Pour plus de détails, veuillez consulter nos cookies.
Le paquet
Composé de 3 fichiers
- Menage le script Bash – V2.1
- Param.txt le fichier de paramètrage à amender
- Menage pdf la notice complémentaire
FAQ
Les principales questions/réponses collectées sur le sujet et/ou les éventuelles évolutions.
Ne pas ajouter ou supprimer des lignes dans un fichier est plus facile à faire lorsqu’on voit les numéros des lignes.
Il existe différents logiciels permettant de le faire comme par exemple :
- Ultraedit sous windows (existe aussi sous macOS)
- TextMate (mon préféré) sous macOS
- et sur le NAS le paquet Éditeur de texte fait le job
(cf FAQ « Modifier un fichier Texte avec le NAS »)
Il en existe plein d’autres sur internet !
Le script ne réalise pas de changement sur les éléments constituant l’environnement logiciel du NAS Synology. Il automatise une action qui peut être faite manuellement par l’utilisateur.
En conséquence, le script ne représente ni un risque de sécurité ni une atteinte aux éléments techniques et juridiques du NAS.
Le script déplace/supprime des fichiers.
Par sécurité les dossiers Volume_n (où n peut selon le type de NAS varier de 1 à 8…) et de 1er niveau sur un NAS Synology (souvent dossiers partagés) ne sont pas autorisés.
Seul un niveau comme suit /volume_n/dossier_niv1/dossier_autorisé est possible.
La sécurité est ainsi assurée notamment en ce qui concerne le dossier HomeS. Une vérification d’existence du dossier en sus de son autorisation est réalisée à la lecture du fichier de paramètrage.
Dans le fichier de paramètrage on doit renseigner les chemins complets selon les volumes existants sur le NAS. Ainsi un dossier cargo dans le dossier partagé web est en fait : /volume_n (où est n est le numéro du volume)/web/cargo.
A partir de FileStation on obtient dans les propriétés du dossier ce chemin complet comme sur l’image à gauche.
Le script représente une automatisation qui ne s’appuie pas sur des fonctions de DSM. Ainsi , sauf changement d’OS et/ou de suppression de fonctions intégrées bas niveau , une MAJ du NAS n’obère pas le traitement du script.
Pour pouvoir modifier un fichier texte directement depuis File Station sous DSM sur un NAS Synology, il faut ajouter le paquet Editeur de Texte (section utilitaire dans l’ajout des paquets).
Par la suite sous File Station, bouton droit sur un fichier texte permet son ouverture pour modification.
Pratique on peut ajouter les n° des lignes et ainsi mieux gérer les modifications dans le fichier de paramètrage.
Attention à la page de code (en général il faut une page de code UTF-8).
La notification par mail s’appuie sur PHP et les paramètres de notification du NAS.
PHP est un paquet installé sous DSM avec PhotoStation et/ou WebStation mais on peut l’ajouter manuellement si nécessaire.
Aucune personnalisation supplémentaire n’est requise sur ce paquet.
La notification par mail se réalise dans le panneau de configuration en tant qu’administrateur et permet de s’assurer (par l’envoi d’un mail de test) que les paramètres sont correctement renseignés.
Ce sont les prérequis pour que l’alerte par mail puisse être opérationnelle avec ce script.
Pas question d’ouvrir le débat entre « j’ai le droit de le faire » versus « ça ne se fait pas ».
Le postulat pour mes scripts, est de pouvoir traiter les sous-dossiers et/ou fichiers présents avec ou sans espace.
(exception faite du dossier de surveillance principal qui ne doit de ne pas avoir d’espace – contrôle réalisé -)
Au delà à chacun son école…
Personnellement je m’interdis les espaces et les caractères spéciaux dans les noms des fichiers et dossiers, un peu comme la méthode préconisée par et l’université de Lausanne par exemple.
Le dossier homes sur un NAS Synology contient le home de chaque utilisateur du NAS. Sauf à se connecter avec un utilisateur du groupe Administrator (ou d’en avoir expressément ajouter les droits), un utilisateur ne voit QUE son home et jamais le dossier homes contenant les dossiers des autres utilisateurs.
L’exécution d’un script « maison » est réalisée avec des droits d’administrateurs. (dans le planificateur des tâches).
C’est pourquoi, sauf sur site distant, pointer un dossier home d’un utilisateur dans le fichier de paramètrage, param.txt, doit être écrit en tenant compte de l’arborescence complète.
Pour le paramètrage en local, la syntaxe « arborescence complète » se présente ainsi :
→ Exemple local : utilisateur toto son home en local est sur le /volumex(x=1 à n selon le nombre de volume présent)/homes/toto.
Dans le cadre de SyncDoss, la connexion au site distant ne se réalise pas avec les mêmes prérogatives (et c’est normal).
→ Exemple distant : pour mon utilisateur toto son home en local sur le site distant est sur le /home/toto.
Cette fois-ci , je me connecte en tant que toto, mon home dans le fichier de paramétrage, param.txt, est à écrire avec l’arborescence simplifiée.
Un shell est un programme qui fait office d’interface entre vous et l’ordinateur sous la forme d’un interpréteur de commandes.
Le Shell est le programme qui fait office entre nous et l’ordinateur. C’est l’intrèpréteur de commandes de base sous le système d’exploitation. Sous linux/Unix il en existe plusieurs :
- Almquist shell (ash) : écrit en remplacement du Bourne Shell, sous licence BSD ; souvent utilisé dans des environnements aux ressources limitées. Les sh de FreeBSD, NetBSD (et leurs dérivés) sont basés sur des cendres qui ont été améliorées pour être conformes à POSIX. (présent sur le NAS Synology)
- Bourne Shell (sh) : Le shell Bourne était le shell par défaut de la version 7 d’Unix. De nombreux systèmes de type Unix continuent à avoir /bin/sh – qui est l’interpréteur de commandes Bourne, ou un lien (symbolique ou en dur) vers un interpréteur de commandes compatible. (par défaut sur le NAS Synology)
- Bourne-Again shell (bash) : écrit dans le cadre du projet GNU pour fournir un sur-ensemble de fonctionnalités du Bourne Shell. Ce shell est souvent pré-installé et est le shell interactif par défaut pour les utilisateurs sur la plupart des systèmes Linux et macOS (jusqu’à Catalina macOS 10.15)
- C shell (csh) : Shell Unix créée par Bill Joy alors qu’il était étudiant à l’Université de Californie, Berkeley, à la fin des années 1970. Il a été largement distribué, à commencer par la version 2BSD de la Berkeley Software Distribution (BSD) pour la première fois en 1978.
- Debian Almquist shell (dash) : un remplacement moderne du shell ash dans Debian et Ubuntu
- Korn shell (ksh) : écrit par David Korn à partir des sources du shell Bourne alors qu’il travaillait aux Bell Labs
- Public domain Korn shell (pdksh) : Shell Unix qui a été développé par David Korn aux Bell Labs au début des années 1980 et annoncé sur USENIX le 14 juillet 1983. Le développement initial était basé sur le code source du shell Bourne.
- MirBSD Korn shell (mksh): un descendant du ksh d’OpenBSD et de pdksh, développé dans le cadre de MirOS BSD
- TENEX Shell (tcsh): Shell Unix basé sur et compatible avec csh. Il s’agit essentiellement d’un interpréteur de commandes C avec une complétion en ligne de commande programmable, une édition en ligne de commande et quelques autres fonctionnalités. Il s’agit de l’interpréteur de commandes racine natif pour les systèmes basés sur BSD comme FreeBSD.
- Z shell (zsh): une coquille relativement moderne qui est rétrocompatible avec le bash. C’est le shell par défaut dans macOS depuis la version 10.15 de Catalina . Présent aussi sur le NAs Synology DSM6.
Quel shell ai-je par défaut ?
D’autres SHELL présents ?
Changer le shell par défaut ?
Sortir du mode Terminal et se reconnecter pour constater que désormais c’est ce shell qui est appliqué par défaut.
Mouais… Joli et sympa mais une ligne de commande et le tour est joué non ?
find . -mtime +30 -exec rm {} \
Bonjour ZorbaleGeek,
oui il est toujours possible de faire plus simple surtout en shell. Mais mon postulat est :
– je ne suis pas un expert en bash
– je m’adresse à un public qui l’est parfois encore moins
Bravo !
Oui on peut toujours faire mieux… Mais il faut le faire !
Là c’est simple et efficace. J’aime bien la sécurité qui m’interdit les 1ers niveaux du NAS et j’adore l’adaptabilité du process selon chaque situation.
Adopté immédiatement pour des dossiers de téléchargement de mes utilisateurs.
MERCI