Sync_Doss
Indice NDT
(D)ifficulté : Simple, Moyenne, Complexe.
(T)emps estimé pour la réalisation.
| Utilisateur | Technicien | Expert |
| Simple | Moyenne | Complexe |
| – d’une heure | + de 5 heures | 12 heures et + |
OcM
Contexte de la réalisation.
Modalité de l’éxécution.
Synchroniser un dossier partagé vers un autre, est assuré par nos NAS, mais si on souhaite descendre dans un sous-dossier seulement, il faut utiliser la commande Rsync et ses contraintes (ouverture de port entre autres). La commande LFTP permet, via le protocole FTP, une synchronisation pour cette granularité de dossier. Sa seule contrainte pour garantir un miroir identique entre source et destination, est d’être assurée qu’au niveau du home d’un utilisateur sur le site distant.
Le principe est le suivant : «j’ai un utilisateur et son home sur mon NAS, je peux le synchroniser sur un autre NAS si cet utilisateur existe.»
Mieux : «j’ai plusieurs utilisateurs sur mon NAS local, je souhaite faire une sauvegarde de leur home vers un dossier home unique d’un NAS distant. »
SyncDoss satisfait aux deux exemples.
C-I-P-E
Dans les onglets suivants on retrouve les éléments pour le (C)ontenu son (I)nstallation, son (P)aramètrage et enfin son (E)xploitation.
Sync_Doss est un script bash composé :
- du script – Sync_Doss
- du fichier de paramètrage – Param.txt
Le script s’appuie sur le fichier de paramètrage pour plus facilement installer et adapter le script bash à tous et dans toutes situations. (pas besoin d’un accès telnet/ssh au NAS pour installer, paramètrer et exploiter Sync_Doss)
Prérequis :
- Paquet PHP installé (si PhotoStation et/ou WebStation présents, alors PHP l’est aussi)
- Notification des mails paramètrée dans le panneau de configuration
- Service FTP activé dans le panneau de configuration des deux NAS et sur le site distant il faut ajouter le routage au niveau du modem/routeur/box concerné.
On installe le script et son fichier de paramètrage dans un dossier du NAS.
Ce n’est pas le dossier visé pour la « synchronisation ».
Idéalement un dossier personnel type admin ou utilisateur (dans homes/user)
Une fois déposé et paramétré .. on y accède plus.
exemple :
un dossier spécifique dans le dossier run d’admin donc un chemin global qui peut être :
/volume1/homes/admin/run/SyncDoss
C’est dans le fichier param.txt que cela se passe !
Comme son nom l’entend, il s’agit d’un fichier texte modifiable avec n’importe quel éditeur. (on évitera word…)
ATTENTION : les paramètres sont inscrits à des numéros de ligne précis. Il faut éviter les retours chariots.Que se passe-t-il si le paramètre n’est pas trouvé ou incomplet, incohérent ou à la ligne du dessous…
Un contrôle des paramètres est réalisé tant sur leur cohérence (présence d’une corbeille si souhaitée), comme aussi l’existence du dossier visé. Le traitement ne se poursuit QUE si le fichier de paramètrage est correctement renseigné. Dans le cas contraire, le fichier de trace TR_param.txt généré dans le dossier d’exécution renseigne sur les informations manquantes et/ou erronées.
Les Paramètres
– Variable : SYNC_DOSS
– Dossier source à synchroniser
– Format : /volume1/homes/daffy/
– Ligne 15
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS et de préférence sous Homes.
#—————————————————-
– Variable : NAS_DEST
– adresse du NAS distant
– Format : NDD (monnas.myds.me)
– Ligne 25
– Contrôle de cohérence effectué.
#—————————————————-
– Variable : DOSSIER_DEST
– Dossier du NAS distant
– Format : /home
– Ligne 35
– Dossier père qui reçoit les données de la synchronisation.
#—————————————————-
– Variable : REP_DATA
– Dossier d’exécution du programme
– Format : /volume1/DATA/monscript
– Ligne 45
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS
#—————————————————-
– Variables : email
– Destinataire et expéditeur (suppose que le paramètrage d’envoi soit fait par avance –)
– Ligne 65 et 75
– format email
– Contrôle syntaxique seulement.
#—————————————————-
– Variables : utilisateur et mot de passe du NAS distant.
– Lignes : 55 et 56
– Un contrôle est fait sur la cohérence des données. [test de connexion]
– Données cryptées après le 1er lancement.
(paramètre automatique à V pour la saisie en clair et C lorsque ces données sont cryptées.
Si on doit modifier utilisateur et mot de passe, il faut repasser la variable en LI 54 à V)
#—————————————————-
– Variable ENVMAIL (envoi de mail)
– Précise si on souhaite un mail à l’issue du traitement
– Valeur numérique : 1 oui 0 non
– Ligne 85
– Contrôle de cohérence fait.
#—————————————————-
Les traces
Sont générées dans le dossier d’exécution les fichiers suivants :
– F_init
– Trace la bonne installation (paramètrage OK date d’initialisation correcte)
– Si absent il est généré à la 1ere exécution.
– TR_param.txt
– Trace la bonne lecture et interprétation des paramètres de param.txt
– Si absent est généré à chaque exécution (si changement de paramètrage param.txt)
– Permet d’investiguer si une erreur est trouvée dans le fichier de paramètrage
– TR_smtp.txt
– Verification des fichiers de paramètrage d’envoi de mail.
– TR_message.txt
– Le Message constituant le mail envoyé (ou pas mais qui est toujours généré)
Démo
Le paquet
Composé de 3 fichiers
- Sync_Doss le script Bash – V3
- Param.txt le fichier de paramètrage à amender
- Sync_Doss.pdf la notice complémentaire
FAQ
Les principales questions/réponses collectées sur le sujet et/ou les éventuelles évolutions.
Ne pas ajouter ou supprimer des lignes dans un fichier est plus facile à faire lorsqu’on voit les numéros des lignes.
Il existe différents logiciels permettant de le faire comme par exemple :
- Ultraedit sous windows (existe aussi sous macOS)
- TextMate (mon préféré) sous macOS
- et sur le NAS le paquet Éditeur de texte fait le job
(cf FAQ « Modifier un fichier Texte avec le NAS »)
Il en existe plein d’autres sur internet !
Le script ne réalise pas de changement sur les éléments constituant l’environnement logiciel du NAS Synology. Il automatise une action qui peut être faite manuellement par l’utilisateur.
En conséquence, le script ne représente ni un risque de sécurité ni une atteinte aux éléments techniques et juridiques du NAS.
Dans le fichier de paramètrage on doit renseigner les chemins complets selon les volumes existants sur le NAS. Ainsi un dossier cargo dans le dossier partagé web est en fait : /volume_n (où est n est le numéro du volume)/web/cargo.
A partir de FileStation on obtient dans les propriétés du dossier ce chemin complet comme sur l’image à gauche.
La commande LFTP mirror -e assure une synchronisation entre deux sites via le protocole FTP.
Manuellement le résultat affichée à l’issue représente un résumé des actions : copie des dossiers/fichiers, suppressions des dossiers/fichiers..;
sam. 31 mars 2018 18:29:49 CEST Total: 54 directories, 154 files, 0 symlinks
Mais ce résumé ne fonctionne pas lorsqu’on appelle la fonction dans un CRON. Voilà pourquoi un ersatz de résumé est réalisé dans le script.
Le script fonctionne lorsque cette synchronisation se fait en source depuis un dossier utilisateur et en destination un autre utilisateur sur le NAS distant (peut être différent d’ailleurs de l’utilisateur ‘expéditeur‘) .
Il peut fonctionner hors le dossier home si on se limite à un 1er niveau (sans sous dossier). Particularité des NAS Synology… Impossible à ce jour de procéder autrement sauf à modifier des éléments de sécurité de part et d’autres.
Si cela est requis, dans ce cas il faut mettre en place un script avec RSYNC..
Le script représente une automatisation qui ne s’appuie pas sur des fonctions de DSM. Ainsi , sauf changement d’OS et/ou de suppression de fonctions intégrées bas niveau , une MAJ du NAS n’obère pas le traitement du script.
La notification par mail s’appuie sur PHP et les paramètres de notification du NAS.
PHP est un paquet installé sous DSM avec PhotoStation et/ou WebStation mais on peut l’ajouter manuellement si nécessaire.
Aucune personnalisation supplémentaire n’est requise sur ce paquet.
La notification par mail se réalise dans le panneau de configuration en tant qu’administrateur et permet de s’assurer (par l’envoi d’un mail de test) que les paramètres sont correctement renseignés.
Ce sont les prérequis pour que l’alerte par mail puisse être opérationnelle avec ce script.
Pour pouvoir modifier un fichier texte directement depuis File Station sous DSM sur un NAS Synology, il faut ajouter le paquet Editeur de Texte (section utilitaire dans l’ajout des paquets).
Par la suite sous File Station, bouton droit sur un fichier texte permet son ouverture pour modification.
Pratique on peut ajouter les n° des lignes et ainsi mieux gérer les modifications dans le fichier de paramètrage.
Attention à la page de code (en général il faut une page de code UTF-8).
Le fichier de paramétrage param.txt, fichier texte modifiable, peut être le réceptacle de données dites « sensibles« .
Dans ce cas, lors de la 1ère exécution, ces données sont réécrites au sein du fichier param.txt en crypté.
Pour ces paramètres concernés, un item situé en amont, est valorisé à V (données vraies) pour une saisie humaine, et passe à C (données cryptées) lors de l’exécution du script maison.
Remarque : au delà, le fichier param.txt est localisé en général sur un dossier du NAS accessible qu’à partir des utilisateurs du groupe administrator…
Le dossier homes sur un NAS Synology contient le home de chaque utilisateur du NAS. Sauf à se connecter avec un utilisateur du groupe Administrator (ou d’en avoir expressément ajouter les droits), un utilisateur ne voit QUE son home et jamais le dossier homes contenant les dossiers des autres utilisateurs.
L’exécution d’un script « maison » est réalisée avec des droits d’administrateurs. (dans le planificateur des tâches).
C’est pourquoi, sauf sur site distant, pointer un dossier home d’un utilisateur dans le fichier de paramètrage, param.txt, doit être écrit en tenant compte de l’arborescence complète.
Pour le paramètrage en local, la syntaxe « arborescence complète » se présente ainsi :
→ Exemple local : utilisateur toto son home en local est sur le /volumex(x=1 à n selon le nombre de volume présent)/homes/toto.
Dans le cadre de SyncDoss, la connexion au site distant ne se réalise pas avec les mêmes prérogatives (et c’est normal).
→ Exemple distant : pour mon utilisateur toto son home en local sur le site distant est sur le /home/toto.
Cette fois-ci , je me connecte en tant que toto, mon home dans le fichier de paramétrage, param.txt, est à écrire avec l’arborescence simplifiée.
Sync_Doss utilise le programme intégré à nos NAS Synology Lftp. C’est un « programme en ligne de commande de transfert de fichiers pour Unix et systèmes d’exploitation apparentés […] écrit par Alexander Lukyanov et […] distribué sous Licence publique générale GNU. » [1] Parmi ses très nombreuses fonctionnalités, lftp permet de « répliquer récursivement une arborescence entière de répertoires, l’enregistrement de signets d’adresses et la capacité à reprendre un téléchargement arrêté ».
Cela signifie qu’à chaque synchronisation une comparaison entre la source et la destination est réalisée, seules les informations nouvelles ou modifiées et/ou supprimées sont répercutées sur le NAS distant. Cela implique de facto une utilisation de la bande passante limitée au nécessaire et une aptitude à reprendre le traitement en cas de coupure de connexion. Par ailleurs la synchronisation s’effectue toujours du NAS local vers le NAS distant.
Un shell est un programme qui fait office d’interface entre vous et l’ordinateur sous la forme d’un interpréteur de commandes.
Le Shell est le programme qui fait office entre nous et l’ordinateur. C’est l’intrèpréteur de commandes de base sous le système d’exploitation. Sous linux/Unix il en existe plusieurs :
- Almquist shell (ash) : écrit en remplacement du Bourne Shell, sous licence BSD ; souvent utilisé dans des environnements aux ressources limitées. Les sh de FreeBSD, NetBSD (et leurs dérivés) sont basés sur des cendres qui ont été améliorées pour être conformes à POSIX. (présent sur le NAS Synology)
- Bourne Shell (sh) : Le shell Bourne était le shell par défaut de la version 7 d’Unix. De nombreux systèmes de type Unix continuent à avoir /bin/sh – qui est l’interpréteur de commandes Bourne, ou un lien (symbolique ou en dur) vers un interpréteur de commandes compatible. (par défaut sur le NAS Synology)
- Bourne-Again shell (bash) : écrit dans le cadre du projet GNU pour fournir un sur-ensemble de fonctionnalités du Bourne Shell. Ce shell est souvent pré-installé et est le shell interactif par défaut pour les utilisateurs sur la plupart des systèmes Linux et macOS (jusqu’à Catalina macOS 10.15)
- C shell (csh) : Shell Unix créée par Bill Joy alors qu’il était étudiant à l’Université de Californie, Berkeley, à la fin des années 1970. Il a été largement distribué, à commencer par la version 2BSD de la Berkeley Software Distribution (BSD) pour la première fois en 1978.
- Debian Almquist shell (dash) : un remplacement moderne du shell ash dans Debian et Ubuntu
- Korn shell (ksh) : écrit par David Korn à partir des sources du shell Bourne alors qu’il travaillait aux Bell Labs
- Public domain Korn shell (pdksh) : Shell Unix qui a été développé par David Korn aux Bell Labs au début des années 1980 et annoncé sur USENIX le 14 juillet 1983. Le développement initial était basé sur le code source du shell Bourne.
- MirBSD Korn shell (mksh): un descendant du ksh d’OpenBSD et de pdksh, développé dans le cadre de MirOS BSD
- TENEX Shell (tcsh): Shell Unix basé sur et compatible avec csh. Il s’agit essentiellement d’un interpréteur de commandes C avec une complétion en ligne de commande programmable, une édition en ligne de commande et quelques autres fonctionnalités. Il s’agit de l’interpréteur de commandes racine natif pour les systèmes basés sur BSD comme FreeBSD.
- Z shell (zsh): une coquille relativement moderne qui est rétrocompatible avec le bash. C’est le shell par défaut dans macOS depuis la version 10.15 de Catalina . Présent aussi sur le NAs Synology DSM6.
Quel shell ai-je par défaut ?
D’autres SHELL présents ?
Changer le shell par défaut ?
Sortir du mode Terminal et se reconnecter pour constater que désormais c’est ce shell qui est appliqué par défaut.
J’avais vu la page avec LFTP, mais j’avoue ne pas avoir eu le courage de mettre les mains dans le cambouis du système…
Là au moins je comprend et maîtrise les choses !
Parfait pour ma sauvegarde des mes données sensibles de mes utilisateurs locaux, vers un NAS d’un ami sans devoir lui demander des droits exorbitants pour mettre en place un RSYNC.
En plus même en ADSL la 1ère fois fut couteuse en bande passante, mais désormais seules les différences sont considérées et cela va assez vite. (vivement la fibre quand même).
Bravo et merci !