//Sync_Doss
Sync_Doss

Indice NDT

(N)iveau requis, de l’utilisateur à l’expert.
(D)ifficulté : Simple, Moyenne, Complexe.
(T)emps estimé pour la réalisation.

Utilisateur Technicien Expert
Niveau
Simple Moyenne Complexe
Difficulté
– d’une heure + de 5 heures 12 heures et +
Temps

OcM

Objectif de l’article.
Contexte de la réalisation.
Modalité de l’éxécution.

Utiliser l’automatisation « maison » Sync_Doss

Un NAS Synology sous DSM 6

Principes, installation, paramètrage, planification pour mise en exploitation.

Synchroniser un dossier partagé vers un autre, est assuré par nos NAS, mais si on souhaite descendre dans un sous-dossier seulement, il faut utiliser la commande Rsync et ses contraintes (ouverture de port entre autres). La commande LFTP permet, via le protocole FTP, une synchronisation pour cette granularité de dossier. Sa seule contrainte pour garantir un miroir identique entre source et destination, est d’être assurée qu’au niveau du home d’un utilisateur sur le site distant.

Le principe est  le suivant : «j’ai un utilisateur et son home sur mon NAS,  je peux le synchroniser sur un autre NAS si cet utilisateur existe.»
Mieux : «j’ai plusieurs utilisateurs sur mon NAS local,  je souhaite faire une sauvegarde de leur home vers un dossier home unique d’un NAS distant. »
SyncDoss satisfait aux deux  exemples.

C-I-P-E


Dans les onglets suivants on retrouve les éléments pour le (C)ontenu son (I)nstallation, son (P)aramètrage et enfin son (E)xploitation.

Sync_Doss est un script bash composé :

  • du script – Sync_Doss
  • du fichier de paramètrage – Param.txt

Le script s’appuie sur le fichier de paramètrage pour plus facilement installer et adapter le script bash à tous et dans toutes situations. (pas besoin d’un accès telnet/ssh au NAS pour installer, paramètrer et exploiter Sync_Doss)

Prérequis :

On installe le script et son fichier de paramètrage dans un dossier du NAS.

Ce n’est pas le dossier visé pour la « synchronisation ».
Idéalement un dossier personnel type admin ou utilisateur (dans homes/user)
Une fois déposé et paramétré .. on y accède plus.

exemple :
un dossier spécifique dans le dossier run d’admin donc un chemin global qui peut être :
/volume1/homes/admin/run/SyncDoss

C’est dans le fichier param.txt que cela se passe !

Comme son nom l’entend, il s’agit d’un fichier texte modifiable avec n’importe quel éditeur. (on évitera word…)

ATTENTION : les paramètres sont inscrits à des numéros de ligne précis. Il faut éviter les retours chariots.

Que se passe-t-il si le paramètre n’est pas trouvé ou incomplet, incohérent ou à la ligne du dessous…

Un contrôle des paramètres est réalisé tant sur leur cohérence (présence d’une corbeille si souhaitée), comme aussi l’existence du dossier visé. Le traitement ne se poursuit QUE si le fichier de paramètrage est correctement renseigné. Dans le cas contraire, le fichier de trace TR_param.txt généré dans le dossier d’exécution renseigne sur les informations manquantes et/ou erronées.

Les Paramètres


– Variable : SYNC_DOSS
– Dossier source à synchroniser
– Format : /volume1/homes/daffy/
– Ligne 15
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS et de préférence sous Homes.

#—————————————————-

– Variable : NAS_DEST
– adresse du NAS distant
– Format : NDD (monnas.myds.me)
– Ligne 25
– Contrôle de cohérence effectué.

#—————————————————-

– Variable : DOSSIER_DEST
– Dossier du NAS distant
– Format : /home
– Ligne 35
– Dossier père qui reçoit les données de la synchronisation.

#—————————————————-

– Variable : REP_DATA
– Dossier d’exécution du programme
– Format : /volume1/DATA/monscript
– Ligne 45
– Un contrôle est fait sur la non appartenance à un dossier racine du NAS

#—————————————————-

– Variables : email
– Destinataire et expéditeur (suppose que le paramètrage d’envoi soit fait par avance)
– Ligne 65 et 75
– format email
– Contrôle syntaxique seulement.

#—————————————————-

– Variables : utilisateur et mot de passe du NAS distant.
– Lignes : 55 et 56
– Un contrôle est fait sur la cohérence des données. [test de connexion] – Données cryptées après le 1er lancement.
(paramètre automatique à V pour la saisie en clair et C lorsque ces données sont cryptées.
Si on doit modifier utilisateur et mot de passe, il faut repasser la variable en LI 54 à V)

#—————————————————-

– Variable ENVMAIL (envoi de mail)
– Précise si on souhaite un mail à l’issue du traitement
– Valeur numérique : 1 oui 0 non
– Ligne 85
– Contrôle de cohérence fait.

#—————————————————-

Afin d’exécuter le script on l’ajoute au planificateur des tâches.

Les traces


Sont générées dans le dossier d’exécution les fichiers suivants :

F_init
– Trace la bonne installation (paramètrage OK date d’initialisation correcte)
– Si absent il est généré à la 1ere exécution.

TR_param.txt
– Trace la bonne lecture et interprétation des paramètres de param.txt
– Si absent est généré à chaque exécution (si changement de paramètrage param.txt)
– Permet d’investiguer si une erreur est trouvée dans le fichier de paramètrage

TR_smtp.txt
– Verification des fichiers de paramètrage d’envoi de mail.

TR_message.txt
– Le Message constituant le mail envoyé (ou pas mais qui est toujours généré)

Démo


Le paquet


Composé de 3 fichiers

  1. Sync_Doss le script Bash V3
  2. Param.txt le fichier de paramètrage à amender
  3. Sync_Doss.pdf la notice complémentaire

Sync_Doss.zip Taille de l’archive zip – 847 ko – Signatures

FAQ


Les principales questions/réponses collectées sur le sujet et/ou les éventuelles évolutions.

Afficher les numéros de ligne2019-01-31T14:12:49+00:00

Ne pas ajouter ou supprimer des lignes dans un fichier est plus facile à faire lorsqu’on voit les numéros des lignes.
Il existe différents logiciels permettant de le faire comme par exemple :

  • Ultraedit sous windows (existe aussi sous macOS)
  • TextMate (mon préféré) sous macOS
  • et sur le NAS le paquet Éditeur de texte fait le job
    (cf FAQ « Modifier un fichier Texte avec le NAS »)

Il en existe plein d’autres sur internet !

Autorisation de Synology2019-01-31T14:10:59+00:00

Le script ne réalise pas de changement sur les éléments constituant l’environnement logiciel du NAS Synology. Il automatise une action qui peut être faite manuellement par l’utilisateur.

En conséquence, le script ne représente ni un risque de sécurité ni une atteinte aux éléments techniques et juridiques du NAS.

Obtenir le chemin complet2019-01-31T14:13:21+00:00

Dans le fichier de paramètrage on doit renseigner les chemins complets selon les volumes existants sur le NAS. Ainsi un dossier cargo dans le dossier partagé web est en fait : /volume_n (où est n est le numéro du volume)/web/cargo.

A partir de FileStation on obtient dans les propriétés du dossier ce chemin complet comme sur l’image à gauche.

Résumé de synchro2018-04-07T14:58:50+00:00

La commande LFTP mirror -e assure une synchronisation entre deux sites via le protocole FTP.

Manuellement le résultat affichée à l’issue représente un résumé des actions : copie des dossiers/fichiers, suppressions des dossiers/fichiers..;

sam. 31 mars 2018 18:29:49 CEST
Total: 54 directories, 154 files, 0 symlinks

Mais ce résumé ne fonctionne pas lorsqu’on appelle la fonction dans un CRON. Voilà pourquoi un ersatz de résumé est réalisé dans le script.

Pourquoi pas de synchro hors home ?2018-04-07T15:01:47+00:00


Le script fonctionne lorsque cette synchronisation se fait en source depuis un dossier utilisateur et en destination un autre utilisateur sur le NAS distant (peut être différent d’ailleurs de l’utilisateur ‘expéditeur‘) .

Il peut fonctionner hors le dossier home si on se limite à un 1er niveau (sans sous dossier). Particularité des NAS Synology… Impossible à ce jour de procéder autrement sauf à modifier des éléments de sécurité de part et d’autres.

Si cela est requis, dans ce cas il faut mettre en place un script avec RSYNC..

QUID après une MAJ Syno ?2019-01-31T18:23:48+00:00

Le script représente une automatisation qui ne s’appuie pas sur des fonctions de DSM. Ainsi , sauf changement d’OS et/ou de suppression de fonctions intégrées bas niveau , une MAJ du NAS n’obère pas le traitement du script.

La notification par mail2019-01-31T14:13:48+00:00

La notification par mail s’appuie sur PHP et les paramètres de notification du NAS.

PHP est un paquet installé sous DSM avec PhotoStation et/ou WebStation mais on peut l’ajouter manuellement si nécessaire.
Aucune personnalisation supplémentaire n’est requise sur ce paquet.

La notification par mail se réalise dans le panneau de configuration en tant qu’administrateur et permet de s’assurer (par l’envoi d’un mail de test) que les paramètres sont correctement renseignés.

Ce sont les prérequis pour que l’alerte par mail puisse être opérationnelle avec ce script.

Modifier un fichier texte avec le NAS2019-01-31T18:24:06+00:00

Pour pouvoir modifier un fichier texte directement depuis File Station sous DSM sur un NAS Synology, il faut ajouter le paquet Editeur de Texte (section utilitaire dans l’ajout des paquets).

Par la suite sous File Station, bouton droit sur un fichier texte permet son ouverture pour modification.
Pratique on peut ajouter les n° des lignes et ainsi mieux gérer les modifications dans le fichier de paramètrage.

Attention à la page de code (en général il faut une page de code UTF-8).

Sécurité des données sensibles2018-08-18T14:41:27+00:00
Avant exécutionAprès exécution

Le fichier de paramétrage param.txt, fichier texte modifiable, peut être le réceptacle de données dites « sensibles« .
Dans ce cas, lors de la 1ère exécution, ces données sont réécrites au sein du fichier param.txt en crypté.

Pour ces paramètres concernés, un item situé en amont, est valorisé à V (données vraies) pour une saisie humaine, et passe à C (données cryptées) lors de l’exécution du script maison.

Remarque : au delà, le fichier param.txt est localisé en général sur un dossier du NAS accessible qu’à partir des utilisateurs du groupe administrator

un homes des home ?2019-01-31T14:14:29+00:00

Le dossier homes sur un NAS Synology contient le home de chaque utilisateur du NAS. Sauf à se connecter avec un utilisateur du groupe Administrator (ou d’en avoir expressément ajouter les droits), un utilisateur ne voit QUE son home et jamais le dossier homes contenant les dossiers des autres utilisateurs.

L’exécution d’un script « maison » est réalisée avec des droits d’administrateurs. (dans le planificateur des tâches).
C’est pourquoi, sauf sur site distant, pointer un dossier home d’un utilisateur dans le fichier de paramètrage, param.txt, doit être écrit en tenant compte de l’arborescence complète.

Pour le paramètrage en local, la syntaxe « arborescence complète » se présente ainsi :
  → Exemple local : utilisateur toto son home en local est sur le /volumex(x=1 à n selon le nombre de volume présent)/homes/toto.

Dans le cadre de SyncDoss, la connexion au site distant ne se réalise pas avec les mêmes prérogatives (et c’est normal).
 → Exemple distant :  pour mon utilisateur toto son home en local sur le site distant est sur le /home/toto.
Cette fois-ci , je me connecte en tant que toto, mon home dans le fichier de paramétrage, param.txt, est à écrire avec l’arborescence simplifiée.

Quel est le processus de copie utilisée ?2018-08-23T16:34:38+00:00

Sync_Doss utilise le  programme intégré à nos NAS Synology Lftp. C’est un « programme en ligne de commande de transfert de fichiers pour Unix et systèmes d’exploitation apparentés […] écrit par Alexander Lukyanov et […] distribué sous Licence publique générale GNU. » [1] Parmi ses très nombreuses fonctionnalités, lftp permet de « répliquer récursivement une arborescence entière de répertoires, l’enregistrement de signets d’adresses et la capacité à reprendre un téléchargement arrêté ».

Cela signifie qu’à chaque synchronisation une comparaison entre la source et la destination est réalisée, seules les informations nouvelles ou modifiées et/ou supprimées sont répercutées sur le NAS distant. Cela implique de facto une utilisation de la bande passante limitée au nécessaire et une aptitude à reprendre le traitement en cas de coupure de connexion. Par ailleurs la synchronisation s’effectue toujours du NAS local vers le NAS distant.

2018-09-12T17:02:09+00:0018 Août 2018|SYNO|

Un commentaire

  1. beonas 28 août 2018 à 15 h 39 min

    J’avais vu la page avec LFTP, mais j’avoue ne pas avoir eu le courage de mettre les mains dans le cambouis du système…
    Là au moins je comprend et maîtrise les choses !

    Parfait pour ma sauvegarde des mes données sensibles de mes utilisateurs locaux, vers un NAS d’un ami sans devoir lui demander des droits exorbitants pour mettre en place un RSYNC.

    En plus même en ADSL la 1ère fois fut couteuse en bande passante, mais désormais seules les différences sont considérées et cela va assez vite. (vivement la fibre quand même).

    Bravo et merci !

Les commentaires sont fermés.