Tensin

Aller au contenu Aller au menu Aller à la recherche

Mot-clé - serveur

Fil des billets - Fil des commentaires

mardi, août 21 2012

Convertir une image virtuelle VMDK (VMWare) au format VirtualBox (VDI)

VirtualBoxPour convertir un disque source au format .vmdk (format natif VMWare) vers le format VirtualBox (.vdi), utiliser :

vboxmanage clonehd image-source.vmdk image-destination.vdi -format VDI

Ce qui s’avère plus efficace et plus direct que de faire un transfert logique avec un outil de clonage comme CloneZilla

samedi, janvier 1 2011

Quelle solution de backup

backupVoilà, je cherche une solution de backup à installer sur mon environnement réseau, et j’ai du mal à trouver une.

Je liste ci-dessous ce que j’ai à sauvegarder, les outils essayés ou en cours de tests, et quelques pistes de réflexion sur une solution “idéale” pour mon cas de figure.

Ma configuration à backuper :

  • Un PC “serveur” Linux sous Ubuntu 10.10 : sauvegarde de fichiers de configuration, sites web, plusieurs bases de données, repository GIT, données personnelles. Donc des fichiers locaux à sauvegarder (tout /etc, quelques fichiers sous /usr/bin, un /home/user, etc.).
  • Un serveur dédié Linux sous Ubuntu 9.10 en ligne (chez OVH) : sauvegarde de fichiers de configuration, sites web, plusieurs bases de données, repository GIT.
  • Un PC portable sous Linux SUSE Enterprise SLED11 : fichiers de configuration, fichiers personnels, bases de données MySQL, etc.
  • Un netbook sous Windows XP : quelques rares fichiers de configuration.
  • Un plug computer sous Debian : fichiers de configuration.

Mes souhaits pour l’outil de backup :

  • simplicité de configuration (tant pour le serveur principal que pour les machines à sauvegarder) ;
  • installation simple (pas de dépendances compliquées) ;
  • fonctionnement possible en réseau : backup vers une machine centrale, backups croisés, mode push et/ou pull, etc. ;
  • multi-protocoles : sauvegarde de fichiers locaux, de fichiers distants, exports de bases de données, prises de snapshot de repository GiT, CVS et éventuellement SubVersion, etc. ;
  • si possible, facilité d’accès aux fichiers sauvegardés : pas de manipulations compliquées pour récupérer un fichier : comme la récupération est tout de même rare et ponctuelle, ce point est mineur, mais dans l’idéal une récupération directement sur disque serait parfaite ;
  • interfaçage DropBox ou autre (Amazon S3) pour envoi de certains fichiers en ligne ;
  • encryption éventuelle des données sauvegardées ;
  • fonctionnement obligatoire en ligne de commande (configuration + lancement), mais interface de configuration / manipulation à côté envisageable (client lourd ou client web) ;
  • projet actif ;
  • une bonne gestion des erreurs : si quelque chose se passe mal, il faut que j’en sois averti !

Les fonctions dont je n’ai pas besoin et que beaucoup de solutions de backup proposent :

  • gravage des données sur disques ou bandes ;
  • mécanismes de sauvegardes incrémentales / différentielles ;

Bref pour résumer, dans l’idéal, il me faudrait un système de plugins (qui doivent être faciles à écrire / modifier / paramétrer) :

  • plusieurs plugins en entrée quoi sauvegarder (fichiers locaux, fichiers distants, bases de données, outils, etc.) ;
  • plusieurs plugins en sortie où sauvegarder (FTP, SSH distant, machine locale, DropBox, Amazon S3, etc.) ;

Avec simplement un appairage entre éléments en entrée et éléments en sortie (quoi sauvegarder, où).

Les pistes de logiciels existants à ma connaissance :

  • rsnapshot : l’outil que j’utilise actuellement mais qui ne me satisfait clairement pas totalement (configuration laborieuse et peu souple, mauvaise gestion des erreurs, …) ;
  • Unison ;
  • Duplicity + frontal ;
  • Cedar backup ;
  • Backup Manager : voilà bien un projet que je trouve obscur et pas intuitif … pas pour moi ;
  • Backupeur : pas mal, léger, mais tout en shell script (donc difficilement portable, et nécessiterait pas mal d’évolutions) ;
  • rdup ;
  • rdiff-backup ;
  • boxbackup ;
  • dirvish ;
  • backupninja : semble intéressant, à creuser ;

Concernant les outils “bas-niveau”, il y a bien sûr :

  • rsync : répond nativement à une partie des problématiques, sauvegarde différentielle de répertoires locaux ou distants ;
  • dar : Disk ARchive, projet très intéressant, une sorte de tar plus évolué, adapté aux sauvegardes de type backup ;

Ces outils en eux-même ne gèrent pas toutes les problématiques que je souhaite couvrir.

Reste la piste de créer moi-même mon propre système de backup … réflexion en cours, pour le moment je partirais sur :

  • réalisation en Java ;
  • principe client / serveur : dans un premier temps, une partie serveur, exécutable sur une ou plusieurs machines, et dans un deuxième temps un ou plusieurs clients (client lourd / client web) ;
  • le principe de plugins en entrée et en sortie évoqué plus haut ;
  • problème n°1 : la librairie rsync n’a pas de réelle implémentation Java (il y a 2 projets non terminés et qui n’évoluent plus : librsync et jarsync, plus peut-être plus tard java-rsync, mais ce projet n’a encore produit aucun code) ;
  • problèmé n°2 : la librairie dar n’existe pas en Java, donc pas d’usage possible en natif ;
  • ces outils ne seraient donc utilisables, comme les autres commandes systèmes type export de bases de données mysql, que par exécution depuis la couche Java de commandes systèmes, ce qui est évidemment facile à faire, mais tout de même moins élégant (problème de configuration, de multi-plateforme, etc.) ;

Annexes.

A noter un ouvrage chez O’Reilly dédié à cette problématique : backup and recovery.

Backup and recovery (O'Reilly)

Quelques liens en vrac en complément :

dimanche, décembre 19 2010

La semi-déception du jour : plug computer Ionics Stratus

Après le fiasco des Guruplug trop bruyants - que je m’étais fait remboursés sans problème par NewIT, très corrects dans l’histoire et sans doute très embêtés par les problèmes de retards et de bruits de ces serveurs - j’étais parti sur un autre modèle : un Stratus Plug Computer (sur base de Sheevaplug), produit par une société américaine, Ionics Plug.

Reçus il y a peu, et à nouveau une grosse déception : alors que j’ai bien commandé un modèle compatible avec les prises françaises, c’est un modèle US qui m’a été expédié !

Le pire c’est que :

  • j’ai contacté le service des ventes avant commande, on m’a bien répondu que oui, il était possible d’avoir ces plugs au format européen, mais qu’il y aurait un délai supplémentaire ;
  • je le précise bien lors de ma commande : il me faut deux plugs avec prises françaises ;
  • on me répond immédiatement après ma commande “attention, nous n’avons que des versions avec prises US en stock, que doit-on faire de votre commande ?”, ce à quoi je maintiens ma commande de plugs avec prise françaises, en forwardant le mail initial ;

Et bien malgré tout çà, j’ai quand même reçu (deux mois après ma commande) des plugs avec prises US.

Et le support d’Ionics, recontacté, ne me propose que soit un remboursement, soit … d’aller à la quincaillerie du coin m’acheter des adaptateurs US > FR. Ben voyons.

Comme c’est mon deuxième fiasco sur ce sujet, et que çà commence à me faire cher en frais d’expéditions UK > France, France > UK, US > France, je n’ai pas trop d’autres choix que d’en rester là, mais du coup, avec un adaptateur US > France, impossible de faire tenir le plug au mur comme prévu (avec l’adaptateur, il faut forcément le laisser à plat sur une multiprise au sol (sans quoi, à la verticale, étant relativement lourd, il ne tient pas en place, à cause du poids et du décalage lié à l’adaptateur).

Quant au plug lui-même - qui fonctionne heureusement en 110-220V / 50-60Hz - il fonctionne tout de même bien. Il chauffe, mais il ne fait pas de bruit, c’est déjà çà. Plus d’informations sans doute dans un billet ultérieur

Au passage, les CD-Rom fournis (contenant le kit de développement) sont totalement illisibles (testés sur 3 lecteurs différents). Dommage aussi. Recontacté à ce sujet, le support ne m’a pas donné de réponse sur ce sujet.

Enfin, le packaging sur la boîte n’indique même pas quelles sont les options des plugs à l’intérieur, alors que j’en ai commandé un standard (pas pour moi) et un avec option Zigbee, difficile - sans pouvoir les démarrer pour le problème de prises - du coup de savoir quel boîtier est à qui.

Bref, de mon point de vue, un service commercial pas très efficace de la part d’Ionics.

Donc pour résumer :

  • les Guruplugs sont trop bruyants pour une utilisation normale, mais NewIT, l’importateur UK, a un très bon service ;
  • les Ionics Plugs ne sont pas bruyants du tout (mais chauffent un peu quand même), mais les services logistique et commercial d’Ionics n’est vraiment pas bon : incapables d’envoyer ce qui a été commandé, et incapables de corriger comme il le faudrait leur erreur (au passage, ils auraient suffi qu’ils me réexpédient la pièce - (dé)clipsable, voir photos ci-dessous - qui correspond à la prise elle-même … mais non). Bref, je déconseille finalement de commander auprès de cette société.

Quelques photos du plug en open-the-box pour finir :

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

Ionics Stratus plug computer

dimanche, octobre 17 2010

Retour sur migration d'une partition en ext3 vers ext4 sur une baie RAID5

RAIDSuite au passage sans trop de problèmes en Ubuntu 10.10 ce week-end pluvieux, j’ai franchi le pas aussi pour le format de la partition de ma partition RAID5 qui était jusqu’ici en ext3, que j’ai migrée en ext4.

Ce format de partition me semble aujourd’hui suffisamment stable, je l’utilise depuis Ubuntu 10.04 sur ma partition système sans soucis. Qui plus est, sur cette partition RAID5 en ext3, je rencontrais des problèmes de temps de réponses, notamment des créations de répertoires assez longues, temps que j’espère meilleurs en ext4.

La manipulation pour faire la conversion sans tout reformater est décrite partout sur le web, comme par exemple ici : Convert file system from ext3 to ext4.

Dans mon cas, j’ai migré une partition /dev/md0/ constituée de quatre disques Samsung 1.5TO - soit en pratique 3 disques utiles et 1 spare — pour une taille utilisable de 4.1TO, remplie avant la manipulation à 3.3TO.

/dev/md0      ext4    4,1T  3,3T  749G  82% /mnt/internal/1500go-raid

Au final, la conversion est longue, mais s’est bien passée (j’avais tout de même un backup partiel des données au cas où …).

Etape 1. Un premier fsck pour valider que tout va bien sur la partition durée = __120 minutes__

# sudo e2fsck -pf /dev/md0

Résultat :

/dev/md0 : 964328/274718720 fichiers (3.1% non contigus), 902621888/1098851952 blocs

Etape 2. La conversion des inodes par tune2fs durée = __0 minutes__

# sudo tune2fs -O extents,uninit_bg,dir_index /dev/md0

Etape 3. Un deuxième fsck (obligatoire) durée = __116 minutes__

# sudo e2fsck -pf /dev/md0

Etape 4. Changer le type de la partition de ext3 en ext4 dans /etc/fstab

# sudo vi /etc/fstab

Pour avoir :

/dev/md0                                        /mnt/internal/1500go-raid 	ext4	     defaults,relatime		 0  3

Etape 5. Remontage manuel et/ou reboot.

# sudo mount /dev/md0

A noter la présence d’une floppée d’erreurs “normales” lors de l’étape 3 (voir par exemple ce lien qui confirme que c’est le comportement attendu) :

(...)
Le checksum du descripteur de groupe 33533 est invalide. CORRIGÉ.
Le checksum du descripteur de groupe 33534 est invalide. CORRIGÉ.
Passe 1 : vérification des i-noeuds, des blocs et des tailles

Passe 2 : vérification de la structure des répertoires
Passe 3 : vérification de la connectivité des répertoires
Passe 4 : vérification des compteurs de référence
Passe 5 : vérification de l'information du sommaire de groupe
/dev/md0 : 964328/274718720 fichiers (3.1% non contigus), 902621888/1098851952 blocs

Bien sûr, le bénéfice de cette migration sera moins important qu’après un reformatage complet : c’est seulement au fur et à mesure que les données seront réécrites sur la partition migrée que les optimisations liées à ext4 auront lieu.

En premier test qui ne veut vraiment pas dire grand chose : j’ai un site web stocké sur cette partition RAID5 et qui a une utilisation assez intensive du filesystem. Pour une recherche précise qui mettait 0.08 secondes en ext3, je suis passé maintenant à 0.02 secondes en ext4 ;)

MAJ : par contre petite déception, dans certains cas (profondeur assez importante dans l’arborescence des répertoires), la création d’un nouveau sous-répertoire tout simple n’est toujours pas instantannée en ext4 chez moi. A première vue çà prendrait un poil moins de temps qu’en ext3, mais plus que sur d’autres partitions (je suppose que c’est le nombre de fichiers / répertoires présents sur cette partition qui est pénalisant, au demeurant la partition RAID5 en question se porte très bien et affiche de bonnes perfs’ en lecture/écriture, donc pas de problèmes matériels). A voir dans la durée au fur et à mesure que les données seront réécrites …

samedi, octobre 2 2010

Guru Plug Server Plus : bonne petite machine, mais trop bruyante

La déception du jour : le serveur Guru Plus Server Plus (un plug computer).

Guruplug

Sur le papier c’est une excellente petite machine permettant d’avoir un serveur Linux complet dans un boîtier de la taille d’un boîtier CPL, avec les caractéristiques suivantes :

  • processeur Marvell 1.2Ghz ;
  • 512 mo de RAM interne ;
  • 512 mo de flash interne ;
  • 1x port micro-SD ;
  • 2x ports ethernet Gigabit 10/100/1000 ;
  • Wi-Fi ;
  • bluetooth ;
  • 2x ports USB ;
  • 1x port e-SATA ;

Avec une consommation max donnée à 5W seulement. Le serveur est livré prêt à l’emploi avec une distribution Debian déjà installée.

Et tout çà pour 99$, soit 120 euros port compris chez le revendeur UK NewIT. Bref, une machine très complète pour faire un parfait petit serveur avec de nombreux usages potentiels (serveur de fichier, de mail, routage, domotique, etc.).

Pour l’heure, c’est toutefois une grosse déception. J’ai pré-commandé le boîtier en mai 2010, et les premiers envois ont rapidement été interrompus car il s’est avéré que le boîtier chauffait anormalement, notamment au niveau des connecteurs ethernet (au point de s’y brûler au touché).

La société qui produit le plug, Globalscape, a pris quelques mois pour revoir sa copie avec le fabricant chinois, pour ajouter, sur l’unité dont j’ai reçu un modèle ce jour, un petit ventilateur à l’intérieur. Vu la petite taille du boîtier, ils n’ont évidemment pas pu mettre un gros heatsink et un gros ventilateur, le ventilateur équipé ne fait que 20 mm x 20 mm.

Au final il remplit à peu près son rôle de ventilateur (le boîtier reste cependant après 3 heures de fonctionnement chaud au toucher sur les côtés et le dessus), mais le bruit généré par l’engin est franchement conséquent (bien au delà du niveau sonore de n’importe quel PC traditionnel que j’ai déjà pu entendre).

Une petite vidéo pour se rendre compte (je pense qu’en vrai, c’est encore plus perceptible que sur la vidéo, le .mp3 ci-dessous est d’ailleurs plus représentatif). Le plug s’entend ronronner sans problèmes à plusieurs mètres.


fichier mp3 autonome (enregistrement brut sans altérations)

Qui plus est des tests poussés réalisés par des personnes ayant reçue la première version font état de piètres performances de la partie matérielle, voir ce très bon test sur le sujet : GuruPlug Server Plus : don’t waste your money on it!.

Cela dit, pour mon usage, je pense que les performances de la machine seraient tout à fait suffisantes.

Pour moi, le bruit généré rend ce serveur totalement impropre à l’utilisation auquel je le destinais : avoir un mini-serveur silencieux, ne consommant pratiquement rien, sur lequel faire tourner un certain nombre de services de gestion et de services domotiques sous Linux. Vu sa faible taille, je comptais le mettre entre mon entrée et mon salon, pour y brancher dessus un mir:ror de Violet (lecteur RFID). Le bruit conséquent que génère le serveur rend cet usage impossible. J’hésite entre l’ouvrir et le bidouiller (faisable, mais sans garanties de réussir à mettre en place une bonne dissipation thermique sans bruit, pour au final un boîtier qui risque de devoir resté ouvert ou qui risque d’être découpé de partout, donc on sera loin du concept initial d’un simple boîtier intègre sans câbles) ou le retourner pour remboursement et trouver un autre modèle (peut-être l’ancien modèle, le sheevaplug (qui ne semblait pas souffrir de ces défauts de chauffe), ou un Ionics plug).

Quelques photos en open-the-box :

Guruplug - La boîte

Guruplug - les câbles

Guruplug - Découverte du plug

Guruplug - Le plug de près

Guruplug - Le dos du plug

Au déballage, pas de soucis pour s’en servir, bien qu’il n’y ait aucune documentation fournie avec le packaging.

Le serveur boote en moins de 30 secondes et, avec la configuration par défaut, se retrouve en Wi-Fi “Access Point”, ce qui fait qu’il suffit de se connecter dessus en ssh, par exemple depuis un PC portable en WiFi (en prenant le réseau ouvert par le guruplug, quelque chose du genre Plug2-uAP-1713) :

ssh root@192.168.1.1

Le mot de passe root par défaut étant “nosoup4u”.

Et en liens annexes … :