From: claude b. <cl...@ya...> - 2012-03-13 11:34:48
|
Bonjour à tous, J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une VMWare. Les sauvegardes se font sur un deuxième disque dure... Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11 heures ) comment faire pour reduire sensiblement le temps de sauvegarde ? cordialement |
From: Buschini E. <mo...@ij...> - 2012-03-13 13:41:08
|
Bonjour Claude ! Tu as plusieurs façons d'améliorer le temps : - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes sauvegardes se font sur un deuxième disque, il se peut que l'écriture soit un peut lente. - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans la configuration de ton Director - Evite de mettre une taille maximal dans ton spool car si le spool est plein il va devoir déspooler pour insérer les données dans les bons volumes Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse au niveau client et que ça prends beaucoup de ton proc, c'est une option bien utile. Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne pense pas que même de la copie toute bête soit beaucoup plus rapide. Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > Bonjour à tous, > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une > VMWare. > Les sauvegardes se font sur un deuxième disque dure... > > Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11 > heures ) > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > cordialement > > > > > > ------------------------------------------------------------------------------ > Keep Your Developer Skills Current with LearnDevNow! > The most comprehensive online learning library for Microsoft developers > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, MVC3, > Metro Style Apps, more. Free future releases when you subscribe now! > http://p.sf.net/sfu/learndevnow-d2d > _______________________________________________ > Bacula-users-fr mailing list > Bac...@li... > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > -- Edouard Buschini - Rentabiliweb Telecom |
From: <ho...@fr...> - 2012-03-13 13:58:18
|
Bonjour, 200 Go en 11 heures, normal !? D'après mes calculs, et avec un débit de 50 Mo/s (un débit tout à fait normal sur les disques actuels) ces 200 Go devraient être copiés en un peu plus d'une heure. Avec ma configuration de bacula, il doit me falloir à peu près deux heures pour sauvegarder cette quantité de données. Il y a donc clairement un problème, reste à trouver à quel niveau. Mais il nous manque bien trop d'informations pour faire un diagnostique. (compression activé, oui ou non, quel est le débit observé sur le disque en écriture, est il stable, quel est la charge cpu, comment est configuré le stockage au niveau de la VM (disque virtuel ou réel) etc etc... Cdlt, ----- Buschini Edouard <mo...@ij...> a écrit : > Bonjour Claude ! > > Tu as plusieurs façons d'améliorer le temps : > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes > sauvegardes se font sur un deuxième disque, il se peut que l'écriture soit > un peut lente. > - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans la > configuration de ton Director > - Evite de mettre une taille maximal dans ton spool car si le spool est > plein il va devoir déspooler pour insérer les données dans les bons volumes > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse > au niveau client et que ça prends beaucoup de ton proc, c'est une option > bien utile. > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > Bonjour à tous, > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une > > VMWare. > > Les sauvegardes se font sur un deuxième disque dure... > > > > Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11 > > heures ) > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > cordialement > > > > > > > > > > > > ------------------------------------------------------------------------------ > > Keep Your Developer Skills Current with LearnDevNow! > > The most comprehensive online learning library for Microsoft developers > > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, MVC3, > > Metro Style Apps, more. Free future releases when you subscribe now! > > http://p.sf.net/sfu/learndevnow-d2d > > _______________________________________________ > > Bacula-users-fr mailing list > > Bac...@li... > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > > > > -- > Edouard Buschini - Rentabiliweb Telecom |
From: claude b. <cl...@ya...> - 2012-03-13 14:58:08
|
Merci à tous pour vos reponses. trouvez ci-dessous les elements de reponse à vos interrogations : - compression activé : GZIP - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir le mesurer (si qlq en dispose, je suis prenneur) Néanmoins j'avais effectué une test de temps de lecture du disque via la commande # hdparm -tT /dev/sdb1 /dev/sda: Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec - charge cpu : j'ai installé le package "atop" sur mon serveur. j'ai constaté que bacula consommait moins de 2% de CPU et de Mémoire Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs preneurs - configuration de stockage au niveau de la VM : En fait depuis le client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir s'en servir comme storage Device de Bacula ... voilà. à votre disposition pour des précisions complémentaires... Claude B ________________________________ De : "ho...@fr..." <ho...@fr...> À : Buschini Edouard <mo...@ij...> Cc : claude baryo <cl...@ya...>; bac...@li... Envoyé le : Mardi 13 mars 2012 14h58 Objet : Re: [Bacula-users-fr] Comment reduire le temps de backup avec Bacula 5.2.6 Bonjour, 200 Go en 11 heures, normal !? D'après mes calculs, et avec un débit de 50 Mo/s (un débit tout à fait normal sur les disques actuels) ces 200 Go devraient être copiés en un peu plus d'une heure. Avec ma configuration de bacula, il doit me falloir à peu près deux heures pour sauvegarder cette quantité de données. Il y a donc clairement un problème, reste à trouver à quel niveau. Mais il nous manque bien trop d'informations pour faire un diagnostique. (compression activé, oui ou non, quel est le débit observé sur le disque en écriture, est il stable, quel est la charge cpu, comment est configuré le stockage au niveau de la VM (disque virtuel ou réel) etc etc... Cdlt, ----- Buschini Edouard <mo...@ij...> a écrit : > Bonjour Claude ! > > Tu as plusieurs façons d'améliorer le temps : > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes > sauvegardes se font sur un deuxième disque, il se peut que l'écriture soit > un peut lente. > - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans la > configuration de ton Director > - Evite de mettre une taille maximal dans ton spool car si le spool est > plein il va devoir déspooler pour insérer les données dans les bons volumes > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse > au niveau client et que ça prends beaucoup de ton proc, c'est une option > bien utile. > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > Bonjour à tous, > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une > > VMWare. > > Les sauvegardes se font sur un deuxième disque dure... > > > > Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11 > > heures ) > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > cordialement > > > > > > > > > > > > ------------------------------------------------------------------------------ > > Keep Your Developer Skills Current with LearnDevNow! > > The most comprehensive online learning library for Microsoft developers > > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, MVC3, > > Metro Style Apps, more. Free future releases when you subscribe now! > > http://p.sf.net/sfu/learndevnow-d2d > > _______________________________________________ > > Bacula-users-fr mailing list > > Bac...@li... > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > > > > -- > Edouard Buschini - Rentabiliweb Telecom |
From: Buschini E. <mo...@ij...> - 2012-03-13 17:40:56
|
Hello, C'est vrai que sans compression c'est un peut long mais il faut compter aussi combien de fichier Bacula à besoins de sauvegarder, car tu ne seras jamais à 50Mo/sec si t'as 1M de fichier à Stat. Actuellement pour sauvegarder du mail ( sur des machines dédiés moyennement robuste) pour 3,6M et 250Go je mets 18h à travers du gigabit bacula TLS et compression donc tout est relatif, il y a tellement de facteurs à prendre en compte :) Si tu peux faire un iftop aussi pour regarder le débit. Le 13 mars 2012 15:57, claude baryo <cl...@ya...> a écrit : > Merci à tous pour vos reponses. > > trouvez ci-dessous les elements de reponse à vos interrogations : > > - *compression activé* : GZIP > - *débit observé sur le disqu**e* : je ne dispose pas d'outil pour > pouvoir le mesurer (si qlq en dispose, je suis prenneur) > Néanmoins j'avais effectué une test de temps de lecture du disque via la > commande > *# hdparm -tT /dev/sdb1* > * **/dev/sda:* > * Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec > Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec* > * * > - *charge cpu* : j'ai installé le package "atop" sur mon serveur. > j'ai constaté que bacula consommait moins de 2% de CPU et de Mémoire > > Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs preneurs > > - *configuration de stockage au niveau de la VM* : En fait depuis le > client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir > s'en servir comme *storage Device* de Bacula ... > > voilà. à votre disposition pour des précisions complémentaires... > > > Claude B > > > > > > ------------------------------ > *De :* "ho...@fr..." <ho...@fr...> > *À :* Buschini Edouard <mo...@ij...> > *Cc :* claude baryo <cl...@ya...>; > bac...@li... > *Envoyé le :* Mardi 13 mars 2012 14h58 > *Objet :* Re: [Bacula-users-fr] Comment reduire le temps de backup avec > Bacula 5.2.6 > > > Bonjour, > > 200 Go en 11 heures, normal !? > D'après mes calculs, et avec un débit de 50 Mo/s > (un débit tout à fait normal sur les disques actuels) > ces 200 Go devraient être copiés en un peu plus d'une heure. > Avec ma configuration de bacula, il doit me falloir à peu > près deux heures pour sauvegarder cette quantité de données. > > Il y a donc clairement un problème, reste à trouver à quel niveau. > Mais il nous manque bien trop d'informations pour faire un diagnostique. > > (compression activé, oui ou non, quel est le débit observé sur le disque > en écriture, est il stable, quel est la charge cpu, comment est configuré > le stockage au niveau de la VM (disque virtuel ou réel) etc etc... > > Cdlt, > > ----- Buschini Edouard <mo...@ij...> a écrit : > > Bonjour Claude ! > > > > Tu as plusieurs façons d'améliorer le temps : > > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes > > sauvegardes se font sur un deuxième disque, il se peut que l'écriture > soit > > un peut lente. > > - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans > la > > configuration de ton Director > > - Evite de mettre une taille maximal dans ton spool car si le spool est > > plein il va devoir déspooler pour insérer les données dans les bons > volumes > > > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse > > au niveau client et que ça prends beaucoup de ton proc, c'est une option > > bien utile. > > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne > > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > > > Bonjour à tous, > > > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une > > > VMWare. > > > Les sauvegardes se font sur un deuxième disque dure... > > > > > > Problème : Je trouve que le backup de 200 g prend trop de temp > (environ 11 > > > heures ) > > > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > > > cordialement > > > > > > > > > > > > > > > > > > > ------------------------------------------------------------------------------ > > > Keep Your Developer Skills Current with LearnDevNow! > > > The most comprehensive online learning library for Microsoft developers > > > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, > MVC3, > > > Metro Style Apps, more. Free future releases when you subscribe now! > > > http://p.sf.net/sfu/learndevnow-d2d > > > _______________________________________________ > > > Bacula-users-fr mailing list > > > Bac...@li... > > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > > > > > > > -- > > Edouard Buschini - Rentabiliweb Telecom > > -- Edouard Buschini - Rentabiliweb Telecom |
From: claude b. <cl...@ya...> - 2012-03-14 09:02:58
|
J'avoue que j'ai pris en charge le projet que depuis la semaine dernière et je ne connaissais rien de Bacula. Pour repondre à votre question, la Db utilisée est postgresql 9.1.2 installé sur la même VM que le director Bacula... Quel est à votre avis, le paramétrage correct ou efficient de postgresql ? Pour votre info, cette config est dans le cadre de test avant de prendre la décision d'implémenter bacula en prod. cordialement ________________________________ De : Bruno Friedmann <br...@io...> À : claude baryo <cl...@ya...> Envoyé le : Mardi 13 mars 2012 17h48 Objet : Re: [Bacula-users-fr] Re : Comment reduire le temps de backup avec Bacula 5.2.6 On Tuesday 13 March 2012 14.57:56 claude baryo wrote: > Merci à tous pour vos reponses. > > trouvez ci-dessous les elements de reponse à vos interrogations : > > - compression activé : GZIP > - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir le mesurer (si qlq en dispose, je suis prenneur) > Néanmoins j'avais effectué une test de temps de lecture du disque via la commande > # hdparm -tT /dev/sdb1 > /dev/sda: Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec > Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec > - charge cpu : j'ai installé le package "atop" sur mon serveur. > j'ai constaté que bacula consommait moins de 2% de CPU et de Mémoire > > Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs preneurs > > - configuration de stockage au niveau de la VM : En fait depuis le client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir s'en servir comme storage Device de Bacula ... > > voilà. à votre disposition pour des précisions complémentaires... > > > Claude B > > > > > > > ________________________________ > De : "ho...@fr..." <ho...@fr...> > À : Buschini Edouard <mo...@ij...> > Cc : claude baryo <cl...@ya...>; bac...@li... > Envoyé le : Mardi 13 mars 2012 14h58 > Objet : Re: [Bacula-users-fr] Comment reduire le temps de backup avec Bacula 5.2.6 > > > Bonjour, > > 200 Go en 11 heures, normal !? > D'après mes calculs, et avec un débit de 50 Mo/s > (un débit tout à fait normal sur les disques actuels) > ces 200 Go devraient être copiés en un peu plus d'une heure. > Avec ma configuration de bacula, il doit me falloir à peu > près deux heures pour sauvegarder cette quantité de données. > > Il y a donc clairement un problème, reste à trouver à quel niveau. > Mais il nous manque bien trop d'informations pour faire un diagnostique. > > (compression activé, oui ou non, quel est le débit observé sur le disque > en écriture, est il stable, quel est la charge cpu, comment est configuré > le stockage au niveau de la VM (disque virtuel ou réel) etc etc... > > Cdlt, > > ----- Buschini Edouard <mo...@ij...> a écrit : > > Bonjour Claude ! > > > > Tu as plusieurs façons d'améliorer le temps : > > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes > > sauvegardes se font sur un deuxième disque, il se peut que l'écriture soit > > un peut lente. > > - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans la > > configuration de ton Director > > - Evite de mettre une taille maximal dans ton spool car si le spool est > > plein il va devoir déspooler pour insérer les données dans les bons volumes > > > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse > > au niveau client et que ça prends beaucoup de ton proc, c'est une option > > bien utile. > > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne > > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > > > Bonjour à tous, > > > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une > > > VMWare. > > > Les sauvegardes se font sur un deuxième disque dure... > > > > > > Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11 > > > heures ) > > > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > > > cordialement > > > > > -- > > Edouard Buschini - Rentabiliweb Telecom C'est quoi la base de donnée utilisée Le backup sous VM n'est et ne sera jamais la meilleure performance. Dans un cas d'utilisation pro et intensive le Director la db et le storage ont tout intérêt à être sur du bare métal. Ensuite un test hdparm ne donne absolument aucune indication. Si des disques peuvent sortir linéairement du 130Mo c'est pas le cas si ils ont des millions de petits fichiers à sauver/lire/copier comme des emails par exemple. Ici on sauve 1.2To + 145Go en ~9 heures sur du sata-e mais c'est partout du bare-metal. et la db c'est du postgresql correctement paramétrée. Donc premier test, copie brute cp entre source et destination calcul du temps = estimation de ce que la vm est capable de faire en natif. Pas s'étonner que les résultats soit mauvais. :-) -- Bruno Friedmann Ioda-Net Sàrl www.ioda-net.ch openSUSE Member & Ambassador GPG KEY : D5C9B751C4653227 irc: tigerfoot |
From: Nicolas S. <nso...@hi...> - 2012-03-14 09:53:29
Attachments:
nsouleman.vcf
|
<html> <head> <meta content="text/html; charset=ISO-8859-1" http-equiv="Content-Type"> </head> <body bgcolor="#FFFFFF" text="#000000"> <font size="-1"><font face="Bitstream Vera Sans">Bonjour,<br> <br> Plusieurs choses pour votre install.<br> <br> Dans l'idéal, il est préférable d'installer les différents éléments de bacula sur des machines séparées (bien que le director puisse lui être installé sur la même machine que celle qui héberge la bdd (ou Catalog)). PostgreSQL est un bon choix et pour une architecture simple, vous pouvez commencer avec une configuration simple de PostgreSQL.<br> <br> Pour ce qui est des perfs maintenant, il est vrai que bacula mettra plus de temps pour backuper une multitude de petit fichiers. Si vous compressez par dessus, LE TOUT sur une VM, il est "normal" que les performances ne soient pas au rendez vous.<br> <br> Vous pouvez également regarder (via la commande top par exemple) les iowaits (%wa). Si ceux si sont élevés, alors cela peut expliquer (en tout cas en partit) votre problème.<br> <br> Pour votre installation en prod, je vous conseillerai : <br> - 1 machine (physique de préférence) pour bacula-dir + Catalog (bdd postgresql)<br> - 1 machine *physique* pour bacula-sd (Storage Daemon)<br> <br> Cordialement,<br> <br> -Nicolas SOULEMAN<br> <br> </font></font><br> On 3/14/12 10:02 AM, claude baryo wrote: <blockquote cite="mid:133...@we..." type="cite"> <div style="color:#000; background-color:#fff; font-family:times new roman, new york, times, serif;font-size:12pt"> <div>J'avoue que j'ai pris en charge le projet que depuis la semaine dernière et je ne connaissais rien de Bacula.</div> <div><br> </div> <div>Pour repondre à votre question, la Db utilisée est postgresql 9.1.2 installé sur la même VM que le director Bacula...</div> <div>Quel est à votre avis, le paramétrage correct ou efficient de postgresql ?</div> <div><br> </div> <div>Pour votre info, cette config est dans le cadre de test avant de prendre la décision d'implémenter bacula en prod.</div> <div><br> </div> <div>cordialement</div> <div><br> </div> <div><br> </div> <div style="font-size: 12pt; font-family: 'times new roman', 'new york', times, serif; "> <div style="font-size: 12pt; font-family: 'times new roman', 'new york', times, serif; "> <div dir="ltr"> <font face="Arial" size="2"> <hr size="1"> <b><span style="font-weight:bold;">De :</span></b> Bruno Friedmann <a class="moz-txt-link-rfc2396E" href="mailto:br...@io..."><br...@io...></a><br> <b><span style="font-weight: bold;">À :</span></b> claude baryo <a class="moz-txt-link-rfc2396E" href="mailto:cl...@ya..."><cl...@ya...></a> <br> <b><span style="font-weight: bold;">Envoyé le :</span></b> Mardi 13 mars 2012 17h48<br> <b><span style="font-weight: bold;">Objet :</span></b> Re: [Bacula-users-fr] Re : Comment reduire le temps de backup avec Bacula 5.2.6<br> </font> </div> <br> On Tuesday 13 March 2012 14.57:56 claude baryo wrote:<br> > Merci à tous pour vos reponses.<br> > <br> > trouvez ci-dessous les elements de reponse à vos interrogations :<br> > <br> > - compression activé : GZIP<br> > - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir le mesurer (si qlq en dispose, je suis prenneur)<br> > Néanmoins j'avais effectué une test de temps de lecture du disque via la commande <br> > # hdparm -tT /dev/sdb1<br> > /dev/sda: Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec<br> > Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec<br> > - charge cpu : j'ai installé le package "atop" sur mon serveur.<br> > j'ai constaté que bacula consommait moins de 2% de CPU et de Mémoire<br> > <br> > Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs preneurs<br> > <br> > - configuration de stockage au niveau de la VM : En fait depuis le client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir s'en servir comme storage Device de Bacula ...<br> > <br> > voilà. à votre disposition pour des précisions complémentaires...<br> > <br> > <br> > Claude B<br> > <br> > <br> > <br> > <br> > <br> > <br> > ________________________________<br> > De : "<a moz-do-not-send="true" ymailto="mailto:ho...@fr..." href="mailto:ho...@fr...">ho...@fr...</a>" <<a moz-do-not-send="true" ymailto="mailto:ho...@fr..." href="mailto:ho...@fr...">ho...@fr...</a>><br> > À : Buschini Edouard <<a moz-do-not-send="true" ymailto="mailto:mo...@ij..." href="mailto:mo...@ij...">mo...@ij...</a>> <br> > Cc : claude baryo <<a moz-do-not-send="true" ymailto="mailto:cl...@ya..." href="mailto:cl...@ya...">cl...@ya...</a>>; <a moz-do-not-send="true" ymailto="mailto:bac...@li..." href="mailto:bac...@li...">bac...@li...</a> <br> > Envoyé le : Mardi 13 mars 2012 14h58<br> > Objet : Re: [Bacula-users-fr] Comment reduire le temps de backup avec Bacula 5.2.6<br> > <br> > <br> > Bonjour,<br> > <br> > 200 Go en 11 heures, normal !?<br> > D'après mes calculs, et avec un débit de 50 Mo/s<br> > (un débit tout à fait normal sur les disques actuels)<br> > ces 200 Go devraient être copiés en un peu plus d'une heure.<br> > Avec ma configuration de bacula, il doit me falloir à peu<br> > près deux heures pour sauvegarder cette quantité de données.<br> > <br> > Il y a donc clairement un problème, reste à trouver à quel niveau.<br> > Mais il nous manque bien trop d'informations pour faire un diagnostique.<br> > <br> > (compression activé, oui ou non, quel est le débit observé sur le disque<br> > en écriture, est il stable, quel est la charge cpu, comment est configuré<br> > le stockage au niveau de la VM (disque virtuel ou réel) etc etc...<br> > <br> > Cdlt,<br> > <br> > ----- Buschini Edouard <<a moz-do-not-send="true" ymailto="mailto:mo...@ij..." href="mailto:mo...@ij...">mo...@ij...</a>> a écrit :<br> > > Bonjour Claude !<br> > > <br> > > Tu as plusieurs façons d'améliorer le temps :<br> > > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si tes<br> > > sauvegardes se font sur un deuxième disque, il se peut que l'écriture soit<br> > > un peut lente.<br> > > - Si tu n'y tiens pas, enlève la compression au niveau du fileset dans la<br> > > configuration de ton Director<br> > > - Evite de mettre une taille maximal dans ton spool car si le spool est<br> > > plein il va devoir déspooler pour insérer les données dans les bons volumes<br> > > <br> > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se fasse<br> > > au niveau client et que ça prends beaucoup de ton proc, c'est une option<br> > > bien utile.<br> > > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je ne<br> > > pense pas que même de la copie toute bête soit beaucoup plus rapide.<br> > > <br> > > Le 13 mars 2012 12:34, claude baryo <<a moz-do-not-send="true" ymailto="mailto:cl...@ya..." href="mailto:cl...@ya...">cl...@ya...</a>> a écrit :<br> > > <br> > > > Bonjour à tous,<br> > > ><br> > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze d'une<br> > > > VMWare.<br> > > > Les sauvegardes se font sur un deuxième disque dure...<br> > > ><br> > > > Problème : Je trouve que le backup de 200 g prend trop de temp (environ 11<br> > > > heures )<br> > > ><br> > > > comment faire pour reduire sensiblement le temps de sauvegarde ?<br> > > ><br> > > > cordialement<br> > > ><br> <br> > > --<br> > > Edouard Buschini - Rentabiliweb Telecom<br> <br> C'est quoi la base de donnée utilisée<br> <br> Le backup sous VM n'est et ne sera jamais la meilleure performance. Dans un cas d'utilisation pro et intensive<br> le Director la db et le storage ont tout intérêt à être sur du bare métal. <br> <br> Ensuite un test hdparm ne donne absolument aucune indication. Si des disques peuvent sortir linéairement du 130Mo<br> c'est pas le cas si ils ont des millions de petits fichiers à sauver/lire/copier comme des emails par exemple.<br> <br> Ici on sauve 1.2To + 145Go en ~9 heures sur du sata-e mais c'est partout du bare-metal. et la db c'est du postgresql correctement paramétrée.<br> <br> Donc premier test, copie brute cp entre source et destination calcul du temps = estimation de ce que la vm est capable de faire en natif.<br> Pas s'étonner que les résultats soit mauvais.<br> :-)<br> <br> -- <br> Bruno Friedmann <br> Ioda-Net Sàrl <a class="moz-txt-link-abbreviated" href="http://www.ioda-net.ch">www.ioda-net.ch</a><br> <br> openSUSE Member & Ambassador<br> GPG KEY : D5C9B751C4653227<br> irc: tigerfoot<br> </div> </div> </div> </blockquote> </body> </html> |
From: Stephane D. <ho...@fr...> - 2012-03-14 10:50:03
Attachments:
signature.asc
|
Bonjour, > - compression activé : GZIP Cette compression est elle vraiment nécessaire ? Quels seront les types de fichiers sauvegardés ? Si ce sont des fichiers textes, des binaires, des fichiers de configurations, alors pourquoi pas. Mais si ce sont des données déjà compressés (vidéos, archives...) alors il faut absolument désactiver la compression. > - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir > le mesurer (si qlq en dispose, je suis prenneur) Ce n'est pas ce qui manque sous unix ! (et linux donc). La commande : iostat -m 2 vous donnera un apercu du débit sur les disques (exprimé en MB/s) toutes les 2 secondes. > # hdparm -tT /dev/sdb1 > /dev/sda: > Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec > Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec Cela ne signifie rien du tout. Ce genre de commande ne peut servir qu'a mesurer la bande passante du bus (et encore). A oublier :) > Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs > preneurs Lancez une sauvegarde. Pendant qu'elle se déroule, observez le comportement de votre machine (commande top et commande iostat) Éventuellement, copiez ici le résultat. - configuration de stockage au niveau de la VM : En fait depuis le client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir s'en servir comme storage Device de Bacula ... D'accord, mais quel type de disque ? Si vous avez simplement créer un "disque virtuel" (fichier vmdk ou ce genre de chose) alors vous n'écrivez pas un fichier dans un système de fichier sur un disque. Vous écrivez un fichier dans un systeme de fichier qui se trouve dans un fichier sur un système de fichier dans un disque. Ouf. Il est évident qu'en terme de performance, c'est bien différent. Surtout si au final, les données qui sont lues et celles qui sont écrites le sont sur le même disque physique. Utilisez des VM, c'est bien pour des tests fonctionnels. Pas pour des tests de performances. > > > ______________________________________________________________________ > De : "ho...@fr..." <ho...@fr...> > À : Buschini Edouard <mo...@ij...> > Cc : claude baryo <cl...@ya...>; > bac...@li... > Envoyé le : Mardi 13 mars 2012 14h58 > Objet : Re: [Bacula-users-fr] Comment reduire le temps de backup avec > Bacula 5.2.6 > > > > Bonjour, > > 200 Go en 11 heures, normal !? > D'après mes calculs, et avec un débit de 50 Mo/s > (un débit tout à fait normal sur les disques actuels) > ces 200 Go devraient être copiés en un peu plus d'une heure. > Avec ma configuration de bacula, il doit me falloir à peu > près deux heures pour sauvegarder cette quantité de données. > > Il y a donc clairement un problème, reste à trouver à quel niveau. > Mais il nous manque bien trop d'informations pour faire un > diagnostique. > > (compression activé, oui ou non, quel est le débit observé sur le > disque > en écriture, est il stable, quel est la charge cpu, comment est > configuré > le stockage au niveau de la VM (disque virtuel ou réel) etc etc... > > Cdlt, > > ----- Buschini Edouard <mo...@ij...> a écrit : > > Bonjour Claude ! > > > > Tu as plusieurs façons d'améliorer le temps : > > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si > tes > > sauvegardes se font sur un deuxième disque, il se peut que > l'écriture soit > > un peut lente. > > - Si tu n'y tiens pas, enlève la compression au niveau du fileset > dans la > > configuration de ton Director > > - Evite de mettre une taille maximal dans ton spool car si le spool > est > > plein il va devoir déspooler pour insérer les données dans les bons > volumes > > > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se > fasse > > au niveau client et que ça prends beaucoup de ton proc, c'est une > option > > bien utile. > > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je > ne > > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > > > Bonjour à tous, > > > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze > d'une > > > VMWare. > > > Les sauvegardes se font sur un deuxième disque dure... > > > > > > Problème : Je trouve que le backup de 200 g prend trop de temp > (environ 11 > > > heures ) > > > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > > > cordialement > > > > > > > > > > > > > > > > > > > ------------------------------------------------------------------------------ > > > Keep Your Developer Skills Current with LearnDevNow! > > > The most comprehensive online learning library for Microsoft > developers > > > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, > MVC3, > > > Metro Style Apps, more. Free future releases when you subscribe > now! > > > http://p.sf.net/sfu/learndevnow-d2d > > > _______________________________________________ > > > Bacula-users-fr mailing list > > > Bac...@li... > > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > > > > > > > -- > > Edouard Buschini - Rentabiliweb Telecom > > > > |
From: claude b. <cl...@ya...> - 2012-03-14 13:30:22
|
Merci Stéphane. > - compression activé : GZIP Je ne connais pas exactement les types de fichiers qui seront backuper. C'est le cadre de test qu'on m'a communiquer un ensemble des répertoires à sauvegarder sur des différent servers. C'est pourquoi, j'ai opté pour une compression GZIP. > - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir > le mesurer (si qlq en dispose, je suis preneur) J'ai installé le package "atop" pour pouvoir auditer les performences des disk, reseau, mémoire, et cpu... j'aurais les résultats lundi (après le test de bckp full) En fin, je suis d'accord, que la VM n'est pas adapter pour la prod ... il est prévu d'investir dans le cadre d'une implémentation finale en production (nous sommes une très petite stucture. Nous avons des moyens très limités)... Mais il faut convaincre la DSI avant ... cordialement ________________________________ De : Stephane Dupuis <ho...@fr...> À : claude baryo <cl...@ya...> Cc : Buschini Edouard <mo...@ij...>; "bac...@li..." <bac...@li...> Envoyé le : Mercredi 14 mars 2012 11h49 Objet : Re: Re : [Bacula-users-fr] Comment reduire le temps de backup avec Bacula 5.2.6 Bonjour, > - compression activé : GZIP Cette compression est elle vraiment nécessaire ? Quels seront les types de fichiers sauvegardés ? Si ce sont des fichiers textes, des binaires, des fichiers de configurations, alors pourquoi pas. Mais si ce sont des données déjà compressés (vidéos, archives...) alors il faut absolument désactiver la compression. > - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir > le mesurer (si qlq en dispose, je suis prenneur) Ce n'est pas ce qui manque sous unix ! (et linux donc). La commande : iostat -m 2 vous donnera un apercu du débit sur les disques (exprimé en MB/s) toutes les 2 secondes. > # hdparm -tT /dev/sdb1 > /dev/sda: > Timing buffer-cache reads: 4790 MB in 2.00 seconds =2396.65 MB/sec > Timing buffered disk reads: 254 MB in 3.01 seconds = 84.44 MB/sec Cela ne signifie rien du tout. Ce genre de commande ne peut servir qu'a mesurer la bande passante du bus (et encore). A oublier :) > Si quelqu'un dispose d'une autre méthode d'analyse, je suis tjrs > preneurs Lancez une sauvegarde. Pendant qu'elle se déroule, observez le comportement de votre machine (commande top et commande iostat) Éventuellement, copiez ici le résultat. - configuration de stockage au niveau de la VM : En fait depuis le client Vsphere, j'ai tout simplement ajouter un second disque pour pouvoir s'en servir comme storage Device de Bacula ... D'accord, mais quel type de disque ? Si vous avez simplement créer un "disque virtuel" (fichier vmdk ou ce genre de chose) alors vous n'écrivez pas un fichier dans un système de fichier sur un disque. Vous écrivez un fichier dans un systeme de fichier qui se trouve dans un fichier sur un système de fichier dans un disque. Ouf. Il est évident qu'en terme de performance, c'est bien différent. Surtout si au final, les données qui sont lues et celles qui sont écrites le sont sur le même disque physique. Utilisez des VM, c'est bien pour des tests fonctionnels. Pas pour des tests de performances. > > > ______________________________________________________________________ > De : "ho...@fr..." <ho...@fr...> > À : Buschini Edouard <mo...@ij...> > Cc : claude baryo <cl...@ya...>; > bac...@li... > Envoyé le : Mardi 13 mars 2012 14h58 > Objet : Re: [Bacula-users-fr] Comment reduire le temps de backup avec > Bacula 5.2.6 > > > > Bonjour, > > 200 Go en 11 heures, normal !? > D'après mes calculs, et avec un débit de 50 Mo/s > (un débit tout à fait normal sur les disques actuels) > ces 200 Go devraient être copiés en un peu plus d'une heure. > Avec ma configuration de bacula, il doit me falloir à peu > près deux heures pour sauvegarder cette quantité de données. > > Il y a donc clairement un problème, reste à trouver à quel niveau. > Mais il nous manque bien trop d'informations pour faire un > diagnostique. > > (compression activé, oui ou non, quel est le débit observé sur le > disque > en écriture, est il stable, quel est la charge cpu, comment est > configuré > le stockage au niveau de la VM (disque virtuel ou réel) etc etc... > > Cdlt, > > ----- Buschini Edouard <mo...@ij...> a écrit : > > Bonjour Claude ! > > > > Tu as plusieurs façons d'améliorer le temps : > > - Vérifie le débit entre ton Storage Daemon et ton File Daemon, si > tes > > sauvegardes se font sur un deuxième disque, il se peut que > l'écriture soit > > un peut lente. > > - Si tu n'y tiens pas, enlève la compression au niveau du fileset > dans la > > configuration de ton Director > > - Evite de mettre une taille maximal dans ton spool car si le spool > est > > plein il va devoir déspooler pour insérer les données dans les bons > volumes > > > > Mais je ne te conseil pas d'enlever la compression, bien qu'elle se > fasse > > au niveau client et que ça prends beaucoup de ton proc, c'est une > option > > bien utile. > > Sinon 200go pour 11 heures je trouve ça largement raisonnable et je > ne > > pense pas que même de la copie toute bête soit beaucoup plus rapide. > > > > Le 13 mars 2012 12:34, claude baryo <cl...@ya...> a écrit : > > > > > Bonjour à tous, > > > > > > J'ai installé et configurer Bacula 5.2.6 sur un Debian Squeeze > d'une > > > VMWare. > > > Les sauvegardes se font sur un deuxième disque dure... > > > > > > Problème : Je trouve que le backup de 200 g prend trop de temp > (environ 11 > > > heures ) > > > > > > comment faire pour reduire sensiblement le temps de sauvegarde ? > > > > > > cordialement > > > > > > > > > > > > > > > > > > > ------------------------------------------------------------------------------ > > > Keep Your Developer Skills Current with LearnDevNow! > > > The most comprehensive online learning library for Microsoft > developers > > > is just $99.99! Visual Studio, SharePoint, SQL - plus HTML5, CSS3, > MVC3, > > > Metro Style Apps, more. Free future releases when you subscribe > now! > > > http://p.sf.net/sfu/learndevnow-d2d > > > _______________________________________________ > > > Bacula-users-fr mailing list > > > Bac...@li... > > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr > > > > > > > > -- > > Edouard Buschini - Rentabiliweb Telecom > > > > |
From: Yann C. <yan...@un...> - 2012-03-14 14:02:26
|
Le 14/03/2012 14:30, claude baryo a écrit : > Merci Stéphane. > > *> - compression activé : GZIP* > Je ne connais pas exactement les types de fichiers qui seront > backuper. C'est le cadre de test qu'on m'a communiquer un ensemble > des répertoires à sauvegarder sur des différent servers. C'est > pourquoi, j'ai opté pour une compression GZIP. > Un petit tip qui peut s'avérer très utile : le mode de compression GZIP offre plusieurs niveaux de compression, de 1 à 9 (comme avec la commande gzip donc). 1 => rapide, mais compresse moins 9 => compresse plus, mais lent Par défaut, si on ne spécifie pas le niveau, cela équivaut à GZIP6 dans bacula. Après plusieurs tests, j'ai personnellement estimé que le niveau GZIP2 offrait le meilleur compromis entre taux de compression et rapidité (c'est totalement subjectif et lié à mon environnement bien évidemment). Pour vos tests, je vous recommanderai donc d'essayer de descendre un peu le niveau ;-) Désactiver complètement la compression pour un test n'est pas non plus une mauvaise idée pour s'assurer que c'est bien elle qui pose problème et que vous ne partez pas sur une fausse piste. Cordialement, > *> - débit observé sur le disque : je ne dispose pas d'outil pour pouvoir > > le mesurer (si qlq en dispose, je suis preneur)* > > J'ai installé le package "atop" pour pouvoir auditer les performences > des disk, reseau, mémoire, et cpu... j'aurais les résultats lundi > (après le test de bckp full) > > En fin, je suis d'accord, que la VM n'est pas adapter pour la prod ... > il est prévu d'investir dans le cadre d'une implémentation finale en > production (nous sommes une très petite stucture. Nous avons des > moyens très limités)... Mais il faut convaincre la DSI avant ... > > cordialement > > https://lists.sourceforge.net/lists/listinfo/bacula-users-fr -- Yann Cézard - infrastructures - administrateur systèmes serveurs Centre de ressources informatiques - http://cri.univ-pau.fr Université de Pau et des pays de l'Adour - http://www.univ-pau.fr bâtiment d'Alembert (anciennement IFR), rue Jules Ferry, 64000 Pau Téléphone : +33 (0)5 59 40 77 94 |
From: <ho...@fr...> - 2012-03-15 10:28:59
|
Bonjour, Si cela peut rassurer ta hiérarchie, voici deux exemples de sauvegardes. Une avec 100 Go de donnée, une avec 260 Go. Il s'agit à chaque fois de fichiers de tailles très diverses (des milliers de photos et "petits" fichiers, et d'autres plus gros). J'ajoute que la situation est loin d’être idéale en terme de performance, puisque les données en question sont sur un raid logiciel chiffré. Pourtant, les écritures sont font tout de même à 30 MB/s environ. (les fichiers sont sur une machine différente de celle ou tourne le serveur) Mon conseil : Vérifie que tes lectures (données à sauvegarder) et tes écriture (sauvegardes) n'utilise pas les même disques physiques, et désactive la compression. ----------- Build OS: x86_64-pc-linux-gnu debian squeeze/sid JobId: 2058 Job: Important.2012-03-04_23.00.00_14 Backup Level: Full Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 FileSet: "Important" 2011-07-26 11:25:59 Pool: "Important-Full" (From Job FullPool override) Catalog: "MyCatalog" (From Client resource) Storage: "FileStorage" (From Job resource) Scheduled time: 04-Mar-2012 23:00:00 Start time: 04-Mar-2012 23:00:02 End time: 04-Mar-2012 23:55:12 Elapsed time: 55 mins 10 secs Priority: 10 FD Files Written: 222,193 FD Bytes Written: 101,515,938,143 (101.5 GB) SD Bytes Written: 101,562,018,026 (101.5 GB) Rate: 30669.5 KB/s Software Compression: None VSS: no Encryption: no Accurate: no Volume name(s): Important-Full-0002 Volume Session Id: 45 Volume Session Time: 1330078034 Last Volume Bytes: 101,644,461,994 (101.6 GB) Non-fatal FD errors: 0 SD Errors: 0 FD termination status: OK SD termination status: OK Termination: Backup OK ------- Build OS: x86_64-pc-linux-gnu debian squeeze/sid JobId: 2064 Job: Privee.2012-03-05_23.30.00_34 Backup Level: Full Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 FileSet: "Privee" 2011-01-18 09:59:44 Pool: "Privee-Full" (From Job FullPool override) Catalog: "MyCatalog" (From Client resource) Storage: "FileStorage" (From Job resource) Scheduled time: 05-Mar-2012 23:30:00 Start time: 05-Mar-2012 23:30:03 End time: 06-Mar-2012 01:51:11 Elapsed time: 2 hours 21 mins 8 secs Priority: 10 FD Files Written: 109,194 SD Files Written: 109,194 FD Bytes Written: 260,826,352,809 (260.8 GB) SD Bytes Written: 260,843,843,806 (260.8 GB) Rate: 30801.4 KB/s Software Compression: None VSS: no Encryption: no Accurate: no Volume name(s): Privee-Full-0002 Volume Session Id: 51 Volume Session Time: 1330078034 Last Volume Bytes: 261,040,542,060 (261.0 GB) Non-fatal FD errors: 0 SD Errors: 0 FD termination status: OK SD termination status: OK Termination: Backup OK |
From: claude b. <cl...@ya...> - 2012-03-15 10:39:13
|
Merci Monsieur Hoper. Je vais pouvoir me servir de vos exemples pour convaincre mon boss .. cordialement ________________________________ De : "ho...@fr..." <ho...@fr...> À : claude baryo <cl...@ya...> Cc : bac...@li... Envoyé le : Jeudi 15 mars 2012 11h28 Objet : Re: [Bacula-users-fr] Re : Re : Comment reduire le temps de backup avec Bacula 5.2.6 Bonjour, Si cela peut rassurer ta hiérarchie, voici deux exemples de sauvegardes. Une avec 100 Go de donnée, une avec 260 Go. Il s'agit à chaque fois de fichiers de tailles très diverses (des milliers de photos et "petits" fichiers, et d'autres plus gros). J'ajoute que la situation est loin d’être idéale en terme de performance, puisque les données en question sont sur un raid logiciel chiffré. Pourtant, les écritures sont font tout de même à 30 MB/s environ. (les fichiers sont sur une machine différente de celle ou tourne le serveur) Mon conseil : Vérifie que tes lectures (données à sauvegarder) et tes écriture (sauvegardes) n'utilise pas les même disques physiques, et désactive la compression. ----------- Build OS: x86_64-pc-linux-gnu debian squeeze/sid JobId: 2058 Job: Important.2012-03-04_23.00.00_14 Backup Level: Full Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 FileSet: "Important" 2011-07-26 11:25:59 Pool: "Important-Full" (From Job FullPool override) Catalog: "MyCatalog" (From Client resource) Storage: "FileStorage" (From Job resource) Scheduled time: 04-Mar-2012 23:00:00 Start time: 04-Mar-2012 23:00:02 End time: 04-Mar-2012 23:55:12 Elapsed time: 55 mins 10 secs Priority: 10 FD Files Written: 222,193 FD Bytes Written: 101,515,938,143 (101.5 GB) SD Bytes Written: 101,562,018,026 (101.5 GB) Rate: 30669.5 KB/s Software Compression: None VSS: no Encryption: no Accurate: no Volume name(s): Important-Full-0002 Volume Session Id: 45 Volume Session Time: 1330078034 Last Volume Bytes: 101,644,461,994 (101.6 GB) Non-fatal FD errors: 0 SD Errors: 0 FD termination status: OK SD termination status: OK Termination: Backup OK ------- Build OS: x86_64-pc-linux-gnu debian squeeze/sid JobId: 2064 Job: Privee.2012-03-05_23.30.00_34 Backup Level: Full Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 FileSet: "Privee" 2011-01-18 09:59:44 Pool: "Privee-Full" (From Job FullPool override) Catalog: "MyCatalog" (From Client resource) Storage: "FileStorage" (From Job resource) Scheduled time: 05-Mar-2012 23:30:00 Start time: 05-Mar-2012 23:30:03 End time: 06-Mar-2012 01:51:11 Elapsed time: 2 hours 21 mins 8 secs Priority: 10 FD Files Written: 109,194 SD Files Written: 109,194 FD Bytes Written: 260,826,352,809 (260.8 GB) SD Bytes Written: 260,843,843,806 (260.8 GB) Rate: 30801.4 KB/s Software Compression: None VSS: no Encryption: no Accurate: no Volume name(s): Privee-Full-0002 Volume Session Id: 51 Volume Session Time: 1330078034 Last Volume Bytes: 261,040,542,060 (261.0 GB) Non-fatal FD errors: 0 SD Errors: 0 FD termination status: OK SD termination status: OK Termination: Backup OK |
From: claude b. <cl...@ya...> - 2012-03-15 11:13:07
|
Excellente suggestion. mais comment mettre en place concrètement, cette fonction ? (ma cmmande qu'il faut ajouter dans le fileset option. Aussi, j'aimerais savoir s'il est possible de dire à bacula-fd d'effectuer la "deduplication" des fichiers. càd la fonction qui permet de ne pas copier plusieurs fois, 1 fichier qui se trouve dans 2 ou plusieurs repertoirs... cordialement ________________________________ De : Bruno Friedmann <br...@io...> À : claude baryo <cl...@ya...> Envoyé le : Jeudi 15 mars 2012 11h45 Objet : Re: [Bacula-users-fr] Re : Re : Re : Comment reduire le temps de backup avec Bacula 5.2.6 A propos de la compression, il est aussi important de comprendre qu'avec certaines règles sioux on peut dans un fileset expliqué au bacula-fd de ne pas recompressé des fichiers déjà compressé .gz, bz2 rar, jpeg etc ... De cette manière on garde l'atout de la compression (GZIP2 étant très souvent le plus adapté en terme de ratio temps passé/compression obtenue) sur des fichiers hypercompressible (genre dump de db sql, textes etc) Là tout dépend des données qu'il est important de connaître. De même il est tout à fait possible de séparer les filesets et d'y appliquer des règles plus apropriées en fonction des données et des règles métiers autour de vos données. ps : Il est aussi envisageable de contracter du support chez bacula-systems :-) On Thursday 15 March 2012 10.39:01 claude baryo wrote: > Merci Monsieur Hoper. > > Je vais pouvoir me servir de vos exemples pour convaincre mon boss .. > > cordialement > > > > ________________________________ > De : "ho...@fr..." <ho...@fr...> > À : claude baryo <cl...@ya...> > Cc : bac...@li... > Envoyé le : Jeudi 15 mars 2012 11h28 > Objet : Re: [Bacula-users-fr] Re : Re : Comment reduire le temps de backup avec Bacula 5.2.6 > > > > Bonjour, > > Si cela peut rassurer ta hiérarchie, voici deux exemples de sauvegardes. > Une avec 100 Go de donnée, une avec 260 Go. Il s'agit à chaque fois > de fichiers de tailles très diverses (des milliers de photos et > "petits" fichiers, et d'autres plus gros). J'ajoute que la situation > est loin d’être idéale en terme de performance, puisque les données > en question sont sur un raid logiciel chiffré. > Pourtant, les écritures sont font tout de même à 30 MB/s environ. > (les fichiers sont sur une machine différente de celle ou tourne le serveur) > > Mon conseil : Vérifie que tes lectures (données à sauvegarder) et tes > écriture (sauvegardes) n'utilise pas les même disques physiques, et > désactive la compression. > > ----------- > Build OS: x86_64-pc-linux-gnu debian squeeze/sid > JobId: 2058 > Job: Important.2012-03-04_23.00.00_14 > Backup Level: Full > Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 > FileSet: "Important" 2011-07-26 11:25:59 > Pool: "Important-Full" (From Job FullPool override) > Catalog: "MyCatalog" (From Client resource) > Storage: "FileStorage" (From Job resource) > Scheduled time: 04-Mar-2012 23:00:00 > Start time: 04-Mar-2012 23:00:02 > End time: 04-Mar-2012 23:55:12 > Elapsed time: 55 mins 10 secs > Priority: 10 > FD Files Written: 222,193 > FD Bytes Written: 101,515,938,143 (101.5 GB) > SD Bytes Written: 101,562,018,026 (101.5 GB) > Rate: 30669.5 KB/s > Software Compression: None > VSS: no > Encryption: no > Accurate: no > Volume name(s): Important-Full-0002 > Volume Session Id: 45 > Volume Session Time: 1330078034 > Last Volume Bytes: 101,644,461,994 (101.6 GB) > Non-fatal FD errors: 0 > SD Errors: 0 > FD termination status: OK > SD termination status: OK > Termination: Backup OK > > ------- > > Build OS: x86_64-pc-linux-gnu debian squeeze/sid > JobId: 2064 > Job: Privee.2012-03-05_23.30.00_34 > Backup Level: Full > Client: "balance-fd" 5.0.1 (24Feb10) i486-pc-linux-gnu,ubuntu,10.04 > FileSet: "Privee" 2011-01-18 09:59:44 > Pool: "Privee-Full" (From Job FullPool override) > Catalog: "MyCatalog" (From Client resource) > Storage: "FileStorage" (From Job resource) > Scheduled time: 05-Mar-2012 23:30:00 > Start time: 05-Mar-2012 23:30:03 > End time: 06-Mar-2012 01:51:11 > Elapsed time: 2 hours 21 mins 8 secs > Priority: 10 > FD Files Written: 109,194 > SD Files Written: 109,194 > FD Bytes Written: 260,826,352,809 (260.8 GB) > SD Bytes Written: 260,843,843,806 (260.8 GB) > Rate: 30801.4 KB/s > Software Compression: None > VSS: no > Encryption: no > Accurate: no > Volume name(s): Privee-Full-0002 > Volume Session Id: 51 > Volume Session Time: 1330078034 > Last Volume Bytes: 261,040,542,060 (261.0 GB) > Non-fatal FD errors: 0 > SD Errors: 0 > FD termination status: OK > SD termination status: OK > Termination: Backup OK -- Bruno Friedmann Ioda-Net Sàrl www.ioda-net.ch openSUSE Member & Ambassador GPG KEY : D5C9B751C4653227 irc: tigerfoot |