Dette indlæg er alene udtryk for skribentens egen holdning.

Incrementel backup med Adilock

10. marts 2011 kl. 22:2536
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Jeg har fået flere spørgsmål om hvad jeg bruger til at lave backup. Jeg har de sidste mange år kørt Albackup som er lavet af John Mørck Hansen (med hjælp fra Hans Schou i sin tid).

Mine krav til backup var (og er);

  • Skal udnytte både mht. dataoverførsel og data-"storage" at langt de fleste filer vil være de samme i efterfølgende backups.
  • Hver backup skal se ud som en fuld backup med fuld katalog-struktur.
  • Skal kunne understøtte SSH (Secure Shell).
  • Skal være nemt på en Linux-maskine ![Eksternt billede](http://www.version2.dk/uploads/smil3dbd4d6422f04.gif" alt=")

Albackup (som hentes på http://www.adilock.dk/index.php?page=albackup) er et ret enkelt system som opfylder mine ønsker. Programmet er reelt set "bare" er en wrapper til rsync - men udviklet videre, så det er nemt at tilføje maskine efter maskine, der laves backup af til en central server (hvilket med fordel kan være en lav-effekt maskine med en dejlig stor ekstern USB-harddisk).
Jeg har haft albackup installeret i /etc/albackup, hvor jeg normalt blot kopiererer client_sample.conf, hvor jeg ændrer tre linier

  • Fra: BASEDIR="/home/backup"
  • Til: BASEDIR="/usbdisk"

hvor /usbdisk er der hvor jeg har monteret min backup-disk.

  • Fra: CLIENT="FromFile"
  • Til: CLIENT="Klientmaskine"

hvor "Klientmaskine" er den maskine, der skal laves backup af - og "Klientmaskine" enten er helt i DNS eller i /etc/hosts.

  • Fra: BACKUP_DIRS=(/boot /etc /bin /sbin /lib /home /usr /opt /var /root)
  • Til: BACKUP_DIRS=(/etc /home)

I dette eksempel vælger jeg kun at lave backup af /etc og /home. Albackup læser alle .conf-filer igennem og laver backup i BASEDIR. Her finder man et katalog per maskine, der laves backup af - og under et sådant katalog findes kataloger per backup-dato. Det super-smarte er at hver backup er fuld, men der anvendes hardlinks til den forrige backup for alle ikke-ændrede filer. Man kan således slette hver enkelt backup uden at skulle tænke på om det påvirker andre dages backup.

Artiklen fortsætter efter annoncen

For at gøre backup særlig nem, så kan man med fordel læse Johns vejledning om SSH opsætning, så dette login kan med fordel køres via ssh-agent+ssh-add så det kører autonomt.

Min erfaring med Albackup er god, og da jeg oftest "blot" lægger flere billeder ind erfarer jeg at det stort set koster tiden og pladsen for det nye data hver gang jeg laver backup. Dvs. det er markant hurtigere end en fuld backup.
Det eneste jeg mangler i Albackup er en mulighed for at få lavet automatisk sletning af backups så man f.eks. kører backup hver dag - men kun beholder en backup per måned hvis de er over en måned gamle. Med andre ord svarende til .snapshot kendt fra Netapp-maskiner.

Hvad bruger I selv til backup?

/pto

36 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
1
10. marts 2011 kl. 22:40

Jeg brugerhttp://www.dirvish.org/der ligner stort set alt det du beskriver til forveksling, en wrapper for rsync der bruger hard-links til incremental-backup osv. Der er også indbygget en expire-mekanisme.

  • og så findes den i ubuntu-repositoriet.
2
10. marts 2011 kl. 22:43

Jeg bruger tarsnap på mine freebsd maskiner. Og på de windows maskiner jeg har er der blevet brugt keepit (keepit.com).

3
10. marts 2011 kl. 22:51

Jeg bruger rdiff-backup som virker rimeligt ok, på nær lidt versionsbrok ind i mellem når Debian stable og unstable er for langt fra hinanden.

Hvad bruger folk på deres familiemedlemmers Windows XP-computere?

Jeg læste om et program i Politiken som jeg har prøvet at sætte op hos familien (jeg har glemt programmets navn; det er gratis og har en paddehat som logo), men det fylder hele tiden backup disken op, og kan ikke selv slette gamle backups, hvilket gør det ret meningsløst at bruge.

Nogle tips til noget der ligner albackup/dirvish/rdiff-backup i funktionalitet?

21
11. marts 2011 kl. 14:51

Som Kim Schulz også nævner, så fungerer Crashplan fortrinligt og er ikke særligt dyrt (og pt. giver de 10% rabat: http://www.crashplan.com/mozyonover).

Jeg synes især det er smart at du med den samme klient, nemt kan tage backup til lokale diske, familie/venner/bekendte med CrashPlan installeret samt CrashPlan's servere. Kun det sidste koster dollars.

Nye og ændrede filer bliver der taget backup stort set med det samme, i hvert fald når der tages backup til CrashPlan's servere. Der gemmes flere versioner af hver fil og filer kan også genskabes via deres hjemmeside.

I klienten har du samtidig et simpelt overblik, hvor en "progress bar" viser hvor godt hver backup-destination er up-to-date i %.

At klienten fås til Windows, Linux og Mac OS X er også svært at være utilfreds med.

Jeg har "solgt" CrashPlan til to familiemedlemmer, som jeg hjælper. Jeg selv bruger to Synology NAS - et hos mig og et hos min mor. De tager så backup på kryds.

I begge tilfælde er det slut med at huske at tilslutte eksterne diske og deponerer dem uden for hjemmet - skønt! :-)

22
11. marts 2011 kl. 17:20

jeg anvender amanda backup( http://www.amanda.org/ ) som jeg netop har fået sat op.

det tager backup af en remote nasbox(samba), min internet server(SSH), hjemmeserver og placerer det hele på en usb disk tilsluttet hjemmeserveren.

Backupprogrammet kører på min hjemmeserver.

Indtil videre ser det ud til at virke fornuftigt. Har kørt stabilt de sidste 20 dage.

8
11. marts 2011 kl. 02:21

BackupPC er robust overfor at man f.eks. omdøber en mappe i roden. Det er noget der i en rsync backup kan koste meget lagerplads.

9
11. marts 2011 kl. 09:00

Kan varmt anbefales til større IT setups. Platformsuafhængigt netværksbaseret system med understøttelse af kryptering samt øvrige gænge backup-funktioner. 4 ud 5 stjerne herfra. Opsætning er forholdsvis omstændig da den udelukkende foregår via tekstbaserede konfigurationsfiler.

10
11. marts 2011 kl. 09:51

Og væsentligt mere komplekst at sætte op end en simpel løsning som rdiff-backup.

Man slipper ikke for at sætte rotationshåndtering osv. op - også selvom man bare vil bruge en harddisk som lagermedie.

Hvis man kan nøjes med at al ens backup ligger på en stor logisk disk (f.ex. samlet vha. lvm af flere diske) (og evt. spejlet vha. rsync til en offsite disk) - så er rdiff-backup langt simplere at sætte op.

Så vil man have backup til bånd (for f.ex. at kunne putte dem i et brandskab/pengeskab eller lign.) så kan kun bacula (af de nævnte) levere varen.

Er man til simpel "løbende incremental" backup til én stor disk (eller en ekstra offsite) - så er rsync baserede løsninger sagen.

Jeg bruger selv rdiff-backup til kunder (jeg er konsulent ;) - som ikke har en båndstation og der er et dejligt simpelt webinterface man kan sætte op, således at man nemt kan restore forskellige revisioner af filer via browseren fra backup'en lavet af rdiff-backup. Der findes flere - jeg har gode erfaringer med: http://www.rdiffweb.org/wiki/index.php?title=Main_Page

Jeg har faktisk bare købt 2 stk. qnap NAS (den kører Linux) og installeret webinterfacet derpå - og sat det op så den der tager backup af serverne - sørger for at sync'e backup-kataloget over til den anden (som står på en anden lokation).

Det kan vist ikke gøres billigere, hvis det også skal være professionelt :)

14
11. marts 2011 kl. 10:34

Passer ikke. Jeg smed mine tapestreamere ud for et år siden og samler nu mine back-ups på en 1 TB stor e-sata opkoblet ekstern harddisk. Man har kunnet bruge harddisk baseret back-ups med bacula i årevis også mod DVD.

16
11. marts 2011 kl. 11:47

Sidst jeg brugte bacula til at lave backup til disk - skulle man stadig opsætte det som båndfiler den så skrev til på disken.

Det ser stadig ud som det skal bruges sådan:http://wiki.bacula.org/doku.php?id=removable_disk

Men hvis de har fået gjort det nemt at tage backup til disk - uden at skulle tage stilling til rotering af medier osv. er det da klart en god ting.

Det ændrer ikke ved at bacula er mere kompleks at sætte op end det mere simple som f.ex. rdiff-backup.

Det opfylder også forskellige krav/behov - bacula er efter min mening bare tungere at sætte op.

23
11. marts 2011 kl. 17:41

Den er stadig ikke bånddrevet. Hvis du vil have den til at skifte USB device bruger den de samme rutiner som skifter tape library, det er alt. Jeg har altid kun brugt én tapestreamer uden autochanger. Nu bruger jeg som sagt én harddisk, og der er ingen emulering af tape devices.

Men det er rigtigt, at config filerne er besværlige at sætte op. Det er bl.a. fordi, der er mange muligheder at tage stilling til, og de skal indsættes ved teksteditering. Så er det heller ikke værre, og når det én gang er gjort, så er skift til ny version piece of cake. Back-up afviklingen foretages tidsbaseret eller on demand ligesom restores, og helt efter personlig smag kan det styres ved CLI eller GUI.

24
12. marts 2011 kl. 10:38

Bacula bruger 3 komponenter: Styreenhed (director), Klient (file deamon) og lagerenhed (storage deamon). Alle 3 komponenter kan kan indgå i et system i vilkårligt antal. En storage deamon understøtter et væld at medier bl.a. en mængde tapestreamers (dyrt), DVD og så et "Fil medie". Rotation og tapestreamer er blot et tilvalg.

Bacula kan, som en af de eneste open source løsninger, lave backup til forskellige medier, placeret på forskellige maskiner og fra forskellige klienter. Selv om systemet er lidt omstændigt at komme ind, giver det ultimativ fleksibilitet og sikkerhed. Nye klienter og storages tilføjes blot efter behov - hvad enten der er "in-house" eller ude i byen. Om klient (og storage) er Windows, BSD, Linux, MacOS eller AIX for den sags skyld, er ligegyldigt.

http://www.bacula.org/en/dev-manual/main/main/Supported_Operating_Systems.html

26
12. marts 2011 kl. 21:06

Det minder mig om.. Har de endelig fået implementeret den "double-stream" eller kopierings funktionalitet - så man nemt kan få sin backup lagt på 2 lokationer - uden at skulle tage backup'en 2 gange ?

30
13. marts 2011 kl. 21:32

quote Har de endelig fået implementeret den "double-stream" eller kopierings funktionalitet - så man nemt kan få sin backup lagt på 2 lokationer - uden at skulle tage backup'en 2 gange ? /quote Jeg har ikke brugt faciliteten, men den blev implementeret i version 3.0.0, og nuværende version er 5.0.3.

31
14. marts 2011 kl. 05:51

@Erik: Hvilken af dem? double stream (ie. samtidig kopiering til 2 storage enheder) - eller en copy funktionalitet - så man kan tage et tidligere job og kopiere det til en anden storage enhed ?

Nu skrev du som om det problem var løst - så jeg googlede lige, og det ser ud til at det ikke fungerer særlig godt til det formål jeg nævnte - off-site backup:http://www.adsm.org/lists/html/Bacula-users/2010-08/msg00155.html

Der er ihvertfald flere der anbefaler rsync over bacula's funktionalitet her.

Men misforstå mig nu ikke - Bacula er et prima stykke software og har man en båndstation ville jeg klart anbefale det. Ellers vil jeg stadig tillade mig at mene at simple backup programmer som rdiff-backup er bedre egnet for de fleste, i kraft af dets simplicitet og den løbende diff backup (jeg så bacula havde fået noget deduplication) - som sikrer man aldrig har behov for at tage en fuld backup, når det først er gjort 1 gang.

36
16. marts 2011 kl. 16:05

Erik: Hvilken af dem? double stream (ie. samtidig kopiering til 2 storage enheder) - eller en copy funktionalitet - så man kan tage et tidligere job og kopiere det til en anden storage enhed ?

Som jeg forstod det, så drejer det sig om samtidig kopiering. Som sagt har jeg ikke brugt det, og sådan opfattede jeg det efter at have læst første afsnit i dokumentationen (læs main.pdf kapitel 7.2 side 29). Når jeg nu (lettere provokeret) læser videre, kan jeg se, at det er en back-up efterfulgt af en kopiering. De nævner f. eks. noget, de kalder DTDTT, disk-to-disk-to-tape, og det er sikkert den mulighed, brugerne har efterspurgt. Men altså ikke nogen samtidig kopiering.

27
12. marts 2011 kl. 21:24

Har de endelig fået implementeret den "double-stream" eller kopierings funktionalitet - så man nemt kan få sin backup lagt på 2 lokationer - uden at skulle tage backup'en 2 gange ?

Et job kan kun indeholde en Storage definition. Jeg sætter 2 jobs op men samme FileSet og Client. De køre så hver deres Storage, Pool og Schedule.

Indrømmet, jeg er ikke Bacula ekspert - jeg ved dog ikke lige hvordan det skulle konfigureres. Det er muligt man kan skrive til 2 forskellige devices i en storage demon ... ?

28
12. marts 2011 kl. 22:32

Jeg er nødt til lige at snige en reklame ind for eXdupe (www.exdupe.com) som vist opfylder dine 4 punkter. Vi er ved at finde kapital til at udvikle det til et full-blown produkt og på sigt en konkurrent til nogle af de rigtig store.

Men, det er dog ikke lige USB diske og båndstationer, som er målgruppen, da fokus er hastighed fremfor features. Det understøtter heller ikke jobs, men kan jo scriptes.

Hvis nogen har feedback må de hellere end gerne maile.

29
13. marts 2011 kl. 00:11

I øjeblikket tager jeg backup til en USB-disk (faktisk to som bliver synkroniseret) med et hjemmelavet skript der bruger rsync med hardlinks til gamle kopier.

Crashplan lyder som en interessant service at supplere med (på sigt måske et fuldstændigt skift). De skriver at de kræver Oracle Java 1.6, er der nogen der har prøvet med andre implementationer (specielt tænker jeg på OpenJDK)?

.Henrik

35
16. marts 2011 kl. 14:29

Crashplan virker ikke med den lettere defekte OpenJDK (i hvert fald ikke sidste gang jeg tjekkede). Det er noget med den måde den læser filstrukturen på disken som ikke virker med OpenJDK

32
14. marts 2011 kl. 09:35

Jeg har lige prøvet det med følgende :

java -version java version "1.6.0_21" OpenJDK Runtime Environment (IcedTea6 1.10pre) (6b21~pre3-0ubuntu1) OpenJDK 64-Bit Server VM (build 20.0-b10, mixed mode)

Virker fantastisk !

33
14. marts 2011 kl. 15:22

Bruger crashplan til backup til USB disk og til remote backup mellem familie og venner, det fungerer ret godt.

Derudover bruger jeg også min Synology NAS's indbyggede backup funktion (rsync) til at tage backup til min brors Synology NAS.

34
15. marts 2011 kl. 22:57

Her i lejligheden ligger alle dokumenter på serveren, der så via samba monteres direkte i dokument-folderen på alle maskiner, heriblandt en enkelt XP-maskine. Så der tages ikke backup af XP-maskinen, kun dokumenterne på serveren.

På alle Linux-maskiner (Desktop, Laptop, Server, N900) køres der et backupscript af egen avl (ikke incrementional, dog rotational) som cronjob (På N900 dog manuelt), der så ryger op på Dropbox (Med Packrat).

Skal lige have kigget nærmere på den nye selective Sync og kommandolinie setuo af denne, for at se om ikke det er muligt at rykke det hele ind på samme konto - lige nu kører serveren på en og desktop+N900 på deres egen, da serverens systemdisk ikke er jordens største (SSD).

Brugte førhen en 22Gb disk i et Sandberg USB-disk kabinet - men glemte det for ofte og valgte en online løsning, der har fungeret ganske fint i nogle år nu. Har for nyligt overvejet SpiderOak, i anledning af at tjenesten blev inkluderet med openSUSE - men jeg bliver foreløbig ved DB.

17
Indsendt af Martin Koch Andersen (ikke efterprøvet) den fre, 03/11/2011 - 12:09
18
11. marts 2011 kl. 12:22

Hver generation af backuppen er links til den samme inode, hvis der ikke er sket ændringer. Det ligner fuldstændigt en normal struktur, og kan behandles med de sædvanlige filsystem-værktøjer.

Som default gemmes backup for hver dag en uge tilbage, den første dag i ugen en måned tilbage, den første dag i måneden et år tilbage, og den første dag i året.

Seneste version er 0.5.9 fra 2006-09-14, men så har man da ingen problemer med bagudkompatibilitet :-)

19
11. marts 2011 kl. 12:59

...jeg har købt et abonnement hos crashplan.com til $5/md ialt for alle husets maskiner og fri plads. De har en fin linux klient som kører som en service og så er der en grafisk brugerflade hvis man let vil konfigurere det. Der er selvfølgelig også et webinterface på deres hjemmeside til at se status mm. Man kan tilføje de mapper man ønsker at lave backup af og sætte hvor ofte der skal laves inkremental henholdsvis fuld backup. Der er selvfølgelig også en fin gui klient til win og mac hvis man er til den slags perversiteter. Har man lyst, så kan man stille på alt mulige lige fra cpu/mem forbrug til filetype exclusion og båndbrede forbrug. Simpelt og enkelt og jeg har stadig mine filer selv om min lokale NAS med backup bliver stjålet eller huset brænder. Nåja man kan også ganske gratis bruge deres klient til at lave backup hos venner (eller på andre computere i hjemmet). Det er jo en let løsning hvis man nu bytter "backup" plads med en ven eller familiemedlem.

20
Indsendt af Peter Binderup (ikke efterprøvet) den fre, 03/11/2011 - 14:40

Jeg bruger Arqbackup til Mac, som er et backup program der benytter Amazon S3 som lager. Udvikleren har også udgivet et Open Source program som kan lave restore af ens data.

Ellers bruger jeg Chronosync samt Chronosync Agent til at tage backup af vores Macs op mod vores NAS - og inden alt for længe vil der blive lavet en remote rsync mellem mine svigerforældres NAS og vores (de skal lige have smidt fiber ind).

11
11. marts 2011 kl. 10:08

Laver daglig, ugentlig og månedlig backups. Anvender hardlinks til at undgå duplikater. Robust. F.eks. checker rsnapshot for at destination-medie er mount'et før backup - for ikke at fylde source-disken op. Kan anbefales.http://rsnapshot.org/

12
11. marts 2011 kl. 10:30
  • div hjemmelavede sh scripts. Bruger oftest --backup optionen og holder mellem 3 og 12 måneder bagud.
13
11. marts 2011 kl. 10:31

Jeg har faktisk overvejet at benytte Poul-Henning Kamps Stow http://phk.freebsd.dk/Stow/ - da det kan håndtere at man flytter filerne/har dem dubleret (da den gemmer checksum for alle filer).

Det er nemlig mit største problem - alle vores billeder ryger ind i unsorted - og når jeg så får tid til at sortere dem - ryger de lige ud over linien til backup serveren igen :(

7
11. marts 2011 kl. 01:32

http://duplicity.nongnu.org/

Backup sker til et share på min home server, som en gang i døgnet bliver rsync'ed til en offsite location (rsync.net).

På grund af dette "cloud" element, er client-side kryptering af backup'en vigtig for mig, og det klarer duplicity med gnupg.