Incrementel backup med Adilock

Jeg har fået flere spørgsmål om hvad jeg bruger til at lave backup. Jeg har de sidste mange år kørt Albackup som er lavet af John Mørck Hansen (med hjælp fra Hans Schou i sin tid).

Mine krav til backup var (og er);

  • Skal udnytte både mht. dataoverførsel og data-"storage" at langt de fleste filer vil være de samme i efterfølgende backups.
  • Hver backup skal se ud som en fuld backup med fuld katalog-struktur.
  • Skal kunne understøtte SSH (Secure Shell).
  • Skal være nemt på en Linux-maskine ![Eksternt billede](http://www.version2.dk/uploads/smil3dbd4d6422f04.gif" alt=")

Albackup (som hentes på http://www.adilock.dk/index.php?page=albackup) er et ret enkelt system som opfylder mine ønsker. Programmet er reelt set "bare" er en wrapper til rsync - men udviklet videre, så det er nemt at tilføje maskine efter maskine, der laves backup af til en central server (hvilket med fordel kan være en lav-effekt maskine med en dejlig stor ekstern USB-harddisk).
Jeg har haft albackup installeret i /etc/albackup, hvor jeg normalt blot kopiererer client_sample.conf, hvor jeg ændrer tre linier

  • Fra: BASEDIR="/home/backup"
  • Til: BASEDIR="/usbdisk"

hvor /usbdisk er der hvor jeg har monteret min backup-disk.

  • Fra: CLIENT="FromFile"
  • Til: CLIENT="Klientmaskine"

hvor "Klientmaskine" er den maskine, der skal laves backup af - og "Klientmaskine" enten er helt i DNS eller i /etc/hosts.

  • Fra: BACKUP_DIRS=(/boot /etc /bin /sbin /lib /home /usr /opt /var /root)
  • Til: BACKUP_DIRS=(/etc /home)

I dette eksempel vælger jeg kun at lave backup af /etc og /home. Albackup læser alle .conf-filer igennem og laver backup i BASEDIR. Her finder man et katalog per maskine, der laves backup af - og under et sådant katalog findes kataloger per backup-dato. Det super-smarte er at hver backup er fuld, men der anvendes hardlinks til den forrige backup for alle ikke-ændrede filer. Man kan således slette hver enkelt backup uden at skulle tænke på om det påvirker andre dages backup.

For at gøre backup særlig nem, så kan man med fordel læse Johns vejledning om SSH opsætning, så dette login kan med fordel køres via ssh-agent+ssh-add så det kører autonomt.

Min erfaring med Albackup er god, og da jeg oftest "blot" lægger flere billeder ind erfarer jeg at det stort set koster tiden og pladsen for det nye data hver gang jeg laver backup. Dvs. det er markant hurtigere end en fuld backup.
Det eneste jeg mangler i Albackup er en mulighed for at få lavet automatisk sletning af backups så man f.eks. kører backup hver dag - men kun beholder en backup per måned hvis de er over en måned gamle. Med andre ord svarende til .snapshot kendt fra Netapp-maskiner.

Hvad bruger I selv til backup?

/pto

Kommentarer (36)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Adam Sjøgren

Jeg bruger rdiff-backup som virker rimeligt ok, på nær lidt versionsbrok ind i mellem når Debian stable og unstable er for langt fra hinanden.

Hvad bruger folk på deres familiemedlemmers Windows XP-computere?

Jeg læste om et program i Politiken som jeg har prøvet at sætte op hos familien (jeg har glemt programmets navn; det er gratis og har en paddehat som logo), men det fylder hele tiden backup disken op, og kan ikke selv slette gamle backups, hvilket gør det ret meningsløst at bruge.

Nogle tips til noget der ligner albackup/dirvish/rdiff-backup i funktionalitet?

  • 0
  • 0
Carsten Sonne

Kan varmt anbefales til større IT setups. Platformsuafhængigt netværksbaseret system med understøttelse af kryptering samt øvrige gænge backup-funktioner. 4 ud 5 stjerne herfra. Opsætning er forholdsvis omstændig da den udelukkende foregår via tekstbaserede konfigurationsfiler.

  • 0
  • 0
Klavs Klavsen

Og væsentligt mere komplekst at sætte op end en simpel løsning som rdiff-backup.

Man slipper ikke for at sætte rotationshåndtering osv. op - også selvom man bare vil bruge en harddisk som lagermedie.

Hvis man kan nøjes med at al ens backup ligger på en stor logisk disk (f.ex. samlet vha. lvm af flere diske) (og evt. spejlet vha. rsync til en offsite disk) - så er rdiff-backup langt simplere at sætte op.

Så vil man have backup til bånd (for f.ex. at kunne putte dem i et brandskab/pengeskab eller lign.) så kan kun bacula (af de nævnte) levere varen.

Er man til simpel "løbende incremental" backup til én stor disk (eller en ekstra offsite) - så er rsync baserede løsninger sagen.

Jeg bruger selv rdiff-backup til kunder (jeg er konsulent ;) - som ikke har en båndstation og der er et dejligt simpelt webinterface man kan sætte op, således at man nemt kan restore forskellige revisioner af filer via browseren fra backup'en lavet af rdiff-backup. Der findes flere - jeg har gode erfaringer med: http://www.rdiffweb.org/wiki/index.php?title=Main_Page

Jeg har faktisk bare købt 2 stk. qnap NAS (den kører Linux) og installeret webinterfacet derpå - og sat det op så den der tager backup af serverne - sørger for at sync'e backup-kataloget over til den anden (som står på en anden lokation).

Det kan vist ikke gøres billigere, hvis det også skal være professionelt :)

  • 0
  • 0
Klavs Klavsen

Jeg har faktisk overvejet at benytte Poul-Henning Kamps Stow http://phk.freebsd.dk/Stow/ - da det kan håndtere at man flytter filerne/har dem dubleret (da den gemmer checksum for alle filer).

Det er nemlig mit største problem - alle vores billeder ryger ind i unsorted - og når jeg så får tid til at sortere dem - ryger de lige ud over linien til backup serveren igen :(

  • 0
  • 0
Klavs Klavsen

Sidst jeg brugte bacula til at lave backup til disk - skulle man stadig opsætte det som båndfiler den så skrev til på disken.

Det ser stadig ud som det skal bruges sådan:
http://wiki.bacula.org/doku.php?id=removable_disk

Men hvis de har fået gjort det nemt at tage backup til disk - uden at skulle tage stilling til rotering af medier osv. er det da klart en god ting.

Det ændrer ikke ved at bacula er mere kompleks at sætte op end det mere simple som f.ex. rdiff-backup.

Det opfylder også forskellige krav/behov - bacula er efter min mening bare tungere at sætte op.

  • 0
  • 0
Leif Neland

Hver generation af backuppen er links til den samme inode, hvis der ikke er sket ændringer.
Det ligner fuldstændigt en normal struktur, og kan behandles med de sædvanlige filsystem-værktøjer.

Som default gemmes backup for hver dag en uge tilbage, den første dag i ugen en måned tilbage, den første dag i måneden et år tilbage, og den første dag i året.

Seneste version er 0.5.9 fra 2006-09-14, men så har man da ingen problemer med bagudkompatibilitet :-)

  • 0
  • 0
Kim Schulz

...jeg har købt et abonnement hos crashplan.com til $5/md ialt for alle husets maskiner og fri plads. De har en fin linux klient som kører som en service og så er der en grafisk brugerflade hvis man let vil konfigurere det. Der er selvfølgelig også et webinterface på deres hjemmeside til at se status mm.
Man kan tilføje de mapper man ønsker at lave backup af og sætte hvor ofte der skal laves inkremental henholdsvis fuld backup.
Der er selvfølgelig også en fin gui klient til win og mac hvis man er til den slags perversiteter.
Har man lyst, så kan man stille på alt mulige lige fra cpu/mem forbrug til filetype exclusion og båndbrede forbrug.
Simpelt og enkelt og jeg har stadig mine filer selv om min lokale NAS med backup bliver stjålet eller huset brænder.
Nåja man kan også ganske gratis bruge deres klient til at lave backup hos venner (eller på andre computere i hjemmet). Det er jo en let løsning hvis man nu bytter "backup" plads med en ven eller familiemedlem.

  • 0
  • 0
Anonym

Jeg bruger Arqbackup til Mac, som er et backup program der benytter Amazon S3 som lager. Udvikleren har også udgivet et Open Source program som kan lave restore af ens data.

Ellers bruger jeg Chronosync samt Chronosync Agent til at tage backup af vores Macs op mod vores NAS - og inden alt for længe vil der blive lavet en remote rsync mellem mine svigerforældres NAS og vores (de skal lige have smidt fiber ind).

  • 0
  • 0
Rasmus Rask

Som Kim Schulz også nævner, så fungerer Crashplan fortrinligt og er ikke særligt dyrt (og pt. giver de 10% rabat: http://www.crashplan.com/mozyonover).

Jeg synes især det er smart at du med den samme klient, nemt kan tage backup til lokale diske, familie/venner/bekendte med CrashPlan installeret samt CrashPlan's servere. Kun det sidste koster dollars.

Nye og ændrede filer bliver der taget backup stort set med det samme, i hvert fald når der tages backup til CrashPlan's servere. Der gemmes flere versioner af hver fil og filer kan også genskabes via deres hjemmeside.

I klienten har du samtidig et simpelt overblik, hvor en "progress bar" viser hvor godt hver backup-destination er up-to-date i %.

At klienten fås til Windows, Linux og Mac OS X er også svært at være utilfreds med.

Jeg har "solgt" CrashPlan til to familiemedlemmer, som jeg hjælper. Jeg selv bruger to Synology NAS - et hos mig og et hos min mor. De tager så backup på kryds.

I begge tilfælde er det slut med at huske at tilslutte eksterne diske og deponerer dem uden for hjemmet - skønt! :-)

  • 0
  • 0
Mikkel Bundgaard

jeg anvender amanda backup( http://www.amanda.org/ ) som jeg netop har fået sat op.

det tager backup af en remote nasbox(samba), min internet server(SSH), hjemmeserver og placerer det hele på en usb disk tilsluttet hjemmeserveren.

Backupprogrammet kører på min hjemmeserver.

Indtil videre ser det ud til at virke fornuftigt. Har kørt stabilt de sidste 20 dage.

  • 0
  • 0
Erik P. Olsen

Den er stadig ikke bånddrevet. Hvis du vil have den til at skifte USB device bruger den de samme rutiner som skifter tape library, det er alt. Jeg har altid kun brugt én tapestreamer uden autochanger. Nu bruger jeg som sagt én harddisk, og der er ingen emulering af tape devices.

Men det er rigtigt, at config filerne er besværlige at sætte op. Det er bl.a. fordi, der er mange muligheder at tage stilling til, og de skal indsættes ved teksteditering. Så er det heller ikke værre, og når det én gang er gjort, så er skift til ny version piece of cake. Back-up afviklingen foretages tidsbaseret eller on demand ligesom restores, og helt efter personlig smag kan det styres ved CLI eller GUI.

  • 0
  • 0
Carsten Sonne

Bacula bruger 3 komponenter: Styreenhed (director), Klient (file deamon) og lagerenhed (storage deamon). Alle 3 komponenter kan kan indgå i et system i vilkårligt antal. En storage deamon understøtter et væld at medier bl.a. en mængde tapestreamers (dyrt), DVD og så et "Fil medie". Rotation og tapestreamer er blot et tilvalg.

Bacula kan, som en af de eneste open source løsninger, lave backup til forskellige medier, placeret på forskellige maskiner og fra forskellige klienter. Selv om systemet er lidt omstændigt at komme ind, giver det ultimativ fleksibilitet og sikkerhed. Nye klienter og storages tilføjes blot efter behov - hvad enten der er "in-house" eller ude i byen. Om klient (og storage) er Windows, BSD, Linux, MacOS eller AIX for den sags skyld, er ligegyldigt.

http://www.bacula.org/en/dev-manual/main/main/Supported_Operating_System...

  • 0
  • 0
Carsten Sonne

Har de endelig fået implementeret den "double-stream" eller kopierings funktionalitet - så man nemt kan få sin backup lagt på 2 lokationer - uden at skulle tage backup'en 2 gange ?

Et job kan kun indeholde en Storage definition. Jeg sætter 2 jobs op men samme FileSet og Client. De køre så hver deres Storage, Pool og Schedule.

Indrømmet, jeg er ikke Bacula ekspert - jeg ved dog ikke lige hvordan det skulle konfigureres. Det er muligt man kan skrive til 2 forskellige devices i en storage demon ... ?

  • 0
  • 0
Lasse Reinholt

Jeg er nødt til lige at snige en reklame ind for eXdupe (www.exdupe.com) som vist opfylder dine 4 punkter. Vi er ved at finde kapital til at udvikle det til et full-blown produkt og på sigt en konkurrent til nogle af de rigtig store.

Men, det er dog ikke lige USB diske og båndstationer, som er målgruppen, da fokus er hastighed fremfor features. Det understøtter heller ikke jobs, men kan jo scriptes.

Hvis nogen har feedback må de hellere end gerne maile.

  • 0
  • 0
Henrik Christian Grove

I øjeblikket tager jeg backup til en USB-disk (faktisk to som bliver synkroniseret) med et hjemmelavet skript der bruger rsync med hardlinks til gamle kopier.

Crashplan lyder som en interessant service at supplere med (på sigt måske et fuldstændigt skift). De skriver at de kræver Oracle Java 1.6, er der nogen der har prøvet med andre implementationer (specielt tænker jeg på OpenJDK)?

.Henrik

  • 0
  • 0
Erik P. Olsen

quote
Har de endelig fået implementeret den "double-stream" eller kopierings funktionalitet - så man nemt kan få sin backup lagt på 2 lokationer - uden at skulle tage backup'en 2 gange ?
/quote
Jeg har ikke brugt faciliteten, men den blev implementeret i version 3.0.0, og nuværende version er 5.0.3.

  • 0
  • 0
Klavs Klavsen

@Erik: Hvilken af dem? double stream (ie. samtidig kopiering til 2 storage enheder) - eller en copy funktionalitet - så man kan tage et tidligere job og kopiere det til en anden storage enhed ?

Nu skrev du som om det problem var løst - så jeg googlede lige, og det ser ud til at det ikke fungerer særlig godt til det formål jeg nævnte - off-site backup:
http://www.adsm.org/lists/html/Bacula-users/2010-08/msg00155.html

Der er ihvertfald flere der anbefaler rsync over bacula's funktionalitet her.

Men misforstå mig nu ikke - Bacula er et prima stykke software og har man en båndstation ville jeg klart anbefale det. Ellers vil jeg stadig tillade mig at mene at simple backup programmer som rdiff-backup er bedre egnet for de fleste, i kraft af dets simplicitet og den løbende diff backup (jeg så bacula havde fået noget deduplication) - som sikrer man aldrig har behov for at tage en fuld backup, når det først er gjort 1 gang.

  • 0
  • 0
Peter Jespersen

Her i lejligheden ligger alle dokumenter på serveren, der så via samba monteres direkte i dokument-folderen på alle maskiner, heriblandt en enkelt XP-maskine. Så der tages ikke backup af XP-maskinen, kun dokumenterne på serveren.

På alle Linux-maskiner (Desktop, Laptop, Server, N900) køres der et backupscript af egen avl (ikke incrementional, dog rotational) som cronjob (På N900 dog manuelt), der så ryger op på Dropbox (Med Packrat).

Skal lige have kigget nærmere på den nye selective Sync og kommandolinie setuo af denne, for at se om ikke det er muligt at rykke det hele ind på samme konto - lige nu kører serveren på en og desktop+N900 på deres egen, da serverens systemdisk ikke er jordens største (SSD).

Brugte førhen en 22Gb disk i et Sandberg USB-disk kabinet - men glemte det for ofte og valgte en online løsning, der har fungeret ganske fint i nogle år nu. Har for nyligt overvejet SpiderOak, i anledning af at tjenesten blev inkluderet med openSUSE - men jeg bliver foreløbig ved DB.

  • 0
  • 0
Erik P. Olsen

Erik: Hvilken af dem? double stream (ie. samtidig kopiering til 2 storage enheder) - eller en copy funktionalitet - så man kan tage et tidligere job og kopiere det til en anden storage enhed ?

Som jeg forstod det, så drejer det sig om samtidig kopiering. Som sagt har jeg ikke brugt det, og sådan opfattede jeg det efter at have læst første afsnit i dokumentationen (læs main.pdf kapitel 7.2 side 29). Når jeg nu (lettere provokeret) læser videre, kan jeg se, at det er en back-up efterfulgt af en kopiering. De nævner f. eks. noget, de kalder DTDTT, disk-to-disk-to-tape, og det er sikkert den mulighed, brugerne har efterspurgt. Men altså ikke nogen samtidig kopiering.

  • 0
  • 0
Log ind eller Opret konto for at kommentere