Fem backup-systemer svigter efter GitLab.com sletter tonsvis af data ved en fejl

2. februar 2017 kl. 10:497
Sysadmin på overarbejde fjernede over 300 gigabyte fra kode-platformen.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Kode-platformen GitLab.com har mistet over 300 gigabyte produktionsdata, efter fem ud af fem backup-løsninger fejlede.

Det skriver The Register.

Tirsdag aften begyndte startup-selskabet at melde om problemer med produktionsdatabasen, efter en træt sysadmin i Holland ved en fejl slettede en mappe på den forkerte server.

Remote video URL

Artiklen fortsætter efter annoncen

Ud af 310 gigabyte produktionsdata var 4,5 tilbage, da han fik annulleret kommandoen.

Men det var så først her, at de egentlige problemer begyndte for GitLab.com. I et Google Docs-dokument har selskabet delt al arbejdet med at genskabe de tabte data:

‘Ud af fem backup/replication-teknikker implementeret har ingen virket pålideligt eller været sat op ordentligt i første omgang,’ erkender GitLab.

Selskabet konkluderer blandt andet, at en backup til ‘S3’ var tom, og at den almindelige backup - der kører en gang i døgnet - kun har produceret en fil på nogle få bytes. Oven i hatten har GitLab ikke haft nogle solide notifikationssystemer på plads, der kunne have advaret om, at backup-systemerne fejlede.

Ved et tilfælde blev der dog taget en manuel backup seks timer før, fejlen skete. Den er nu ved at blive genskabt.

Den slettede data tæller ikke de egentlige Git-repositories. Til gengæld er mange issues, kommentarer og brugere tabt.

7 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
6
3. februar 2017 kl. 09:58

Steen, det er korrekt, det er nemt, trods det er der stadig nogle der faktisk står indenfor deres arbejde:-)

Du er velkommen til at sige til, vi kan og vil gerne hjælpe dig med backup af de områder, hvorpå du er udfordret.

5
2. februar 2017 kl. 20:35

Siden hackere nukede vores online subversion host for 2,5 år siden, har vi selv håndteret vore kritiske services. Det var CodeSpaces, produktionsdata og alle backups på AWS blev slettet af hackere. Hvorfor skulle jeg stole på at nogle tilfældige mennesker er bedre til at passe på mine ting end jeg selv er? Det er nemt at skrive et par rosenrøde sætninger på en hjemmeside, men hvor mange faktachecker rent faktisk deres cloud-leverandør?

Lige nu benytter vi Office365, men det er jeg faktisk heller ikke specielt tryg ved. Microsoft er et lækkert mål for hackere, så risikoen er bestemt til stede. Og typisk for Microsoft, så er det jo ikke ligetil at skaffe sig egne backups af O365 Exchange og Sharepoint data.

4
2. februar 2017 kl. 16:55

Som de gamle UNIXguruer skrev for flere årtier siden "hvis den anden sikkerhedskopi heller ikke virker, så er der kun een løsning, sæt dig hen i en krog og græd" ??

3
2. februar 2017 kl. 16:04

Fandme ærgerligt for GitLabs (og deres kunder...) - men som Sidsel skriver, hatten af for deres åbenhed.

Og hvad kan vi så lære? Jeg ser umiddelbart to ret vigtige pointer:

  1. pas på med at stole for meget på *-as-a-service og ze big magic cloud.
  2. du har ikke en backup-strategi, hvis du ikke har verificerede test-restores.
2
2. februar 2017 kl. 11:39

Man bør give Gitlab-folkene et hat-tip for åbenheden under og efter nedbruddet - den var og er forbilledlig :-)

1
2. februar 2017 kl. 11:39

..er dette vel den bedste "undskyldning" for at der er blevet lusket bagdøre ind hist, og hér...

Naaaa,,,

K