Netgroup-kunde var lovet backup - mistede hele databasen ved nedbrud
Da cloud-platformen hos hostingfirmaet Netgroup gik ned i sidste uge, var Morten Trolle i første omgang ikke så bekymret. Der havde flere gange været udfald på platformen i det halve år, hans firma Ontv.dk havde brugt Netgroups sky.
Men denne gang var konsekvenserne i en anden skala. Serverne hos Netgroup kom aldrig op at køre igen som de skulle, for alle data var tabt. Det kommer nu til at tage flere måneder at komme på fode igen, vurderer direktør Morten Trolle.
»Vi blev for alvor bange, da det gik op for os, at data var tabt. Ville det lukke vores firma? Heldigvis havde vores tidligere leverandør Gigahost stadig vores gamle hardware stående i samme stand, som da de blev slukket i november, og de gik all in på at hjælpe os tilbage i produktion og har været ekstremt hjælpsomme,« siger Morten Trolle til Version2.
Ontv.dk driver en hjemmeside med tv-programmer, men den primære forretning er at sælge programoversigter for 1.400 tv-kanaler til selskaber som Stofa og Waoo. Det sker ved at hente data fra tv-stationernes hjemmesider, hvilket kræver konfiguration for hver station. Sammen med databasen over indhentede data forsvandt al ny konfiguration siden november ved nedbruddet.
I løbet af to meget hektiske døgn fik Ontv.dk hentet data ind for tusind af de 1.400 kanaler og kom op og køre igen på den gamle hardware. 12.000 data-mails blev parset i løbet af de to døgn.
»De fleste af vores produkter er online nu, men det kommer til at tage tre måneder, før vi er tilbage på det punkt, vi forlod den 15. maj,« siger Morten Trolle.
»Vi har lært lektien om backup«
Han erkender, at Ontv.dk selv skulle have sikret sig med en løbende backup, for at undgå den slags katastrofer.
»Vi havde ikke tænkt over, at det kunne gå så galt, som det gik her. Vi har nok været lidt naive, og vi påtager os også, at vi selv er skyld i, at vi står her i dag. Backup var noget, vi helt sikkert skulle have sat op en dag, men lige nu og her var fokus på at vækste. Nu har vi lært lektien,« siger han.
Men en af grundene til, at en ekstern backup-løsning blev udskudt, var at Ontv.dk havde fået at vide, at Netgroup tog backup af hele platformen internt.
»Vi fik at vide af Netgroup-sælgeren, at der var intern backup, så der ikke var noget at være bange for. Så vi havde en forventning om, at hvis platformen gik ned, ville det hele blive genskabt. Vi havde ikke i vores vildeste drømme troet, at det kunne ende sådan her,« siger Morten Trolle.
Backup-meldingen kom mundtligt, og Netgroup har ikke på skrift garanteret en backup. Til gengæld har hele kommunikationen om cloud-platformen været meget langt fra det, Netgroups direktør Finn Vagner fortalte Version2 efter nedbruddet - nemlig at produktet var beregnet til test- og udviklingsservere, ikke produktion.
»Det var meget forbløffende. Og det er noget fis, for der har aldrig været sådan en retorik omkring deres cloud. Jeg blev faktisk ret arrig over, at han kom med de udtalelser, for det er som om, de skubber ansvaret fra dem,« siger Morten Trolle.
Skiftet til Netgroups cloud-miljø skete, fordi Ontv.dk gerne ville undgå at drive egne servere. Og med tiden vil Morten Trolle gerne tilbage til en sky-løsning.
»Vi er meget interesserede i konceptet, for det er genialt at man bare kan skalere op og ned. Men jeg tror ikke, at det bliver Netgroup, som får chancen igen,« siger han til Version2.
Kommentarer (21)
Hvor almindeligt er det at et firma ikke selv står for backup af deres data, men istedet for stoler på at et andet firma kan gøre det for dem ?
PS. ontv.dk havde vitterligt travlt med at skrive deres kundebesked, eftersom de forvekslede lægge med ligge.
-
1 -
33
Formentlig udbredt, de færreste firmaer der har backup som deres spids-kompetence, de fleste er godt klar over, at der er andre firmaer, der har mere forstand på det end dem selv..
-
23
-
1
PS. ontv.dk havde vitterligt travlt med at skrive deres kundebesked, eftersom de forvekslede lægge med ligge.
Og du havde tilsyneladende mindst ligeså travlt med at forfatte dit indlæg, eftersom det hedder "i stedet". Der skal heller ikke være mellemrum før "?".
Og ja, ovenstående er vanvittigt ligegyldigt, men når man brokker sig over folks stavning, så bør man feje for egen dør først.
-
28
-
0
e fleste er godt klar over, at der er andre firmaer, der har mere forstand på det end dem selv..
Det er dybt problematisk at en leverandør på den her måde er løbet fra alt der hedder fornuftigt ansvar. Først med påstanden om at miljøet ikke er til produktion. Dernæst at der for flere kunder ikke har været en reel backup løsning.
I min optik har en leverandør en forbandet pligt til at vejlede deres kunder meget mere grundigt i produkterne/tjenester de køber. Det kan vel ikke være svære end at spørge sin kunde "Har du taget stilling til en backup løsning?" Det er måske for dyrt at tilføje et 11. spørgsmål til deres checkout list?
Jeg tager mig til hovedet og tanken rammer mig: Rigtige mænd græder ikke over tabt backup - jo de gør!
-
10
-
0
I min optik er der ikke noget galt med eksterne backup løsninger, men Ontv.dk har tilsyneladende forsømt at gennemføre en risikoanalyse, udarbejde en beredskabsplan og foretage business continuity planning. Noget rigtig mange firmaer forsømmer. Et af punkterne kunne være en periodisk kontrol af, om backup systemet nu også fungerer som forventet. Tages backuppen og kan den - eller dele deraf - restores....
Just my 2 cents.
-
7
-
1
Ved sikkerhedskopiering er ikke om den bliver kørt. Men i meget højere grad om man kan læse den igen.
-
5
-
0
For mig at se er der tale om en umoden Cloud-leverandør der har sendt en håndfuld dygtige sælgere ud og sælge et ufærdigt produkt. Det er jo tydeligt når direktøren bagefter siger at det kun var egnet til "test" og den slags.
Og så har det ramt en håndfuld håbefulde stakler der har tænkt: "Det der Cloud, det skal vi da osse ha".
Intet nyt under solen... Men det er naturligvis synd for dem det er gået ud over, og Netgroup bør have grillet bollerne over en sagte ild.
PS: Det er helt normalt at man lader dem der hoster ens løsning stå for backup. Men hvem har prøvet en restore?
-
11
-
0
Så er man selv i sidste ende altid ansvarlig for, at backup bliver udført, bliver opbevaret forsvarligt, og kan reetableres.
-
5
-
6
Først vil jeg gerne sige at man "burde" kunne smide sine data ud på en serverplads man har købt uden at skulle tænke på backup. Jeg tilstår gerne det ikke er noget jeg har undersøgt men der er vel enormt få firmaer her i landet som udbyder hosting til firmaer uden at backup er medregnet da det som tit ender med problemer når noget går galt og om ikke andet mister leverandør en kunde. Dertil skal det også siges at man burde læse sin kontrakt godt igennem inden man skriver under og alt andet er uklogt, sælgere lover guld og grønne skove pga deres provision og det har de altid gjort så det kan ikke komme bag på nogen. Jeg ville personligt aldrig tage offsite backup på et system jeg har betalt for der tages backup af, men jeg ville dog også sikre mig at de vigtige lovede ting som eks backup rent faktisk er skrevet ind i kontrakt.
Der er vel for ontv ikke så meget andet at gøre end at kode forfra og sikre sig næste gang man smider ting i prod på systemer man ikke selv har 100% kontrol over.
Jeg håber alle der har købt denne service ender med at skifte udbyder så Netgroup lære noget af denne sag, de burde aldrig tages seriøse igen og skulle man gøre det er man altså selv uden om det da det er tydeligt de er nogle fuskere som man bestemt ikke burde overlade sine forretnings kritiske servere til!
(der er 99% sikkert mere end 1 stave/gramatiske fejl og det bekymre mig ikke, i ved nok hvad der menes)
-
0
-
0
Vi havde forleden dag en artikel om at netgroups billig cloud ikke kom med backup, så den eksterne consulent tilbød backup som en del af deres pakke omkring netgroups cloud.
Så er det løgn og latin fra Version2 side at netgroup cloud pludselig har backup som en del af den?
-
1
-
8
Kan kun grine lidt af det - "If you want the job done right, do it your self" - Cloud er KUN for private !!! Der findes ingen nemme løsninger !
-
2
-
2
@Steen - Ontv.dk havde mundtligt fået at vide af sælgerne, at der blev taget backup internt, så man kunne genskabe data ved nedbrud. Men det indgår ikke formelt i produktet, så rent juridisk har Netgroup ikke noget i klemme i den forbindelse.
vh.
Jesper, Version2.
-
4
-
1
Sælgere er parat til at sige hvadsomhelst for at få kunden til at købe...
Og hvem vil sælge en Cloud-løsning hvor man ikke kan genskabe kundernes setup hvis skidtet går ned?
-
3
-
1
Det lyder nærmere som om, at der er blevet byttet rundt på betegnelserne "raid" og "fjerntliggende backup" i de mundtlige samtaler med sælgeren, eller at man har nævnt der kan tilkøbes backup. Hvis der har været tale om "raid", er det jo sandt, at man vil kunne genskabe alt uden problemer, såfremt en disk eller to ryger i SAN'et. Hvorom alting er - hvis ikke der står i kontrakten med Netgroup at der er backup, er det måske lidt optimistisk at forvente det.
Det er bl.a. derfor vi tilbyder ekstern backup til alle kunder vi er i kontakt med - for det er desværre ikke noget, som alle er opmærksomme på.
Så hvad er "nyheden" her? At kunden ikke forstår sælgeren eller at kunden ikke har læst sin kontrakt igennem?
Jeg er noget overrasket over, hvordan V2's læsere æder det hele ukritisk. Citeringerne af Finn V. er jo også kun delvise - der mangler jo den del, hvor han siger, at det sagtens kan bruges til drift og produktion, sålænge man er klar over hvordan systemet fungerer og man tager sine forbehold (fx. backup!). For et lidt andet syn på sagen kan jeg henvise til min egen blog på https://meebox.net/da/nedbrud-i-skyen-hvad-skete-der/2922 - der er lidt mindre fokus på manden og lidt mere fokus på bolden.
God weekend!
-
3
-
5
"Vi fik at vide af Netgroup-sælgeren,"
At stole blindt på en sælger er vist også lidt naivt...
-
4
-
3
En ting er at backup ikke er inkluderet men det ændrer ikke ved at systemet som helhed burde have en backup. Jeg taler ikke om hvad der står i kontrakterne, men om hvad Netgroup burde have sørget for og hvad de forhåbentligt begynder at gøre i fremtiden.
Det var for dumt af Ontv.dk ikke at have backup. Ligeledes er det for dumt af Netgroup ikke at have backup.
Det er immervæk forskel på om mit system går tabt på grund af en fejl jeg begår eller på grund af en fejl hos udbyderen. En udbyder bør sikre sig at de kan rede dagen når der begås fejl af dem selv.
En billig daglig backup kunne have redet Netgroup fra meget badwill i denne sag.
-
2
-
0
Selvfølgelig er det rart at overlade den daglige backup til et firma, men man bør som minimum lave en ugentlig ned til sig selv på sin egen lokation og til en helt ekstern, det skal ikke kun ligge 1 sted.
-
1
-
0
Nej, det er juridisk ligegyldigt om ting er lovet mundtligt eller skriftligt ( https://www.retsinformation.dk/Forms/R0710.aspx?id=59133 )
Om Contracter og Forpligter
- Een hver er pligtig at efterkomme hvis hand med Mund, Haand og Segl, lovet og indgaaet haver.
Sådan har det været i mere end 300 år. Problemet er bevisbyrden.
Så det er - især med tidens teknologi, der gør det let - ustyrligt dumt ikke at sikre sig dokumentation ved f.eks. at optage alt hvad man bliver udlovet ifm et køb.
Og lige så dumt, hvis man ikke efterfølgende løbende ved forespørgsel eller kontrol checker op på om produktet eller ydelsen også i praksis modsvarer det udlovede.
Smartest er det seføli at få skrevet alt det lovede ned i en skriftlig aftale, men hvis sælger lykkes med at fremstille en egenskab som helt naturlig for et produkt, som f.eks. at der er huller i en saltbøsse, så saltet kan komme ud, eller skaft på en køkkenkniv, eller backup til en hostingydelse, opstår der uvægerligt situationer, hvor man som køber let kan forledes til ikke at få løfterne skrevet ned.
-
4
-
0
En billig daglig backup kunne have redet Netgroup fra meget badwill i denne sag.
Den slags bliver næsten altid noget folk skal skrive selv allerede når der er databaser indblandet. På Cloud er der provisioning af firewalls, "hardware", servere, brugere, alt muligt. Det er meget mere end bare at loade et snapshot af en harddisk. Hvis man ikke har AWS's ressourcer til drift, er det bedre at melde klart ud at backup er 100% kundernes hovedpine. I stedet leverer man et interface som kunderne selv kan programmere op imod tilsvarende det som findes på AWS.
Når man som firma selv har valgt at være på Cloud, mener jeg at det ville være en særdeles fornuftig investering også at bruge tid på at udvikle et script som kan læse/oversætte backup'en og senere "spole" hele miljøet op på AWS gennem Boto - når El-Cheapo-Cloud'en siger "splat", opdaterer man DNS og kører videre på AWS med et kreditkort indtil det engang er fikset.
-
1
-
0
Amazon er også S3 der garanterer "99.999999999% durability" ved at gemme dine data redundant i flere datacentre og verdensdele. Samt EBS der har en veldefineret fejlrate med mulighed for at lave automatiske snapshots til S3.
Hvis man vil konkurrere med Amazon kan man ikke bare trække på skulderen over at SAN'et lige smed data fra en stor del af kunderne. Det er simpelthen et inferiørt produkt.
Netgroup leverer som standard HDS SAN baseret disk-storage. Amazons leverer som udgangspunkt såkaldt “local storage” der forsvinder hvis du slukker din server eller hvis den oplever nedbrud. Derfor sammenligner vi os med Amazons EBS (Elastic Block Storage) der skal tilkøbes for at få storage der sammenlignelig med Netgroups.
http://www.netgroup.dk/cloud/netgroup-vs-amazon/
Altså bortset fra at EBS ikke ville have tabt data for et stort antal kunder uanset hvilken hardware-komponent der måtte have fejlet.
However, for those interested in even more durability, Amazon EBS provides the ability to create point-in-time consistent snapshots of your volumes that are then stored in Amazon S3, and automatically replicated across multiple Availability Zones. So, taking frequent snapshots of your volume is a convenient and cost effective way to increase the long term durability of your data. In the unlikely event that your Amazon EBS volume does fail, all snapshots of that volume will remain intact, and will allow you to recreate your volume from the last snapshot point.
Netgroups cloud kan også lave snapshots men disse er gemt i samme SAN som fejlede.
Så er der også lige den her sjove detalje nederst på netgroup linket:
Garanteret oppetid og bod 99,95% Vi udbetaler bod. Hvis du fortsætter som kunde hos Netgroup vil vi modregne beløbet i din faktura. Hvis du ønsker at forlade Netgroup udbetaler vi boden.
-
1
-
0
Tilføj kommentar
