DR katastrofesikrer mediearkivet

Danmarks Radio omstrukturerer sit omfattende mediearkiv med indkøb af 500 TB storage, der skal sikre medarbejderne hurtigere adgang til digitalt materiale. Samtidig skal én af to båndstationer med hele DR’s arkiv flyttes væk fra DR Byen for at katastrofe- og terror-sikre den danske kulturarv.

Danmarks Radios omfattende mediearkiv består af op imod 4 petabyte billede og lyd, som koncernen har gemt på to spejlede båndstationer bestående af rækker af fysiske bånd, der hentes og indlæses digitalt af en robotarm.

De står begge i kælderen under DR Byen på Amager, men snart skal den ene af de stationer flyttes, så ét af kongerigets mest kulturtunge arkiver af sikkerhedsmæssige årsager ikke er samlet på én fysisk lokation.

»Hvis der nu kom en stor jumbojet og bragede ind i huset, eller hele kælderen blev oversvømmet i en stormflod, så mister vi jo hele vores kulturarv. Vi snakker om cirka 300.000 timers video og cirka en million timers lyd, så det er jo en meget stor del af Danmarks historie, vi har liggende i kælderen - i high resolution,« siger Ole Hybæk, der er teamleder for Arkivsystemer hos DR, til Version2.

For at optimere medarbejdernes adgang til forskelligt arkivmateriale er DR’s arkiv inddelt i et såkaldt ‘hierarchical storage management’-system (HSM), hvor materiale af ældre dato er gemt på fysiske bånd, mens nyere materiale er lettere tilgængeligt via lokale harddiske. Medarbejdere kan så efterspørge arkivmateriale fra båndstationerne via systemet.

Båndstationerne anvendes, fordi de er langt billigere i drift end snurrende harddiske. De lokale, hurtigere drev har dog højst kapacitet til at dække DR’s samlede produktion en måned tilbage i tiden, hvilket i øjeblikket lægger pres på de to robotter, der skal holde styr på DR’s evigt voksende båndarkiv.

Udvider bufferen til et år

Samtidig har DR igennem længere tid søgt at finde en løsning, hvor den ene båndstation kunne komme i behørig fysisk afstand fra sin tvilling, men har været udfordret af det pres, der er på robotterne fra gravelystne medarbejdere.

Løsningen er en 500 TB disk, der skal give hurtigere adgang til det seneste års DR-produktioner.

»Én af de ting, vi gerne vil, er at migrere mere materiale til disk, sådan så vi har et vindue, der er større, end det er i dag - helst op imod et lille års penge,« siger Peter Macskassy, der er teamleder for Infrastruktur hos DR, til Version2 og fortsætter:

»Disken kommer fra samme leverandør, som har leveret resten af HSM-systemet og koster ifølge en udbudsbekendtgørelse lidt over 1,3 millioner kroner. Med den kan medarbejdere tilgå arkivmateriale et år tilbage i tiden, uden at slide på båndrobotten, hvilket især er en fordel på denne tid af året.«

»Grunden til, at vi gør det nu, er, at der er meget store krav til robotten, der henter materiale op. For eksempel har vi på denne tid af året en del produktion af kavalkader, så der hentes meget materiale, som har været lavet hen over året, og det skaber en relativ stor belastning på robotten,« siger Peter Macskassy til Version2.

Oven i omstruktureringen af HSM-systemet er DR i gang med at konsolidere deres bånd-arkiv fra 1-terabyte- til 8-terabyte-bånd, hvilket kan gøre svartiden på forespørgsler endnu langsommere, da det vil øge risikoen for, at to forespørgsler rammer det samme bånd og derved skaber yderligere ventetid, forklarer Peter Macskassy.

Én robot skal væk

Han ser derfor flere gevinster ved den nye disk, da det vil tage toppen af forespørgsler på bånd-systemet og samtidig være mere fleksibelt i forhold til enslydende forespørgsler - og så går det også hurtigere.

»Ikke alene minimerer vi impacten på robotten, men vi kan faktisk også optimere hastigheden på selve overførslen, så brugerne oplever en hurtigere tilgang til materialet,« siger Peter Macskassy til Version2.

Båndstationerne er inddelt i en primær og en sekundær. Sidstnævnte tilgås kun, når der er fejl på den primære, men så længe der er pres på de to robotter, har mediekoncernen været afhængig af at holde begge robotter tæt ind til kroppen.

Med et boostet arkiv-system kan DR begynde processen med at flytte den sekundære robot. Det er endnu ikke fastlagt, hvor den kommer til at bo, men Peter Macskassy forventer, at den nye adresse vil blive fastlagt i starten af det nye år.

»Der er et udbud i gang - svarene er ikke kommet ind endnu, og beslutningen er derfor heller ikke taget, men det skulle vi meget gerne vide mere om i starten af det nye år,« siger Peter Macskassy til Version2.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (19)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Jacob Pind

"Samtidig skal én af to båndstationer med hele DR’s arkiv flyttes væk fra DR Byen for at terror-sikre den danske kulturarv."

ja det er jo helt klart terrorist som udgøre den største fare, ikke at man via dårlige planlægning får vand i kælderen, det sker aldrig , men terror forfanden , det er dagligdags kost her i landet.

  • 28
  • 0
Brian Hansen

Danfoss fik også spejlet 800 servere efter 9/11. Et af kravene til co-lokationen var at det lå tilpas langt væk til begge centre ikke ville kunne rammes af det samme fly.
Så jo, paranoiaen lever i bedste velgående :-)
Co-lokationen er iøvrigt også placeret i en kælder, der tidligere har været oversvømmet...

  • 4
  • 0
Morten Fordsmand

I dette tilfælde 2 båndrobotter, så er det jo logisk at man ikke stiller dem ved siden af hinanden, hvis det kan undgås.

For som Murphy siger så vil alle ulykker (også de umulige) indtræde før nærmere end senere.

Omkring opdeling i flere centre, er det faktisk ikke helt så dyrt for de kritiske systemer, som det umiddelbart lyder, da de kritiske systemer ofte vil bestå af back-end clustre med en stak horisontalt skalerbare front-ends.

Frontends fordeles jævnt over de to centre og clusteret skal så "bare" bygges over to lokationer, eventuelt med quorum et tredie sted.

  • 4
  • 0
Thue Kristensen

»Én af de ting, vi gerne vil, er at migrere mere materiale til disk, sådan så vi har et vindue, der er større, end det er i dag - helst op imod et lille års penge,« siger Peter Macskassy, der er teamleder for Infrastruktur hos DR, til Version2 og fortsætter:

»Disken kommer fra samme leverandør, som har leveret resten af HSM-systemet og koster ifølge en udbudsbekendtgørelse lidt over 1,3 millioner kroner. Med den kan medarbejdere tilgå arkivmateriale et år tilbage i tiden, uden at slide på båndrobotten, hvilket især er en fordel på denne tid af året.«

Danmarks radio har et årligt budget på 3,5 mia. kr. Danmarks radio's opgave er at gøres deres indhold tilgængeligt for befolkningen. Hvis bare 1,3 millioner kroner ud af 3500 millioner kan gøre en signifikant forskel på hvor længe indholdet er tilgængeligt, så virker det helt absurd. Så burde DR da med det samme bruge X*1.3 millioner kroner, og gøre alt gammelt indhold tilgængeligt.

  • 3
  • 0
Rene Madsen

Er det bare mig eller hvorfor nu når alt det materiale er public domain for danskere og der ikke er noget at skjule sikkerhedsmessigt. Hvorfor ligger DR så ikke alt data op hos begge eller den ene af de to?

Det koster ikke 1.3 mia danske kroner at drifte det hos f.eks. google. En hurtig hovedregning viser at det koster i omegnen af 200.000/md at have 500TB liggende i Google Cloud storage. og hvis man antager at DR makser ud med 90TB/md trafik så er der yderligere kost på 70.000/md.

Altså en samlet kost for deres arkiv pr år på ca. 3.240.000,-

Lige præcis med DR's arkiver er der ikke nogen grund til at indhouse det. Der er al mulig grund til at smide det i hovedet på 2 cloud leverandører.

  • 2
  • 0
Keld Simonsen

Hvorfor ikke lægge meget af det op på youtube? Det koster ikke noget for diskplads, men der er vel noget administration. Og man kan lade være med at lægge de mest solgte udsendelser op på youtube. Kun det som ikke har særligt mange seere:-)

  • 0
  • 1
Thue Kristensen
  • 1
  • 0
Johnnie Hougaard Nielsen

Nu er det jo 1,3 mio, ikke 1,3 mia, hvilket faktisk er mindre end 12*200,000 = 2,4 mio.

Uden at multiplicere med dit "X" (som gerne skal konkretiseres), er den sammenligning helt hen i vejret.

Cloud storage lyder bestemt som noget der er værd at regne på (med relevante tal), når de store udbydere her netop er gode til drift med store datamængder.

  • 0
  • 0
Claus Jacobsen

og DR er som "offentlig" instans underlagt compliance regler om arkivering. Det samme er Statsbiblioteket, hvilket gør de ikke bare kan kaste tingene ud af huset.
Men det er nu egentlig peanuts det de har i DR i forhold til Statsbibliotekets 2-3 robotter som vist ligger på en kapacitet på omkring 10PB indtil videre. (skaleringsmuligheden ligger vist oppe på omkring 80PB hvis de maksede løsningerne helt ud.

Til gengæld kunne det måske være interessant at lave et fælles arbejde hos de 2. Statsbiblioteket optager jo AL TV fra danske kanaler (incl pauseskærm) så der må da være noget redundans i forhold til DR's materiale? Og jeg er da ret sikker på det kunne være langt mere interessant at få kildematerialet fra DR i stedet for at skulle have en optaget udgave som jo ofte kan være nedskaleret (især i de tidsrum hvor DR overgår til nyere teknologi som eksempelvis den overgang hvor de begyndte at optage i FHD og der kun sendes HD. og om ikke så lang tid vil det jo være 2K/4K.)

  • 0
  • 0
Claus Jacobsen

du mener "8 Rettigheder, som du skal give licens til" - hvor der kun er 2 afsnit? - men du har ret - 8'eren siger helt specifikt at Youtube ville kunne viderelicensere DR's indhold hvis det lå på deres servere - ergo er det så absolut en no go. - Det er DR's indhold, og dermed ikke noget som DR overhovedet ville være interesseret i at andre kan viderelicensere uden deres accept.

  • 0
  • 0
Sebastian Løck

Det er ligesom med dem der har backupdisken lige ved siden af computeren derhjemme og indbrudstyven napper dem begge.

At dele backup til brandcellen ved siden af giver lidt beskyttelse. DR har dog dårligere erfaringer med regn end med brand. Hvor længe var det nu det var at LP sammlingen utilgængeligt? (ikke at ret mange andre end Jørgen de Mylius savnede den)

At der i forvejen ikke var 1 backup på Amager og 1 på fastlandet undrer mig. DR Århus ligger trods alt i kote 82. På Amager er grundvandet i forvejen jo knap nok under dørtærskeln i stueetagen.

  • 0
  • 0
Sebastian Løck

nemlig. At der ikke står mange ord i en aftale betyder jo ikke at virkningen kan mindre fatal.

Endvidere er der - især i ældre DR materiale - nogle billeder som YouTube vil finde stærkt frastødende og ikke ville have på deres servere. Tænk bare på Medina til "DR store juleshow 2011". Eller hvad med "Blachmann" (12 kvinder smider tøjet foran Thomas Blachman og hans gæster i et nyt DR2-program)?

  • 1
  • 0
Log ind eller Opret konto for at kommentere