All these bytes are yours...

Lige siden oldtiden har vi vidst at når mænd når lidt op i alderen begynder de at få mindreværkskomplexer i forhold til deres "hardware".

I mit tilfælde begyndte det for alvor d. 30 december 2010: Mine præstationer står simpelthen ikke længere mål med min alt for rigelige hardware.

Til den årlige arkivbackup, har jeg købt to stk "Seagate FreeAgent 1TB" USB diske, de får min varmeste anbefaling til arkivformål.

(Når man har arkiveret diskene, kan man passende hive den lille klods med USB interfacet af til almindeligt fusk-brug, de passer på enhver 2.5" SATA disk.)

Men jeg må erkende at jeg ikke kan fylde 1TB op, så meget fylder mit digitale liv simpelthen ikke.

For første gang i mit liv, er jeg istand til at lave en total-backup af alle mine data på en enkelt disk og stadig have plads til overs.

Ikke nok med det, men disken er ikke større, end at jeg med garanti ikke kan finde den igen hvis jeg nogensinde skal bruge den.

(Skulle jeg engang spørge jer om I har set den, kan I fortælle mig at den er på størrelse med en HP16C og at jeg helt sikkert har lagt den et fornuftigt sted.)

Moores Lov forudsætter at vi hele tiden har et behov for hurtigere computere og mere lager og de sidste 25 år har konsummarkedet rask væk hældt vand på den mølle mens forskerne har ligget i baghjul og høstet fordelene med deres MPP supercomputere.

Hvis jeg var forsker, ville jeg blive alvorligt bekymret for mit fremtidige budget, hvis det viser sig at 1TB er nok til hvemsomhelst.

Godt Nytår,

phk

Kommentarer (31)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Carsten Sonne

Måske er det derfor vi har set fremkomsten af Blueray og lagringsformater er eksploderet i størrelse, herunder docx og andet xml :-)

Teknologimøllen skal nok køre indtil den en dag møder de naturlige fysiske begrænsninger.

  • 0
  • 0
Carsten Sonne

Mit ligger bl.a. på et 3 x 1TB raid array sammen med meget andet. Digitalisering af gamle analoge kilder i form af af VHS optagelser og scanninger fylder godt. Trods kvaliteten er lavere fylder de næsten samme som de nye AVCHD optagelser.

  • 0
  • 0
Jacob Larsen

Nu er det nok ikke .docx eller .odt filer du fylder din disk op med.

Den digitale fotosamling kan nemt komme til at fylde en del. Selvom jeg nok ville foretrække sådan noget som Dropbox el. lign. til den slags. USB diske er bare så 2007 ;-)

Det her forum har jo nok en del gadget freaks, og før eller siden er der nok mange af dem/os der giver efter for et HD video kamera. Det skal nok holde gang i Moores lov indtil det næste kommer...

  • 0
  • 0
Carsten Sonne

Det virker parakdoksalt for det fleste, men den analoge støj er utroligt svær at komprimere.

Ja, vi har forsøgt os med diverse filtreringsværktøjer, dog uden at kunne komme i nærheden af størrelsen på digitale optagelser. Selv om de gamle bånd nok heller ikke var i bedste stand efter de mange år på diverse lofter, er støj utroligt svært af fjerne fra det vigtige, selv med nutidens bedste filtreringsalgoritmer.

.docx (og .odt) fylder mindre end de gamle binære .doc formater.

Fair nok hvis det er tilfældet. Min antagelse er blot at XML generelt, og af naturlige årsager, fylder mere end de gamle binære formater.

  • 0
  • 0
Torben Mogensen Blogger

Tricket er at både .docx og .odt er zip-filer med xml inden i og efter komprimeringen fylder de så mindre end de gamle binære formater.

Zip og lignende kan selvfølgelig komprimere XML en del, men der er en del redundans i XML, som LZW og lignende komprimeringsmetoder ikke er egnede til at fjerne. En dedikeret XML-komprimering vil kunne komprimere væsentligt bedre, specielt hvis den får givet et XML Schema, som filen er garanteret at overholde.

  • 0
  • 0
Jens Pedersen

Tricket er at både .docx og .odt er zip-filer med xml inden i og efter komprimeringen fylder de så mindre end de gamle binære formater.

Zip og lignende kan selvfølgelig komprimere XML en del, men der er en del redundans i XML, som LZW og lignende komprimeringsmetoder ikke er egnede til at fjerne. En dedikeret XML-komprimering vil kunne komprimere væsentligt bedre, specielt hvis den får givet et XML Schema, som filen er garanteret at overholde.

Men igen - gevinsten ved at lave en xml-optimeret komprimering frem for blot at bruge zip er begrænset set i forhold til prisen og standardstørrelsen på tidens lagermedier - og i forhold til størrelsen på øvrige data.

At IE så kager lidt rundt når den genkender indholdet af en docx som en zip-fil og derfor foreslår at gemme filen som en sådan er en hel anden sag :)

  • 0
  • 0
Poul-Henning Kamp Blogger

Ville det ikke være et rigtig flot eksempel på at forberede sig på at vinde den forrige krig ?

Forskellen på om du kan komprimere XML filer X% eller X+10% er totalt inderligt ligegyldig i dagens IT-miljø og jeg vil faktisk påstå at den tid der bruges på at ZIP komprimere kontordokumenter en utroligt dårligt givet ud.

Et intelligent design havde været at programmerne kunne læse både rå og ZIP'ede filer men kun skrev dem uden komprimering.

Så kunne storage managers og mail-klienter foretage komprimering når og hvis det var formålstjeneligt.

Poul-Henning

  • 0
  • 0
Kevin Harritsø

PHK o.a.

Hvad er det der gør at Billed komprimeringen har ringe kår på støjfyldte VHS optagelser? Får kompressionsalgoritmen svært ved at detektere hvad der er statisk i billedet, og dermed kan genbruges igennem flere frames? eller skyldes det noget. Jeg er nysgerrig :)

On Topic:

Om 1 TB er nok til personligt brug, jae, det kommer vel meget an på hvilket forbrugsmønster man har. Jeg har en amatør-fotograf ven, der har et billedarkiv på mere end 600 GB, så for ham er 1 TB nok snart ikke nok.

Hvis man vil gemme optagelser af knejtens konfirmation eller svigermors 80 års fødselsdag, bruger man jo hurtig 25 GB på sådan noget.

Mit personlige arkiv fylder ikke ret meget mere end 50 GB selv. Tilgengæld fylder mit medie arkiv snart 1,5 TB. Jeg har efterhånden fået lagt alle mine DVD film ind på min NAS, så jeg slipper for at rode reolen igennem, for at finde filmen. Og så roder det meget mindre. DVD filmene er lagt i kassen og ligger ude i skuret, skulle nogen medie personligheder få ondt i sædemusklerne over at jeg har gjort mine elskede film mere tilgænglige for mig selv.

  • 0
  • 0
Dennis Krøger

En dedikeret XML-komprimering vil kunne komprimere væsentligt bedre, specielt hvis den får givet et XML Schema, som filen er garanteret at overholde.

Det behøver den vel ikke garantere. Der kan valideres ved komprimering, og en algoritme vælges ud fra om valideringen fejler eller ej.

Et intelligent design havde været at programmerne kunne læse både rå og ZIP'ede filer men kun skrev dem uden komprimering.

Så kunne storage managers og mail-klienter foretage komprimering når og hvis det var formålstjeneligt.

CPU tiden brugt ved en komprimering er ofte langt lavere end den ekstra tid det tager at overføre et mere end dobbelt så stort dokument, og der er sjældent travlt når et dokument gemmes, så der er komprimeringstiden ligegyldig.

Når noget sendes, er der ofte nogen der venter i den anden ende, så enten ikke at komprimere, eller udskyde komprimeringen til det tidspunkt virker som en ret dårlig løsning.

  • 0
  • 0
Jens Christensen

Bare en tanke: Med mindre man regner med at skulle printe plakater af sine fotos, er ca. 2 Mpixel rigeligt. Lad os sige 3 aht. fremtidig skærmopløsning. At dit kamera kan tage med 10-16 Mpixel er spild af plads.

Jens, der fotograferer som en gal (+5.000 billeder/år med DSLR) og stadig kan have sin backup på 350 GB disk, incl. en håndfuld film :o)

  • 0
  • 0
Lars Skovlund

phk: Nu udnytter OOXML jo at en ZIP-fil kan have en directorystruktur inde i maven, hvor billedfiler fx kan ligge adskilt fra selve XML'en. Kompressionen kan man så vælge at betragte som en ekstra gevinst.

  • 0
  • 0
Dennis Krøger

Bare en tanke: Med mindre man regner med at skulle printe plakater af sine fotos, er ca. 2 Mpixel rigeligt.

Du skal bruge ~5 megapixel for at printe et semi-godt A4. Hvis det skal være 300 ppi, skal du op på 9 megapixels.

Jens, der fotograferer som en gal (+5.000 billeder/år med DSLR) og stadig kan have sin backup på 350 GB disk, incl. en håndfuld film :o)

Så du gemmer ikke dine RAW originaler?

  • 0
  • 0
Torben Mogensen Blogger

At dit kamera kan tage med 10-16 Mpixel er spild af plads.

Det forudsætter, at du er god nok til at lave centrering og zoom præcis, som du vil have det i den printede udgave. Hvis du gerne vil printe et udsnit, er det størrelsen (i pixels) af udsnittet og ikke af hele billedet, der er afgørende.

Jeg er ikke selv præcis nok til at få centreret mine motiver rigtigt, specielt når motivet bevæger sig, så jeg synes, at det er rart at kunne forstørre et udsnit, uden at resultatet bliver alt for kornet.

Der er dog en anden årsag til, at de fleste kameraer sagtens kan nøjes med færre megapixels: Optikken er ikke god nok til at de ekstra megapixels giver reel bedre billedkvalitet.

  • 0
  • 0
Jens Christensen

Jeg tager - med få undtagelser - ikke RAW. Hvor stort er det reelle behov og ikke bare fotografens våde drøm om størst mulig kvalitet HVER gang (som jeg også har lidt under).
Hvor mange billeder af Moster Anna vil du have i A4, og hvor meget betyder i 1:2,7 jpeg kompression på et alm. 10x15 billede baseret på 3 Mpixel?
Til de semi-kunstneriske formål, hvor der med rimelighed kan forventes store tryk, får den gas med opløsningen, RAW o.s.v., men helt ærligt; hvor stor andel af vores billeder ryger i dén kategori?

Jeg gemmer de RAW og originaler, der er værd at gemme. Hverken mere eller mindre :o)
Men lad os alle finde fred i vor tro. Jeg ville blot påpege, at mindre end bundgas på opløsningen som default også kan gøre det :o)

  • 0
  • 0
Dennis Krøger

Man gemmer RAW for at kunne redigere dem uden tab senere, ikke for at bruge dem direkte.

Hvilke billeder der kommer til at betyde en masse, ved man ikke før senere, det nyeste billede af Moster Anna betyder pludselig en hel del hvis hun kradser af. Billeder af en familietur bliver pludseligt vigtigere hvis de passer ind i en fotokollage til datterens 18 års fødselsdag. Hvis man finder ud af at et enkelt element i et billede er interessant i en sammenhæng vil man gerne kunne forstørre det op.

Vi har de fleste af vores billeder hængende i A4, men selv om du ikke har, gør det ikke din udtalelse om "plakatstørrelser" korrekt.

Vi er enige så langt som at megapixels og kamera kvalitet absolut intet har med hinanden at gøre, men man skal ikke undervurdere værdien af at have sine billeder i høj opløsning liggende klar.

  • Bevares, 95% bliver aldrig brugt, men de 5% der gør vil højest sandsynligt vise sig at være pladsen værd. Især i dag hvor den plads er så billig.
  • 0
  • 0
Jesper Lund

Bruger du så parity filer, fx. http://en.wikipedia.org/wiki/Par2 således at (enkelte) bitfejl kan genskabes?

Jeg besluttede mig sidste år for at gøre dette for nogle mindre vigtige data til arkivet (mere vigtige data bliver spejlet på andre diske, og de mest vigtige 10-20 GB ryger til offsite backup hos rsync.net).

Ideen er at man kan overleve et antal "bad sectors", men ikke en totalt defekt disk (måske inspireret af at min første 1TB desktop disk fik bad sectors efter 1 1/2 års tid med 24/7 drift i min home server).

Jeg ledte med lys og lygte efter et Linux filsystem med indbygget parity bytes (data/filer), men jeg fandt ikke noget. Så jeg endte med at skrive nogle simple scripts, som jeg afvikler når jeg havde kopieret nye filer over på arkiv diskene (par2 filerne bliver navngivet med .filnavn, så de er skjulte).

  • 0
  • 0
Jesper Lund

Det lyder spændende Jesper, kunne du ikke tænke dig at holde et foredrag om det i DKUUG?

Jeg er en total n00b til at lave shell scripts (har været Windows bruger i for mange år..), så de få linjer #!/bin/sh jeg har skrevet kan ikke blive til et foredrag (det er reelt bare en wrapper omkring par2create som ændrer filnavnet på par2 filerne så de er hidden).

Et alternativt forslag kunne være en "erfa" workshop om hvordan man bedst bevarer sine data, hvor der kommer flere indlæg end mit lille bidrag?

  • 0
  • 0
Jon Bendtsen

En erfarings-aften lyder spændende. Kunne du (eller andre) tænke dig at skrive en lille artikel som oplæg, med problem definering, dine tanker, løsninger, osv. Så trykker vi det i DKUUG-nyt og indkalder til en erfarings-aften nogle måneder senere?

  • 0
  • 0
Carsten Sonne

Hvad er det der gør at Billed komprimeringen har ringe kår på støjfyldte VHS optagelser? Får kompressionsalgoritmen svært ved at detektere hvad der er statisk i billedet, og dermed kan genbruges igennem flere frames? eller skyldes det noget. Jeg er nysgerrig :)

Uden at være ekspert på området er jeg nået frem til netop støjens store spredning og variation gør det svært for streaming baserede formater at komprimere effektivt. Formaterne et netop baseret på at udnytte den lave variation over en serie pixels: Farveovergange i film og billeder er ofte nuancer der langsomt skifter i modsætning til støj.

Prøv at tage en et par bogstaver og gem dem som JPEG. Hvis du kigger på de skarpe kanter, vil du bemærke hvordan der er gengivelsesfejl da algoritmen ikke kan genskabe så skarpe overgange. Deraf kategoriseres JPEG og MPEG som 'Lossy compression' i modsæt til ZIP der benævnes 'Lossless compression'.

  • 0
  • 0
Daniel Møller

Mit behov er eksploderet efter at jeg invisterede i et HD videokamera, som jeg anvender til en af mine andre hobbyer som er sportsdykning. Fornylig var jeg en uge i rødehavet, hvor jeg skød 55 GB 1080p video. Da jeg helst ikke vil miste disse data har jeg dem altid liggende mindst 2 steder - den uge kostede mig altså lige 110 GB opbevaringsplads. Pludselig skal man ikke tage på mange udflugter førend terabyten er nået :-)

Så bare rolig, vi skal nok løbende finde på noget at bruge pladsen til, det har været tilfældet hidtil og bliver det nok også fremover :)

  • 0
  • 0
Rasmus Rask

Jeg er heller ikke ekspert, men det skal ikke holde mig tilbage for at skrive ;-).

De fleste videoformater bruger keyframes + ændringer, når videostrømmen skal komprimeres. Man indsætter altså en keyframe, som er et komplet øjebliksbillede af videostrømmen. De næste frames indeholder forskellen mellem keyframen og den frame man ønsker at frembringe. Efter nogle sekunder indsætter man en ny keyframe osv.

I en filmscene uden de store bevægelser, behøver man altså ikke 24 gange i sekunder eksplicit at definere hvordan f.eks. væggen ser ud. Jo større dele af billedet der går igen, jo mindre data vil "forskelsbillederne" indeholde og de kan derfor komprimeres relativt mere end keyframes.

Grunden til at at billedestøj er svært at komprimere, er altså netop at det skaber en konstant uro i billedet, store dele af billedet ændres mellem hver frame og komprimeringsfordelen med keyframes + ændringer mindskes betragteligt.

http://en.wikipedia.org/wiki/Video_compression#Intraframe_versus_interfr...

Jeg har selv haft problemet med optagelser af datteren med et ældre Canon kompaktkamera. Xvid-komprimering til fornuftige filstørrelser, medførte en elendig billedekvalitet :-/.

  • 0
  • 0
Log ind eller Opret konto for at kommentere
IT Company Rank
maximize minimize