Sådan genopstår to millioner danske avis-sider med open source

Skal du i dag se, hvad der stod i en gammel avis, foregår det ved at besøge et stort bibliotek og fyre op for mikrofilmsfremviseren.

Men for Politiken og Ekstra Bladet er denne celluloid-teknologi godt i gang med at blive erstattet af en mere moderne løsning: Alle udgivelser siden Politiken så dagens lys i 1884 bliver i de kommende måneder lagt ind som e-avis på nettet. Indtil videre er 24 årgange af de to aviser klar til brug, koncentreret om historisk interessante år. Resten er klar til sommer.

Politikens Fond har betalt projektet, og Visiolink står for at føre det ud i livet. Her fortæller direktør Jens Funder Berg om projektet.

Hvad går projektet ud på?

»Vi skal scanne to millioner avissider fra mikrofilm, og så lægge indholdet ud på nettet som Flash-baserede e-papers. Så vi tager indhold og data, der er svært tilgængeligt i dag, og gør det søgbart. Man kan søge frit i al tekst fra alle aviserne gennem årene. Mikrofilm er jo en ret håbløs teknologi, i forhold til hvad man kan i dag.

Med projektet bliver over 100 års aviser gjort nemme at søge i og læse, så vi kan følge med i samtiden dengang. Det er en del af den danske kulturarv.«

Hvad er din rolle i projektet?

»Jeg er direktør for Visiolink, som er totalleverandør på projektet, fra vi får udleveret filmene til den færdige løsning er leveret. Vi har to-tre mand på projektet, og så har vi underleverandører til at stå for scanningen og OCR, altså tekstgenkendelse. Vi er et softwarefirma og står for database- og Flash-teknologien.«

Hvilken teknologi indgår i projektet?

»Slutresultatet vises i Flash, på samme platform som vi har 270 aviser kørende på til daglig. Backend bruger vi PHP og MySQL, og selve søgedatabasen er Lucene fra Apache, som også er open source og udviklet i Java. Det er en meget heftigt dimensioneret database, man også bruger af store amerikanske portaler som Cnet.com. Vi bruger en overbygning på Lucene, kaldet Solr, der løbende udbygges af Apache. Generelt har vi en strategi om at bruge Linux og open source i firmaet.

Med alle rådata regner vi med at have 13 terabyte data, og så kommer der 2-3 terabyte online. Selve filhostingen er hos kunden, mens vi står for driften af det.«

Hvilke udfordringer har der været?

»Det er primært logistiske udfordringer, vi er stødt på. Rent teknisk har det været en udfordring at få en god nok billedkvalitet til at få en god tekstgenkendelse. En mikrofilm med et billede af en avis fra 1904 kan give en god nok grafisk kvalitet, men det er jo ikke på højde med, hvad man kunne få, hvis vi scannede avisen i dag.

For at sikre mod fejl i tekstgenkendelsen og kvalitetssikre søgeresultaterne kører vi OCR-scanningerne op mod en ordbog. Men fordi man skrev nogle ord anderledes i gamle dage, for eksempel dobbelt-a i stedet for bolle-å, har vi også skullet bruge gamle ordbøger.

Hvilke gode råd kan I give videre?

»Der har ikke været så mange overraskelser. Men logistikken er vigtig, når man har 2.500 mikrofilm. Man skal have en god filstruktur og struktur for navngivningen, og man skal have logs for alt, hvad man laver.

Og så gælder det også med sådan et projekt, at der skal være tydelige aftaler og kravspecifikationer.«

Se et eksempel på en indscannet avis via fanebladet 'eksterne links'.

It-udfordringen er en serie på Version2, der hver fredag dykker ned i et projekt fra den danske it-hverdag.