Uofficielt API skræller politiker-data og kaster demokratiet i grams

Hver eneste nat får Folketingets officielle hjemmeside, folketinget.dk, besøg af et såkaldt web scraping-program, der 'skræller' informationer om folketingspolitikernes gøren og laden af hjemmesiden.

De opsamlede data tjekkes for, om der skulle være lagt nye lovforslag, spørgsmål og høringsreferater ud på hjemmesiden siden scraping-programmets seneste besøg.

Programmet er skrevet og sendt i marken af Michael Friis, der til daglig er udvikler på Ekstra Bladet, men som i sin fritid står bag projektet Folkets Ting.

Det er egentlig ikke noget, han har fået lov til, sådan at pille data ud af folketinget.dk på daglig basis. På den anden side har Folketingets it-folk endnu ikke brokket sig, fortæller han.

Så han gemmer eventuelle ændringer på folketinget.dk i sin egen database, og som en del af Folkets Ting gør han nu de data tilgængelige for danske webudviklere i alle afskygninger med et spritnyt og netop færdiggjort API.

»Folketingets it-folk er meget omhyggelige med at generere en masse spændende data om de ting, der sker i Folketinget. Men de data kan sagtens bruges til meget andet, og selvom jeg selv har en masse idéer, er det bedre, hvis andre også kan få mulighed for at udnytte Folketingets data,« fortæller Michael Friis til Version2 om baggrunden for projektet.

Smertefuldt arbejde

Idéen er altså at kaste oplysninger om det danske demokrati i grams til alle udviklere, der måtte have interesse i at skrive programmer og web- eller mobilapplikationer, der udnytter de data.

Han beskriver selve arbejdet med at få pillet de relevante data ud af folketinget.dk som »meget smertefuldt« og noget, han »ikke vil anbefale andre at gøre«.

Det skyldes ikke mindst relanceringen af Folketingets hjemmeside i oktober 2009, som tvang Michael Friis til at omskrive scraping-programmet fuldstændigt.

**LÆS OGSÅ **Folketinget.dk bliver genopført fra ruinerne

For at demonstrere formålet med det nye API har Michael Friis selv skrevet et Google-mashup, der ved hjælp af to API-kald først henter informationer om alle folketingspolitikere og deres udlandsrejser, og dernæst henter oplysninger om udvalgsrejser med tilhørende udgifter og rejsedestinationer.

Resultatet er en liste over de ti politikere, der oftest sætter sig ind i flyet og rejser udenlands. Den enkelte politikers rejseudgifter fremgår, og rejserne vises direkte på et kort i Google Maps.

Michael Friis' webservice kan levere data i både XML- og JSON-formatet og benytter OData-protokollen.

Ifølge Michael Friis er den største udfordring at afgøre, hvornår data fra folketinget.dk er gode nok, og hvornår de er lige til at smide ud.

»Foreløbige referater lægges for eksempel meget hurtigt ud på folketinget.dk, så jeg skal kigge dybt i hjemmesidens tags for at afgøre, hvornår det endelige referat ligger klar. Et andet problem ved den relancerede hjemmeside er, at paragraf 20-spørgsmål lægges ud i PDF-format, hvor det tidligere var i klar tekst,« forklarer Michael Friis.

Samtidig er det heller ikke altid, at HTML-koden bag folketinget.dk overholder W3C's standarder, siger han.

Folketinget.dk bør være bekymret

Michael Friis mener dog, at det er positivt, at folketinget.dk rent faktisk lægger så mange data ud, som det er tilfældet.

Du siger selv, at du reelt ikke har fået lov til at skrælle data af folketinget.dk. Hvad tror du, holdningen er til det i Folketingets it-afdeling?

»Hvis jeg var dem, ville jeg da være bekymret, fordi de mister noget kontrol over deres data. Men jeg håber også, at det kan få dem til at indse, at deres data er så interessante, at de selv kan gøre mere for at publicere dem,« siger Michael Friis.

Michael Friis vandt tidligere på året 100.000 kroner i Videnskabsministeriets konkurrence Offentlige Data i Spil.

Den pengepose er der endnu ikke taget hul på, og Michael Friis agter at bruge nogle af pengene til en konkurrence om, hvem der kan bruge hans nye API mest kreativt.

Version2 forsøger i øjeblikket at indhente en kommentar fra Folketingets it-afdeling.