Danmarks sejeste datafil

Af 38

Her er et billede:

Illustration: Privatfoto

(Klik på det for fuld størrelse)

Hvis ikke man vidste bedre skulle man tro det var et eller andet computerspil med en semi-elendig 3D model eller en rigtig elendig GPU driver.

Men jeg ved bedre, meget bedre: Det er virkeligheden.

Danmarks nye Højdemodel er simpelthen landets indiskutabelt sejeste datafil: X,Y,Z,R,G,B

Billedet viser mit hjørne af Udkantsdanmark, set fra et sted lidt over og nord for Slagelse Station, i retning nogenlunde mod Korsør.

Til højre ses jernbanen mod Korsør/Fyn/Jylland, bemærk at selv køreledningener og masterne er med, i forreste venstre hjørne ringvejen om mod gymnasiet og jeg betaler ejendomsskat ca. midt i billedet.

Vil i vide hvor høj popplen bagerst til venstre er ? 60m over havets overflade, hvilket vil sige ca. 30m over terræn.

Og det bedste af det hele: Der er frit slav -- det er gratis data fra Geodatastyrelsen, (Danmarks formodentlig mest IT-kompetente offentlige myndighed!)

Dataformatet er desværre en smule indviklet.

Man starter med at vælge hvilke 10x10km områder man vil downloade fra i GST's web-app.

For hvert 10x10km område får man en ZIP fil på et par GB eller tre, der indeholder 100 filer på hver 1x1km og mellem ingenting og 70MB.

Koordinatsystemet er i UTM, brug evt. Miljøministeriets "miljøgis" til at finde de rigtige koordinaeter (se nederst til venstre).

LAZ filer er et specialformat for komprimerede laser-scanninger af geografi og det eneste værktøj jeg har fundet der kan skille dem ad er "LASTOOLS" der til gengæld virker glimrende.

Med "las2txt" kan man hive et udsnit ud:

las2txt -i 1km_6142_647.laz -o /tmp/foo.txt \
     -keep_xy 647900 6142400 648200 6142600 -parse xyzicRGB

Herefter sorterer man på højden:

sort +2n /tmp/foo.txt > /tmp/bar.txt

Dernæst er det bare at fyre op under gnuplot:

rgb(r,g,b) = int(r)*256 + int(g) + int(b/256)
splot '/tmp/bar.txt' using 1:2:3:(rgb($6,$7,$8)) \
    with point lc rgb variable notitle

Så er det jeres tur:

Vis os hvad I duer til.

Og vis politikerne at frie åbne data er en rigtig god måde at bruge skattekroner.

phk

Kommentarer (38)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Lene Fischer

Det er et fantastisk datasæt. Med en punkttæthed på 2/m2 bliver den nye terrænmodel på 0,4 m / pixel mod den tidligere på 1,6 m. Med LASTools fra Rapidlasso kan man manipulere data. LASTools kan anvendes i QGIS OpensourceGIS. I gratisprogrammet Fugroviewer http://www.fugroviewer.com/ kan man indlæse LAZ filerne direkte. Måle højder, se profil og 3 D. Prøv at se en bearbejdning på af data der blev foretaget af Asger Petersen fra Septima efter vores workshop på Københavns Universitet i maj. http://labs.septima.dk/dhm14/. Et kort som i øvrigt blev belønnet ved FOSS4G i Portland tidligere på året.

Alexndra Instituttet har også været i gang http://cg.alexandra.dk/?p=3636

Det er pludseligt blevet MEGET sjovt at undervise i GIS. Med frie data fra GST og OpenSource programmer, så kan vores studerende få langt mere ud af undervisningen. Der kan og bliver nørdet langt mere. Alt fra at undersøge Slope og Aspect til benyttelse på grønne tage, Tælle træer og beregne disses højder. Der er ingen grænser.

Tak til Geodatastyrelsen for de frie data!! Hilsen Lene Fischer Institut for Geovidenskab og Naturforvaltning

  • 30
  • 0
#2 Poul-Henning Kamp Blogger

Det er pludseligt blevet MEGET sjovt at undervise i GIS

Lene, kan du ikke lokkes til at skrive et gæsteindlæg om hvilke åbne/gratis/fri værktøjer almindelige borgere kan bruge med alle de offentlige geodata ?

Er der nogen der har lavet færdige konfigurationer til f.eks qgis så alle datakilderne er klar fra starten ?

  • 18
  • 0
#3 Troels Henriksen

Er der nogen specifik årsag til at netop Geodatastyrelsen virker så særligt kompetente og opfindsomme, når det kommer til it? Det var også dem der lavede en Minecraft-verden baseret på kortdata, og selvom det måske ikke var helt så nyttigt som denne datafil, så var det da stadigvæk nytænkende, og skabte en del opmærksomhed.

Er det mon fordi Geodatastyrelsen ikke på samme måde er en politisk varm kartoffel, så de kan få lov til at arbejde i fred?

  • 19
  • 0
#4 Poul-Henning Kamp Blogger

Er der nogen specifik årsag til at netop Geodatastyrelsen virker så særligt kompetente og opfindsomme, når det kommer til it?

Jeg ved det faktisk ikke, men det er utroligt påfaldene hvor langt fremme i skoene de er og hvor godt det virker set udefra.

Jeg har ingen ide om hvordan det ser ud på indersiden, men alle jeg har kommunikeret med har været venlige hjælpsomme mennesker der lød som om de brændte for deres jobs.

  • 18
  • 0
#5 Claus Jensen

alle jeg har kommunikeret med har været venlige hjælpsomme mennesker der lød som om de brændte for deres jobs.

Mon ikke det netop kan være en forklaring, at selve formålet med Geodatastyrelsen er data og teknik og medarbejderne derfor har en naturlig interesse og passion for det? Andre offentlige institutioner har et helt andet formål og ser måske derfor alt det der med teknik som et nødvendigt onde...

  • 13
  • 0
#7 Lars Ole Belhage

Det vel fordi de helt klart er stolte af deres produkt (som er data'er og ikke it).

Jeg var nok een af de første der downloadede punktskyen i januar da data blev frigivet. Jeg fandt nogle datafejl i nogle af de utallige filer - men med super service blev de rettet med det samme og lagt på en ftp-server så jeg hurtigt kunne tilgå rettelserne.

Jeg forstår godt at de er stolte - Godt gået af dem!

  • 14
  • 0
#13 Casper Bang

Meget interesant data... hvis man så bare var så heldig at bo et sted der er data for - det er jeg så åbentbart ikke (Nykøbing F). Da jeg for et par md. siden forsøgte at trække data ud havde jeg samme problem, men slog det hen som værende et browser problem. Men det viser sig, at der ikke er data for hele Danmark - så hvis man sidder fast i 3 trin "Vælg område på kort" uden at kunne trykke på "Læg i kurv", så er det fordi der ikke er data for det område man vil kigge på. Det synes jeg måske godt kunne være markeret lidt bedre! :/

  • 2
  • 0
#16 Casper Bang

Sjælland, Fyn, Lolland, Falster og Møn skulle være overfløjet i foråret 2014 og frigivet i løbet af sommeren. Men der er områder på Fyn, samt hele Lolland Falster plus Møn der ikke p.t. er data for - markeret med gult på kortet. Uden nogen legende der forklarer disse farver, kan man kun gætte på at det betyder "ved at blive frigivet"?

  • 0
  • 0
#22 Jens Boye Hansen

ville jeg have elsket dette data! Men ak, måtte istedet for gå igennem universitetet og købe de GIS filer som jeg skulle bruge. Og det var hverken billigt eller nemt at have med at gøre, og dataet var også forældet.

(skulle bruge dem til at forudse GPS satelit dækning i en storby :P)

  • 3
  • 0
#23 Danske Bjerge

Det her er virkelig et redskab, som rummer store muligheder. Eksempelvis vil byggeprojekter kunne dokumenteres ned i detaljen, således at alle parter i en sag kan se, hvordan de kommende bygninger og anlæg vil tage sig ud i sammenhæng med omgivelserne.

En anden fordel er, at man kan krydstjekke højdedata med terrænmodellen. Hidtil har data om et terrænpunkts højde haft en lille usikkerhed, og enkelte steder har angivelserne været skudt flere meter ved siden af. Nu knyttes data og den visuelle gengivelse langt tættere til hinanden.

Som det fremgår af artiklen, er der dog et stykke vej til den optimale brugervenlighed. F.eks. er det tungt, at systemet forudsætter download og yderligere databehandling.

/Jacob, Danskebjerge.dk

  • 2
  • 0
#24 Thomas Knudsen

Som en af de der til daglig arbejder med højdedata i Geodatastyrelsen er jeg naturligvis stolt over mit og mine kollegers arbejde, og ikke mindre stolt over Poul-Hennings pæne ord om resultatet.

Men husk på at Geodatastyrelsen ikke arbejder i et vakuum her: Danmarks Højdemodel (som de nye højdedata er første del af) er en del af Grunddataprogrammet. Grunddataprogrammet blev til for to år siden i et samarbejde mellem Regeringen, Kommunernes Landsforening og Danske Regioner. Det indebar ikke blot at grunddata blev givet fri, men også at der blev truffet aftaler om finansiering af deres vedligeholdelse.

Finansministeriet og Kommunernes Landsforening har i fællesskab udgivet en grundig men lettilgængelig, publikation om Grunddataprogrammet: “Gode Grunddata til alle, en kilde til vækst og effektivisering”. Hent den hos Digitaliseringsstyrelsen: http://www.digst.dk/Loesninger-og-infrastruktur/Grunddata - læs den og bliv glad: Grunddataprogrammet er en fantastisk god idé.

Og Grunddataprogrammet er altså en af grundene til at Danmarks Højdemodel (DHM) nu ajourføres med et nyt landsdækkende datasæt.

Opsamling af rådata til ajourføringen har været i udbud i 2013. Udbuddet blev vundet af et konsortium ledet af AeroData Nederland. Specifikation, kvalitetskontrol og oparbejdning af rådata til endelig form sker internt i Geodatastyrelsen.

Med det på plads, hermed også et par mere generelle kommentarer til Poul-Hennings og et par af debattørernes indlæg.

Først og fremmest lidt om datadækning og tilgængelighed: De data der er frigivet nu dækker ca. en tredjedel af landet. Det tager tid at laserscanne hele landet med så stor datatæthed som i den ny DHM (ca. 4 punkter / m2): Der skal flyves lavere og flyvelinjerne skal ligge tættere end for den eksisterende 2007-version af DHM, hvor datatætheden kun var ca. 0.5 punkt / m2.

Resten af landet dækkes nu og i løbet af 2015. Flyvesæsonerne er relativt korte: For at man kan få et retvisende billede af terrænet må der ikke ligge sne, og der må heller ikke være blade på træerne. Derfor går flyvesæsonerne fra sneen smelter indtil løvspring (forårsflyvesæsonen), og fra løvfald indtil snefald (efterårsflyvesæsonen).

Med de korte flyvesæsoner, og fordi man kun kan laserscanne i vejr uden lavtliggende skyer, er det nødvendigt at flyve både dag og nat når vejret (skydækket) er til det.

Farveinformationen i laserdataene kommer fra interpolation i et samtidigt optaget digitalt farvebillede. Men ved flyvning om natten er det ikke muligt at optage billeder samtidig med laserscanningen. Derfor vil data optaget i mørke mangle den farveinformation som Poul-Henning udnytter så overbevisende i illustrationen til blogindlægget.

De steder hvor farveinformationen mangler kan man dog ofte få et rimeligt overbevisende gråtonebillede ved i stedet at plotte laserreflektionsintensiteten, som er den parameter der gemmer sig bag i’et i Poul-Hennings LAStools-besværgelse “-parse xyzciRGB”.

Så til spørgsmålet om “hvor kommer de tekniske kompetencer i Geodatastyrelsen fra?”. Min gisning er at “de har altid været der, og man har sørget for at vedligeholde dem løbende”. Jeg vil ikke kaste mig ud i en lang historisk redegørelse, men blot (som indicium) nævne at Geodatastyrelsen er en af arvtagerne til Geodætisk Institut - som omkring 1960 var den oprindelige økonomiske og tekniske samarbejdspartner for Regnecentralen i deres arbejde med at bygge Danmarks første fuldtransistoriserede datamat, GIER (GI i GIER står for Geodætisk Institut). På gangen ud for min chefs kontor hænger, til daglig påmindelse om denne historiske sammenhæng, en glasmontre med et par hundrede bytes af core-lageret fra en GIER-maskine.

Omend dette faktum, selv med god vilje, højst kan klassificeres som “anekdotisk evidens” for min gisning om kompetencernes persistens, så er anekdoten ikke helt ved siden af. Heller ikke selv om den ikke har ret meget med Danmarks Højdemodel at gøre...

  • 31
  • 0
#27 Poul-Henning Kamp Blogger

Thomas,

Jeg tror dig gerne, men alene det at du udtaler dig i en offentlig debat gør Geodatastyrelsen unik: Normalt er det kun (dis-)informationsmedarbejdere der får lov til at sige noget offentligt :-)

... og det værdsætter jeg dybt, som IT mand og som borger.

PS: Skulle nogen derinde have lyst til at se en hel GIER har vi en som virker ude i datamuseum.dk.

  • 11
  • 0
#29 Daniel Bang

Det kan varmt anbefales at gaa til http://www.osgeo.org/ hvor der er masser at nyttige ting. QuantumGIS er et rigtig godt GUI vaerktoej (til at lave boardroom maps :-)) og GDAL/OGR er nyttigt til at enten scripte eller indlejre i andre programmer. Andre nyttige biblioteker er GEOS, JTS (til Java) mm. Generelt har GIS omraadet et godt FOSS community.

MVH Daniel

  • 3
  • 0
#30 Magnus Pedersen

kan også bruges til analyse af solarpotentiale. Det er også et mål der blev nævnt af geodatastryrelsen. Selv i tyskland, som ikke har frie data, er der allerede flere analyser af solarpotentiale (f.eks. www.solare-stadt.de).

Det giver information om mulig antal af solceller, deres ydelse og effektivitet. Ved brug af danmarks højdemodel kan man jo også tage hensyn til skygger fra træer, terrænet og andre huse når man beregner solar potentiale.

Det er i øvrigt ikke kun de private husejer som profiterer men også installatører og kommunen der har adgang til en så omfattende analyse. Med de nye data kunne man f.eks. lave en lignende analyse af solar potentialet for hele danmark som vil kunne bruges til mange forskellige formål..

  • 1
  • 0
#31 Janus Sandsgaard

Er der nogen specifik årsag til at netop Geodatastyrelsen virker så særligt kompetente og opfindsomme, når det kommer til it?

Geodatastyrelsen (tidligere: Kort- og Matrikelstyrelsen) har alle dage være befolket af gode nørder. Mange af dem enige i, at "det offentlige skulle være mere som Minecraft": http://www.slideshare.net/janus_sandsgaard/maj-konference-2012-janus-san...

Blot var KMS underlagt krav om, at der skulle følge girokort med, hver gang man sendte data ud af huset. Sådan havde man politisk skruet finansiseringen sammen i sin tid.

Dog ikke styret mere stramt, end at de stillede op med folk og disk spækket med geo-data, da Videnskabsministeriet i 2010 arrangerede "DataCamp" for at demonstrere potentialerne: http://danmark3nul.dk/danmark-30-p%C3%A5-data-camp

Regeringens senere frikøb af grunddata blev fribillet til at de kunne slå sig løs og dele ud af data og viden, som forhåbentlig kommer mange til gode. Nøglen til mere af samme skuffe er at demonstrere værdi. Landingsbanen er næste fællesoffentlige digitaliseringsstrategi.

  • 1
  • 0
#36 Preben Simonsen

Hej,

Jeg har prøvet at hente et par .zip-filer, men når jeg følger PHKs beskrivelse i teksten kan jeg ikke hente RGB data ud af .laz filerne.

På et datasæt fik jeg denne fejl når jeg kørte las2txt som beskrevet ovenfor:

WARNING: requested 'R' but points do not have rgb WARNING: requested 'G' but points do not have rgb WARNING: requested 'B' but points do not have rgb

På det andet datasæt jeg hentede får jeg ikke længere fejlen, men der er ikke nogle RGB data i den tekstfil jeg laver med las2txt.

Nogen der har prøvet noget lignende?

Mvh. Preben

  • 0
  • 0
Log ind eller Opret konto for at kommentere
Job fra Jobfinder
Tip redaktionen