DataFordeler: Vis hvad du duer til!

Staten har lavet en "datafordeler" og den er ifølge alle ansvarlige en stor success.

Her er en lille udfordring:

Find hvilken 10x10km firkant du bor i og download derefter Danmarks Højdemodel (f.eks DHMoverflade) fra datafordeleren.

Professionelle vurderinger af design og kvalitet af Datafordeleren kan efterlades i debatten herunder.

phk

PS: Hvis du får det til at virke vil jeg meget gerne høre hvordan, for jeg kan dælme ikke få det til at virke...

Kommentarer (49)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#3 Nis Schmidt

Det der virker, virker godt. Jeg fik opretter mig som bruger.

Resten giver anledning til at revurdere min brug af ordet: amatører.

Jeg troede, at en amatør var en som holdt af det vedkommende lavede.

Her GIS ikke ved dørene, for at gentage en gammel vits, det er latterligt besværligt. Man skal sikkert have tilladt et eller andet, før det virker.

Derudover er netstedets ergonomi rent ud sagt til at hulke over, selvom man kan tilbageholde skriget.

Må have fat i QGIS og se om jeg så kommer videre - i værste fald må der en opringning til. Måske er der en vejledning et sted, men ærlig talt?

  • 0
  • 0
#5 Lars Jensen

Disclamer: Jeg var med i 3½ år til at teste og udrulle de tre af GSTs (Geodatastyrelsen) systemer der befinder sig i systemlandskabet omkring DAF (Datafordeleren). Jeg vil derfor ikke afvise at nogen finder mine skriblerier partiske eller farvede i en bestemt retning. GST er ikke ansvarlig for Datafordeleren, det er SDFE (Styrelsen for DataForsyninge og Effektivisering).

Lidt baggrund: Der er mange systemer hos mange forskellige myndigheder indvolveret. Hovedfokus er ikke lagt på GIS (DAF er ikke en Kortforsyningen v2.0) men på data i stor udstrækning. DAF er en af de søjler (nr. 7 svjh) som udgjorde den oprindelige kærne-del af grunddataprogrammet. Der blev bl.a. udarbejdet en fælles datamodel (simplificeret som http://grunddata.dk.dedi1832.your-server.de/wp-content/uploads/2016/02/1...) og der blev etableret en fælles dataudvekslingsplatform. Den hedder Datafordeleren -- DAF

DAFs store styrke er at kunne levere data til data-anvenderne hurtigt og præcist; opdateres løbende - for hvert minut om nødvendigt. Den primære tilgang for en almindelig bruger vil være gennem eget fag-system. Dette system tilgår så DAF, typisk via forskellige typer af REST kald.

Dataændringer kan også kommunikeres ud fra et af de tilknyttede fagsystemer til andre gennem de hændelsesbeskeder som Datafordeleren generere til dem som måtte abbonnere på det. Endelig er der også dem som hellere vil forsøge at holde et lokalt kopiregistrer ajour (god fornøjelse) eller som ønsker at have data liggende til eksempelvis analyser i QGIS.

Kortforsyningen lukker angiveligt i løbet af efteråret/vinteren/xxx - Datafordeleren er IKKE en umiddelbart 1:1 erstatning -- Måske at Dataforsyningen som SDFE er ved at bygge op, bliver det.

Et par sider kan være gode at kende til:

generel DAF dokumentation: https://confluence.datafordeler.dk/display/DML/Dokumentation

find dit 10x10 km grid: https://dmweb.sdfe.dk/maps/datafordeleren.html

Hvorfor var det nu det gik i gang: http://grunddata.dk/

Til emnet: jeg har forsøgt (2 gange endda) at opsætte abbonnement på et fil-download på en 10x10 kvadrat på DHMoverflade jf. vejledningen på https://confluence.datafordeler.dk/pages/viewpage.action?pageId=25722925

Det er ikke lykkedes. Den fil jeg får hentet indeholder beskeden "Det valgte område må højest inkludere 4 blokke af 10x10 km" -- Hvilket jeg bliver lidt lang i ansigtet af, da jeg jo kun har specificeret en blok (ØV).

Nu skal jeg ikke bruge et udtræk (er på ferie), så min anbefaling vil være at fejlmelde Jeres udfordringer jf. https://datafordeler.dk/support/ Der er længe åbent på telefonen (-:

Det GIS-data man kan få ud af DAF virker stort set fint i QGIS, bare man bruger en version > 3.x (var det mon 3.4 ??) -- 3.12 virker hos mig.

Nis foreslåer at benytte en REST service til DHM -- var det mon en vej frem? (har ikke prøvet selv endnu)

Og brugervenligheden på DAFs selvbetjening? -- den kunne være bedre, det medgiver jeg gerne.

Fortsat god sommer. Hilsen Lars

  • 15
  • 0
#6 Nis Schmidt

Jeg er ved at installere QGIS.

Det bliver næppe nødvendigt at revurdrer min brug af ordet 'amatør'; bortset fra ergonimien i sitet, ser det ud til, at de holder af'et ;-)

Og nu er QGIS færdig med sin install. (Der er frygtlig mange licenser at kvittere for i ins, men kommer man igennem uden at løbe skrigende bort, går resten som smurt.) Der går nu et par timer med fri leg, Jeg havde heldigvis hentet Python i forvejen.

  • 0
  • 0
#7 Adam Sjøgren

Det lyder som en sjov skattejagt. Jeg prøver:

Først findes adressen på datafordeleren via en søgemaskine:

· https://datafordeler.dk/

Vi leder efter en højdemodel, så vi gætter på "Landkort og geografi":

· https://datafordeler.dk/dataoversigt/?emne=landkort%20og%20geografi

Her er 8 resultater grupperet under "Danmarks Højdemodel". Nr. 6 er "DHM/Overflade", den ønskede type:

· https://datafordeler.dk/dataoversigt/danmarks-hoejdemodel/overflade/

Under "Quickguides til webbruger og tjenestebruger" står der:

"For at få adgang til tjenester fra Danmarks Højdemodel skal du via Selvbetjeningen oprette:

En webbruger med brugernavn/adgangskode (Webbrugeren opretter og administrerer tjenestebruger)

En tjenestebruger med brugernavn/adgangskode (Tjenestebrugeren får adgang til tjenesterne)

Du skal tilføje tjenestebrugerens brugernavn og adgangskode til url i GIS-klienter."

og der er yderligere links til hvordan disse brugere oprettes:

· https://confluence.datafordeler.dk/pages/viewpage.action?pageId=13665185 · https://confluence.datafordeler.dk/pages/viewpage.action?pageId=13665234

Webbruger oprettes:

· https://selfservice.datafordeler.dk/

Da jeg bruger et tilfældigt kodeord på 24 tegn får jeg fejlmeddelelsen: "Kodeord skal være mellem 8 og 20 karakterer;23654ff8-3267-4917-bb2c-8f19c10c0de5"

Efter at have reduceret antallet af tegn i kodeordet får jeg oprettet en webbruger og aktiveret den via et link i en email.

Denne logger jeg ind som og klikker på "+" ved siden af fanen "Webbruger" for at oprette en tjenestebruger.

Til tjenestebrugerens kodeord bruger jeg et tilfældigt kodeord på 20 tegn og får fejlbeskeden: "Adgangskode må ikke indeholde en mellemrum og skal indeholde mindst 4 af følgende kombinationer: store bogstaver, små bogstaver, tal eller specialtegn (skal dog være URL kompatibel);4d760d47-8366-4dd9-b12a-06af31ea6525" - jeg mangler "specialtegn". '^' er ikke tilladt, men '-' virker. Max. er også 20 tegn her.

Ok, brugerne er sat op, tilbage til vejledningen i filudtræk:

Under "Katalog over filudtræk (DHM)" er et link til en vejledning:

· https://confluence.datafordeler.dk/pages/viewpage.action?pageId=25722925

Hvor punkt 4 er "Hent et brugerdefineret filudtræk":

· https://confluence.datafordeler.dk/pages/viewpage.action?pageId=25722925...

der forklarer at man skal vælge "Filudtræk" i menuen efter login og derefter trykke "Download" og ellers følge sammen vejledning som for "Opsæt et abonnement på et brugerdefineret filudtræk" på nær tidsangivelserne:

· https://confluence.datafordeler.dk/pages/viewpage.action?pageId=25722925...

Derefter får man en email med en ftp-adresse(!) man kan hente udtrækket på.

På side 3 i listen under Filudtræk / Download findes "DHMoverflade (0,4m. grid), som vælges og jeg trykker på "Næste"-knappen. Efter at have fundet på et visningsnavn, "p-hk skattejagt" og tastet det ind.

Her lander vi så på det første sted jeg går i stå:

"Afgraensning (10km kvadratnet)" står der over et felt med teksten "NULL" i. Jeg ved ikke hvordan jeg angiver mit 10x10 km kvadrat.

Efter at have scrollet en del ned i vejledning kommer der en boks med overskriften "Hjælp til at identifiere navne på 10*10 tiles", med et link til:

· https://dmweb.sdfe.dk/maps/datafordeleren.html

617_72 er det navn jeg skal bruge, ser det ud til, så det sætter jeg ind i stedet for "NULL" og trykker gem. "Succes - Abonnementet blev oprettet" svarer fordeleren.

"Bemærk, at der svares altid "Abonnement blev oprettet", skønt du ikke har bestilt et abonnement, men kun et enkeltstående filudtræk." står der i vejledningen.

Så nu venter jeg bare på en email med ftp-oplysninger. Fortsættelse følger...

Det tog et par minutter, så fik jeg en email:

"Dit filudtræk p-hk_skattejagt_20200808142314.zip er nu tilgængelig for din tjenestebruger RGGWCFMFHW på PROD01 - ftp3.datafordeler.dk Filudtrækket er tilgængelig i 7 dage"

Så jeg prøver at hente det:

Hah: "ftp: command not found" min maskine har ikke engang ftp installeret. Nå, efter installering:

$ ftp ftp3.datafordeler.dk Connected to ftp3.datafordeler.dk. 220 (vsFTPd 3.0.2) Name (ftp3.datafordeler.dk:asjo): RGGWCFMFHW 331 Please specify the password. Password: 230 Login successful. Remote system type is UNIX. Using binary mode to transfer files. ftp> passive Passive mode on. ftp> get p-hk_skattejagt_20200808142314.zip local: p-hk_skattejagt_20200808142314.zip remote: p-hk_skattejagt_20200808142314.zip 227 Entering Passive Mode (131,165,213,138,110,185) 150 Opening BINARY mode data connection for p-hk_skattejagt_20200808142314.zip (855 bytes). 226 Transfer complete. 855 bytes received in 0.12 secs (6.7917 kB/s) ftp> quit 221 Goodbye. $ unzip -t p-hk_skattejagt_20200808142314.zip Archive: p-hk_skattejagt_20200808142314.zip testing: valgt geografi er ikke gyldig.txt OK testing: p-hk_skattejagt_20200808142314_Metadata.json OK No errors detected in compressed data of p-hk_skattejagt_20200808142314.zip. $

Sørens.

  • 6
  • 0
#10 Adam Sjøgren

Nu prøvede jeg med 638_58 som er eksemplet i vejledningen. Samme fejl:

Det valgte område må højest inkludere 4 blokke af 10x10 km

I JSON filen står der fint:

{  
"parameternavn":"Afgraensning (10km kvadratnet)",  
"parametervaerdi":"638_58"}]}

Så, øv, jeg fandt ikke skatten.

  • 0
  • 0
#15 Nis Schmidt

Er fagsystem = GIS-pakke (1 af 3)?

Det lader til at jeg har fået min sag for ;-) Både QGIS og Python (uden h er noget andet).

Nå, jeg finder nok ud af det, men der kan gå et par dage - da jeg døjer med forstoppelse (ot): en ting af gangen. Prøv evt. i mellemtiden at søge på QGIS og datafordeler. /cnis

  • 0
  • 0
#18 Jens Beltofte
  • 0
  • 0
#20 Baldur Norddahl

Datafordeler in QGIS - Danish Government Data:

(jeg har ikke set videoen)

Det QGIS gør er at hente små kortudsnit. Foruden QGIS så bruger jeg det samme med OpenLayers på en online løsning, der giver vores mandskab direkte adgang til vores GIS data som overlay kort fra kortforsyningen.

Eksempel:

https://services.kortforsyningen.dk/orto_foraar?token=d12107f70a3ee93153...

Som man hurtigt konstatere, så er det ikke ligefrem et 10 x 10 km udsnit du får tilbage.

Men jeg har tidligere downloadet de nævnte 10 x 10 km udsnit fra Kortforsyningen. Det var inden jeg lærte at det er muligt at bruge direkte som webservice, uden at jeg selv behøver have en kopi på min egen server.

  • 0
  • 0
#21 Lars Jensen

Dammit.... det er desværre ikke rygter længere. Se https://kortforsyningen.dk/indhold/geografiske-grunddata-pa-datafordeleren.

Nå, så må jeg hellere skrive til en kunde her i min ferie at deres løsning skal laves om inden 1/1-2021.....

Nu har overgangsperioden jo været fastsat flere gange før og sidenhen udskudt, så det kan ske igen. jeg vil dog nok ikke satse på det denne gang.

/Lars

  • 0
  • 0
#22 Lars Jensen

What?! Skal man mon have tralvt med at lave en lokal kopi af ortofoto, så vores online GIS kort ikke pludselig holder op med at virke? Det er rigtigt nemt at kombinere OpenLayers med kort direkte fra kortforsyningen og det håber jeg det bliver ved med at være.

Jeg vil ikke anbefale lokal kopi af noget hentet fra Datafordeleren (det er lige straks outdated), med mindre det er for at benytte data til statistikberegninger eller noget tilsvarende. Måske lige med ortofotos og andre baggrundskort er det OK...

At få vist ortofotos, diverse "normale" kort (Skærmkortet oa) i rasterformat eller hente WFS data (Matriklen eller GeoDanmark (FOT)) fra Datafordeleren, har til de formål jeg har skullet bruge fungeret ganske udemærket indtil videre.

Når du lige kommer over finurligheden med web-/tjenste-bruger (du skal have to brugere ikke en som kortforsyningen), så er det stort set lige ud af landevejen. Udskift en URL med en anden.Derefter TEST TEST TEST -- og ikke i sidste øjeblik, der kan være lavet noget om da det ikke er 1:1

Tip til dem som bruger QGIS: Septima har hældt en masse god kode ind i den plugin som kan hentes til QGIS for at integrere med Datafordeleren -- Måske det er en vej udenom den lidet overskuelige dokumentation -- men det hjælper soleklart ikke dem som vil downloade data.

/Lars

  • 0
  • 0
#23 Lars Jensen

Er fagsystem = GIS-pakke (1 af 3)?

Ikke helt.. (-:

Et fagsystem kan være CPR-systemet, jagttegnsadministrationen, byggesagsbehandligssystemet, Ejerfortegnelsen eller noget helt andet.

En af "fiduserne" med grunddataprogrammet, der omfagner Datafordeleren, er at man har i det offentlige (i hvert fald forsøgt) at luge ud i forskellige datamodeller, dobbeltregistre og andre datamæssige uhensigtsmæssigheder. Private data-anvendere opfordres kraftigt til at tilpasse deres data for at lette udveksling mv.

Der er nu kun et rigtigt adresseregister- Det hedder DAR (Danmarks Adresser), Der er nu kun en Matrikel der indeholder alle ejendomme (selv om at Tinglysningsretten stadig har deres skygge-matrikel).. Der er nu kun en... (fortsæt selv)

men QGIS er vejen frem med data GIS-data (husk der er mange andre typer af data på DAF)

/Lars

  • 1
  • 0
#26 Knud Larsen

Jeg bruger Dashline (og LastPass til Firefox), så først blev jeg afvist et utal af gange for en ringe og besværlig pasords kontrol. Da det endelig var oprettet ville det ikke give mig adgang alligevel. Det ser ud som om mit brugernavn ændres fra email til noget komposite email noget mere. Så kom jeg ikke længere og gider egentlig ikke mere.

  • 0
  • 0
#29 Nis Schmidt

Som var samlet i et tastetryk. Det lader til at man bestiller udtræk og så får en mail, når det er klar til afhentning. Jeg fik min mail igår og har nu 7-1 dage til at hente varerne på datafordeleren. Undervejs gennem QGIS m.m. har jeg "glemt" hvordan man kommer derhen, hvor man kan hente 10x10km. Jeg kan huske hvilken hvadrant jeg skal bruge (617_71), men 'dæleme' ikke finde tilbage ;-(. At komme gennem online 'help' er en "Indiana Jones" oplevelse; det må kunne gøres bedre?

For at gøre det lidt mere interessant rummer SDFE-mailen ikke bare et direkte, men kun et filnavn og en server adr. Så skal man finde formatet på linket i helpen, gætter jeg og tilføje "username" og "password".

Derfor QGIS - de fleste GIS-pakker kan finde ud af lave et udklip på 10x10km. Håber jeg når igennem og får filen nedladet fra SDFE inden på søndag, så jeg kan hente den ind i GISsen ad bagvejen.

Det er gratis, men temmelig besværligt ;-)

  • 0
  • 0
#33 Nis Schmidt

Jeg ved ikke hvem der har designet datafordeleren, men man kunne godt få det indtryk at de har mange års erfaring med at gøre ting helt unødvendigt komplexe for at kunne fakturere kunderne flere yderlser ?

Det kunne jo også være at KMD ikke har haft en projectlead med overblik.

Derfor er informationenvanskelig finde fx fordi de løb tør for tid.

Overblikket mangler, så nogen (af os) må skrive en vejledning, som samler det. Puha!

  • 0
  • 0
#36 Nis Schmidt

Tak til AS for meget relevant link.

Incident: 12-08-2020, kl 15:00: Fejlen er løst, og det er igen muligt at hente DHM filudtræk i 10x10 km tiles. Fejl i filudtrækstjenesterne DHMTerraen, DHMPunktsky DHMOverflade. Der returneres en tekstfil (”valgt geografi er ikke gyldig.txt”) med følgende indhold:"Det valgte område må højest inkludere 4 blokke af 10x10 km" ,ved bestilling af valid 10 km-blokangivelse (f.eks 614-67). Der arbejdes på at rettes fejlen, at den er rettet i produktionsmiljøet inden for et par uger.

(Kilde: datafordeler.dk)

Så kan vi prøve igen.

  • 0
  • 0
#37 Lars Jensen

men QGIS er vejen frem med data GIS-data (husk der er mange andre typer af data på DAF)

Langt hen ad vejen er jeg enig med dig, men derfor skal download dog stadig virke når det er en service man annoncerer...

Det er jeg helt enig med dig i -- Det er for dårligt! (rettelse er vidst på vej)

Og til alle: QGIS er godt med når det drejer sig om GIS-data fra Datafordeleren; men dels kan man ikke bruge QGIS til at løse den af PHK stillede opgave og dels er der jo mange typer af data som ikke er GIS-data (nok mere end 2/3)

Hilsen Lars

  • 1
  • 0
#38 Nis Schmidt

Klik på: https://datafordeler.dk/drift/meddelelser rul lidt ned ad siden til 07-08-2020 Incident og læs der:

Incident: 12-08-2020, kl 15:00: Fejlen er løst, og det er igen muligt at hente DHM filudtræk i 10x10 km tiles.

Opdatering fra idag viser at problemet, som blev "logget" dagen før p-hk's udfordring, nu skulle være løst.

MvH /Nis

P.S. Vi venter på en verifikation her. F.eks. fra udfordreren;-)

  • 1
  • 0
#41 Nis Schmidt

Så kom vi også lidt rundt om andre ting. Fint nok.

Og fik gjort lidt reklame for SDFE.

Tilbage står den nær håbløse "helpfunktion" i SDFE. Der kan siges meget godt om online og context sensitive hjælp, men disse bør ikke gå ud over overskueligheden af anstrængelserne.

Nu venter jeg bare på, at DHM også bliver lettilgængelig i QGIS og lign.

  • 0
  • 0
#42 Adam Sjøgren

Nu ligger mit 10x10 km udsnit på ftp-serveren:

Passive mode on.  
ftp> ls  
227 Entering Passive Mode (131,165,213,138,178,51)  
150 Here comes the directory listing.  
-rw-r--r--    2 65534    65534         855 Aug 08 14:23 p-hk_skattejagt_20200808142314.zip  
-rw-r--r--    2 65534    65534         865 Aug 08 14:43 p-hk_skattejagt_2_20200808144338.zip  
-rw-r--r--    2 65534    65534         869 Aug 08 14:51 p-hk_skattejagt_3_20200808145125.zip  
-rw-r--r--    2 65534    65534    1757700716 Aug 12 22:29 p-hk_skattejagt_loest_20200812222747.zip  
226 Directory send OK.

(Jeg fik dog ikke nogen email om at det var klar, det gjorde jeg med de første 3, tomme, forsøg.)

Hvad har jeg vundet?

  • 1
  • 0
#44 Poul-Henning Kamp Blogger

Hænger dette sammen med sdfekort.dk?

Den er da åbenlyst 5-10 meter forskudt i forhold til skelpælene.

Matrikelkortet er ikke specielt præcist for ældre registreringer, der er nærmest en slags logaritmisk præcision: De seneste 10 år: 1cm, de forudgående 20 år: 10cm, de forudgående 40år: 1m osv.

Loven har altid sagt at det er skellet i marken der gælder, matrikelkortet er primært for at kunne holde styr på hvem der ejer hvad og ca. hvor man skal lede efter skellet i marken.

  • 1
  • 0
#45 Gert Madsen

Matrikelkortet er ikke specielt præcist for ældre registreringer, der er nærmest en slags logaritmisk præcision: De seneste 10 år: 1cm, de forudgående 20 år: 10cm, de forudgående 40år: 1m osv.

Mjah. Nogle af grundene er udstykket indenfor de seneste 20 år, så der må man formode at kortene blev opdateret.

Så det kan ikke rigtigt undskylde den store afvigelse.

  • 0
  • 0
#49 Gert Madsen

Men hvad har du mere end matrikelkortet ?

Jeg går ind på web-siden og vælger matrikelkort, som beskrevet. Her vises også bygningerne på grundene, som må stamme fra flyfoto eller satellit.

Placeringen af vejen passer meget godt, og sammenhængen mellem de placerede bygninger og skråfoto-billederne, ser også ud til at stemme. Men skellene mellem grundene er helt skævt.

Hvis du er interesseret, kigger jeg på Hasnæs Høje, Ebeltoft. Fuksiavej.

Når jeg kigger på de historiske kort, ser det ud til, at opdelingen er tegnet ind på kortet fra 1958, og det formodentlig er den som styrer nøjagtigheden, selvom der er sket udstykninger meget senere. Ifølge hjemmesiden ophørte gyldigheden af kortet i 1996, selvom (nogle) udstykninger først er sket i 2001.

Men det som jeg kritiserer, er at myndighedernes fralægger sig deres kerneopgave. Altså at styre hvilken jord, som tilhører hvem, så man undgår vilkårlighed og "den stærkes/frækkestes ret". Istedet bruger man så kræfterne på at hjælpe håndværkere til at tælle vinduer, og tyveknægte til at planlægge deres ture.

Selvom det måtte være pælene i marken, som gælder, så bliver de mast og gravet bort af forsyningsselskaber og andre, og med tiden ruster de op. Så kunne man bruge de præcise billeder til at få grænserne på plads, hvis altså man ville.

  • 0
  • 0
Log ind eller Opret konto for at kommentere