To australske studerende udvikler folketællingsweb til en brøkdel af prisen på det officielle site

7 kommentarer.  Hop til debatten
I sidste uge brød det australske website til brug for en igangværende folketælling ned. Nu har to studerende bygget et site, der virker, under et hackathon på godt to døgn.
16. august 2016 kl. 14:36
errorÆldre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

To førsteårsstuderende på Queensland University i Australien har til en rekordlav pris udviklet et alternativ til det officielle folketællingswebsite, ABS Census under det centrale australske statistikkontor.

De to studerende er hhv. Austin Wilshire på 18 år, og Bernd Harzer på 24, og udviklingsarbejdet foregik under et hackathon i weekenden, fortæller Mail Online.

Og det var ikke bare billigt. De to udviklere brugte kun lidt over to døgn på at færdiggøre webstedet, og det kostede dem mindre end 500 dollars - hvilket er langt under de 10 millioner dollars, som den australske regering har brugt på det officielle websted.

Det australske statslige website - og dermed en igangværende folketælling - blev i sidste uge lukket ned i over et døgn med en forklaring fra myndighederne om, at it-registreringssystemet har været udsat for et massivt DDoS-angreb uden for kontinentets grænser.

Artiklen fortsætter efter annoncen

Der blev dog samtidig sået tvivl om, hvorvidt der reelt er tale om et DDoS-angreb. Flere førende sikkerhedsfagfolk udtalte, at de ingen konkrete beviser så på et angreb.

De studerendes alternative website - som har fået titlen 'Make Census Great Again "- har undgået at anvende serverbaseret arkitektur, men bliver i stedet hostet i skyen hos Amazon, hvilket betyder, at der er kapacitet til store udsving i belastningen.

»Fra starten har vi designet systemet til at skalere ved hjælp af banebrydende serverfri arkitektur,« udtaler Austin Wilshire til Daily Mail Australia.

De to udviklere har altså fået lov til at drifte visse kodedele på Amazons servere, oplyser de.

Artiklen fortsætter efter annoncen

»Det betyder, at deres driftspersonale er dem, der tager sig af skalering for os,« sagde han.

Mens ABS Census-hjemmesiden var testet til en belastning på en million sidevisninger i timen, er det studentikose alternativ afprøvet til at klare fire millioner sider pr. time.

»Vi gjorde det virkelig simpelt, for det var ikke nødvendigt at skabe noget komplekst,« siger Bernd Harzer til Daily Mail Australien.

Han erkender dog, at de to studerende har kunnet arbejde uden de mange begrænsninger, som Census har været underlagt.

7 kommentarer.  Hop til debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger
7
17. august 2016 kl. 15:04

Lige hvad der er hemmelig ved en folketælling, hvis eller de statistikken har fået fjernet persondata, kan jeg ikke se. Hvis det er nogen som vil holde det hemmeligt, så er de selv ude i noget snavs. Hvor man måske ikke vil have ubehaglige kendgerninger som etnisk oprindelse, uddannelse, indkomst og kriminalitet ud.

Konspirationsteori much?

Selvfølgelig skal man holde følsomme personoplysninger ude af "modstanderens" hænder, både så de ikke aflures -- men sandelig så de ikke forvanskes undervejs. De datasæt, der udleveres til offentligheden, forskere m.v. er selvfølgelig efterfølgende behørigt renset, ikke mindst for navne og adresser (som f.eks. indgår i census i USA og Australien)

Spørgsmålet er vel snarere hvem "modstanderen" er. Script kiddies? Professionelle black hats (mafia, m.m.)? Fremmede regeringer? Hvis en (passende stor) udenlandsk regering vil ind i dine data, så kommer de det jo nok før eller siden, uanset om det ligger på AWS eller i din atomsikrede kælder.

6
17. august 2016 kl. 12:50

Lige hvad der er hemmelig ved en folketælling, hvis eller de statistikken har fået fjernet persondata, kan jeg ikke se. Hvis det er nogen som vil holde det hemmeligt, så er de selv ude i noget snavs. Hvor man måske ikke vil have ubehaglige kendgerninger som etnisk oprindelse, uddannelse, indkomst og kriminalitet ud.

Så at bruge det argument at det skal "hjem" til en NSA overvåget løsning, med adgang til "hvem ved jeg, og ved de det selv" holder ikke med hensyn til sikkerhed. validering af data, kan lige nemt også foretages i skyen.

Så det hvis kun Djøfer, der gerne vil holde på magt, job og økonomi, som ikke kan lide sådan løsninger. Da der så ikke kan tilsætte en hvis posion mannament, så der kan bruges 100-200% overlay i ansatte, lidt konsulent bistand, samt lidt udvalg og andet. Så ender vi på samme pris som den offentlige løsning i Australien.

5
17. august 2016 kl. 11:01

Man behøver dog ikke Amazons skalering for at bygge en web service som kan klare 4 mio visninger. Det burde være en triviel sag at sætte et system op med varnish og nginx, som kan klare skaleringen manuelt.

I forhold til en folketælling vil Varnish og nginx ikke give dig alverdens, for godt nok skal der serveres lidt statiske data (HTML/CSS/Javascript/billeder), men det er altså inddatavalidering, lagring og forespørgsler, der trækker tænder ud i sådan en applikation. Og der har man brug for et fornuftig og velafprøvet serverarkitektur, som det kan undre, at IBM åbenbart ikke har kunnet levere.

I øvrigt: De studerende vidste godt at en cloudløsning er uspiselig fra et privacyhensyn:

The students admitted a problem with a cloud-based system was the issue of ensure information remained private when you don’t own the servers.
“That wasn’t our challenge, it was just a proof of concept that doing this way is going to be the better way in the future,” he said.

http://www.news.com.au/technology/online/qut-students-design-a-500-cloudbased-census-server-four-times-better-than-ibms-9-million-system/news-story/0a4eeabf733cedfce0091ce6f062c60c

4
17. august 2016 kl. 10:52

For det første, er det absolut ikke en serverfri arkitektur. Den er muligvis skallerbar og hostet hos en leverandør der hurtigt kan levere flere severe, men der er stadig servere. Dernæst kan den selvfølgelig blive overbelastet hvis designet ikke er rigtigt eller noget går galt.

Selvfølgelig er der servere -- begrebet "serverless" dækker over at der alene hostes enkelte funktioner, og ikke hele VM'er. Det vil sige at der (i teorien) kan skaleres bredt ud (p.g.a. korte opstartstider), og at løsningens (synlige) kompleksitet bliver endnu lavere end den ville være i de lidt mere klassiske cloudløsninger, f.eks. Elastic Beanstalk. Se evt. https://en.wikipedia.org/wiki/Serverless_computing

3
17. august 2016 kl. 10:41

Mon ikke de kan finde budget til både løn og egne servere i de resterende 9.999.500 dollars, det oprindelige projekt kostede?

2
17. august 2016 kl. 09:54

Fint nok, men folketællingsdata, kan man ikke BARE lægge i en sky i et fremmed land!

Man behøver dog ikke Amazons skalering for at bygge en web service som kan klare 4 mio visninger. Det burde være en triviel sag at sætte et system op med varnish og nginx, som kan klare skaleringen manuelt.

1
17. august 2016 kl. 09:13

Det lyder så godt at det nok skal tages med et gran salt.

Kommentaren om "banebrydende serverfri arkitektur" lyder godt nok alternativ. Finder man den i kilden står der:

Their project - titled 'Make Census Great Again' - used 'serverless architecture' by hosting their site on Amazon servers - meaning it could not get overloaded.

For det første, er det absolut ikke en serverfri arkitektur. Den er muligvis skallerbar og hostet hos en leverandør der hurtigt kan levere flere severe, men der er stadig servere. Dernæst kan den selvfølgelig blive overbelastet hvis designet ikke er rigtigt eller noget går galt.

Men der er en stor prisforskel. De har brugt 54 timer, hvilket giver dem en timeløn på $10 i timen, hvis det da ikke er rene udgifter og de har arbejdet gratis. Hvis de to herre vil arbejde på bare ét af de vilkår, kan de sikkert få job mange steder.

Hvis man skulle lave det samme i Danmark, tvivler jeg også på, om det kan få lov til at køre på Amazon - pga. datasikkerhed/privatliv ol. Så skal vi snakke sammen med NemID, og der skal bruges mange penge på et udbud, en masse møder, rapportering ol. Måske har staten endda bestemt at systemet skal køre på en platform de allerede har. Til sidst vil jeg til enhver tid gerne sætte en dygtig tester på systemet og se hvad der sker. Det er alt sammen ting der koster rigtig meget.

Det spændende vil dog altid være at analysere forskellene og se hvad der rent faktisk kan skæres væk fra det offentlige system, og hvad der ikke kan undværes i et offentligt system med data der er kritiske for privacy.