DIKU-speciale: Usability halter for NemID

34 kommentarer.  Hop til debatten
En usability-evaluering i et speciale fra DIKU giver NemID dumpekarakter over en bred kam. Konklusionen giver login-tjenesten det nedslående prædikat ?tvungen succes?.
12. maj 2011 kl. 06:59
errorÆldre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Et speciale på Datalogisk Institut ved Københavns Universitet giver brugeroplevelsen af NemID en hård medfart. Den folkelige opfattelse af NemID som værende svært bliver til fulde bekræftet.

»NemID er ikke nemt. I forhold til tidligere løsninger som den gamle digitale signatur og forskellige netbank-løsninger mener 59,2 procent af respondenterne, at det ligefrem er blevet sværere med NemID. Man kan lægge i tallene hvad man vil, men jeg synes det er opsigtsvækkende, at så mange ikke syntes, det var en forbedring,« siger Anders Bjerg Pedersen til Version2.

Den nyslåede datalog Anders Bjerg Pedersen er ophavsmand til specialet, der er blevet bedømt til topkarakteren 12. Han har blandt andet benyttet sig af spørgeskemaer fra 161 tilfældigt udvalgte NemID-brugere og en mere kvalitativ evaluering i form af tænke-højt-tests, hvor blandt andet aktiveringsprocessen er blevet gået efter i sømmene.

Det er formentlig det ekstra sikkerhedslag i form af det trefløjede papkort, som får folk til at synes, NemID er mere besværligt. Og for at det ikke skal være løgn, tyder Anders Bjerg Pedersens undersøgelser på, at udviklingen over tid går i den forkerte retning.

Artiklen fortsætter efter annoncen

»Jo længere tid, der går, jo mindre praktisk synes folk, det er. Det synes jeg er et væsentligt indspark i debatten. Når noget, der er meldt ud som nemt og praktisk scorer lavere på de parametre over tid, så bør det give anledning til eftertanke,« siger Anders Bjerg Pedersen.

Undersøgelsen peger også på en meget høj andel af NemID-brugere, der har problemer med systemet efter aktivering, nemlig 22,7 procent. Men problemet opstår allerede, når brugerne skal aktivere deres NemID:

»I mine tænke-højt-test kunne fire ud af ni personer ikke selv finde ud af at aktivere deres NemID, og i spørgeskemaundersøgelsen var det 10 procent. Hvis vi ganger de 10 procent op, betyder det, at 300.000 ud af de 3 millioner NemID-brugere ikke kan finde ud af det, og det er et ret skræmmende tal,« siger Anders Bjerg Pedersen.

I specialet har hans testpersoner således fundet ikke mindre end ti kritiske usability-fejl i NemID-konceptet. Noget af forklaringen på, hvordan så mange fejl kan slippe igennem et så relativt gennemtestet koncept, har Anders Bjerg Pedersen fundet gennem aktindsigt i de brugerundersøgelser, IT- og Telestyrelsen har gennemført.

Artiklen fortsætter efter annoncen

»Testpersonerne har testet en prototype-version af NemID med en ikke-eksisterende demo-netbank ? og at de i kommer ind i et særligt lokale med en særlig test-pc. Så fanger man jo ikke alle de problemer, der kan være med at brugerens egen pc måske ikke har java, eller at sikkerhedsindstillingerne er sat forkert,« siger Anders Bjerg Pedersen.

Dit speciale ender med at konkludere, at NemID kan betegnes som en ?tvungen succes?. Hvad lægger du i det?

»Ordet tvungen bruger jeg, fordi du ikke har noget alternativ. Hvis du vil være it-borger i Danmark, jamen så skal du have et NemID. Netbank og samtlige offentlige instanser bruger det, så der er ikke andre muligheder, hvis du vil have del i selvbetjenings-fremskridtet. Succes-delen kommer af, at det på kort tid er lykkedes at få en kritisk masse af brugere ?mere end dobbelt så mange som den gamle digitale signatur nåede at få på mange år. Og så vil jeg helt klart mene, at NemID rent sikkerhedsmæssigt er en forbedring i forhold til tidligere løsninger.«

Læs Anders Bjerg Pedersens speciale her (pdf)

34 kommentarer.  Hop til debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger
1
12. maj 2011 kl. 08:22

Det er da et specialeemne der er interessant at læse om. Selvom jeg kun har læst artiklen her på V2 - så er jeg ikke ubetinget enig i konklusionen.

Nu kunne det så være interessant at lave en sammenligning mellem en tidligere undersøgelse af den gamle digitalsignatur + et hav af forskellige netbanklogins mod NemID.

Isoleret set, så er NemID måske lidt bøvlet hvis man blot skal i netbank en gang i mellem. Det har en række banker dog imødekommet ved at fjerne brugen af papkort ved login og kun ved gennemførsel af betalinger og overførsler - hvilket reducerer brugerinteraktionen med NemID til et minimum.

I det store hele synes jeg det er en god ting, at banker har slået sig sammen med det offentlige så man kan bruge samme login til at se netbank og til at rette CVR, indberette skat og moms, m.m.

31
12. maj 2011 kl. 18:39

Det har en række banker dog imødekommet ved at fjerne brugen af papkort ved login og kun ved gennemførsel af betalinger og overførsler - hvilket reducerer brugerinteraktionen med NemID til et minimum.

Og dér falder kæden så af. Det er muligt at man ikke kan andet end at kigge, hvis man ikke har papkortet, men har du kigget på det der kan kigges på?

Samtlige bankfinansielle forhold; gæld, renter, formue. Dertil samtlige kontonumre. Og ens postadresse. Det er FAIL.

Og der skal ikke mere til end en keylogger gemt i et rootkit...

Min bank tilbyder også muligheden for adgang uden nøglekort. Skal man lave noget aktivt, mens man er inde, skal nøglekortet i brug. Logger man ind med nøglekortet, er man inde. Der skal efterfølgende ikke bruges nøglekort. Nu skal jeg bare have dem til at fjerne muligheden for at logge ind [u]uden[/u] nøglekort.

32
20. maj 2011 kl. 09:44

Usability problemer jeg tit støder på i forbindelse med NemID:

  • Applet'en gider ikke at loade, før man reloader siden 2-3 gange.

  • Når man indtaster bruger/pass, og trykker "Send", sker der som regel ingenting første gang. Send knappen bliver disabled, og så kan man sidde der og glo.

  • Når man skal indtaste nøgle, hvilket jeg ikke kan regne ud, hvorfor man nogen gange ikke skal, sker der heller ingenting. Jeg har lige spildt 2 nøgler idag på "ingenting", hvor man så kan sidde og overveje, hvorfor jeg får absolut nul feedback fra applet'en om, hvad den laver.

Gentages procedurerne kommer den godt nok, og det er jo det man lærer at gøre som bruger.

Det er bare svært at være sikker på som bruger, at der ikke er nogen der kigger med, når man skal sidde og gentage så vigtig en procedure som login i et aflukket system.

Det er iøvrigt ikke noget, jeg har set i andre systemer, andet end at jeg så får en hårdt og kontant "adgang afvist" eller noget.

Kan man forestille sig nogen som helst anden loginprompt, der opfører sig sådan?

34
22. maj 2011 kl. 07:03

Lyder som om din browser ikke er go til JAVA

36
23. maj 2011 kl. 14:05

@Jan Harries

Lyder som om din browser ikke er go til JAVA

Jeg oplevede problemer med nemID da jeg brugte en open source java implementering. Siderne loadede ikke, appletten svarede ikke osv., så det kan meget vel være relateret til JRE implementeringen. Derudover er jeg enig i stort set alle andre sikkerhedskritiske indlæg i denne tråd. Det er håbløst at man i dagens Danmark udbyder en digital signatur-løsning der ikke er en digital signatur i juridisk/teknisk forstand. Hvorfor må vi ikke få PKI?

SKAT udfaser TastSelv koden, SU udfaser fælles pinkode og sådan er det over hele linien. Selvfølgelig får NemID "stor succes" målt på antal brugere: Man kan jo snart ikke bruge andet :)

35
23. maj 2011 kl. 10:01

Lyder som et rigtigt spændende speciale, som specialeskriveren har lavet. Jeg synes dog, at han tager munden lidt for fuld, når han siger

"I mine tænke-højt-test kunne fire ud af ni personer ikke selv finde ud af at aktivere deres NemID, og i spørgeskemaundersøgelsen var det 10 procent. Hvis vi ganger de 10 procent op, betyder det, at 300.000 ud af de 3 millioner NemID-brugere ikke kan finde ud af det, og det er et ret skræmmende tal,"

Jeg mener ikke, at man, baseret fra en spørgeskemaundersøgelse med 161 respondenter, bare kan slutte, at potentielt 300.000 NemID brugere ikke kan finde ud af NemID.

Undersøgelsen bør gentages med et større antal respondenter, før man kan konkludere noget endeligt.

Dog stor ros til specialeskriveren for at påpege problematikken.

Mvh Morten (som dog ikke selv har haft problemer med NemID)

29
12. maj 2011 kl. 17:18

Jeg er helt enig i at det skulle kvalificeres op mod andre metoder og systemer. Selv har jeg tidligere bevist at de svage bliver forbigået og det behøver man ikke at tillade, men den snottede arrogance som båd udbyderen af NemID og IT Styrelsen udviser, så er det jo svært at få dem til at lytte til fornuft.

Voice biometrics klarer alle de ting som NemID ikke selv kan!

2
12. maj 2011 kl. 08:48

Og så vil jeg helt klart mene, at NemID rent sikkerhedsmæssigt er en forbedring i forhold til tidligere løsninger.

Det ville være rart at høre hvilke konkrete sikkerhedsmæssige trusler, det vurderes at NemID er bedre til at imødekomme, samt argumenter derfor, samt om der er andre steder det vurderes at være blevet dårligere.

Sikkerhed kan ikke måles som 1 liter mælk, og får man 12 i specialet er det noget man bør vide. Men ok, det kan være det bare er journalisten.

9
12. maj 2011 kl. 09:19

Det ville være rart at høre hvilke konkrete sikkerhedsmæssige trusler, det vurderes at NemID er bedre til at imødekomme, samt argumenter derfor, samt om der er andre steder det vurderes at være blevet dårligere.

...prøv at trykke på det allerførste link i artiklen. Hint: det er endda i den første linje. :)

4
12. maj 2011 kl. 09:03

Det er sgu da pisse smart at man kan komme på sin bank, skat, pensionsinfo osv osv over alt fra hvilken som helst PC (med java, ja) bare ved at medbringe dette lille kort som altid er i min pung og dermed er med mig. Det er genialt at det er det samme man bruger alle steder i stedet for at skulle have en digital signatur til det ene og en "webbank"-fil til sin webbank osv som ligger fast på pc'en.

Det giver virkelig fleksibilitet at man kan side i sin bank, til rådgivningsmøder osv og tjekke op på ting som kræver det her "sikre logon".

Nu har jeg ikke selv brugt det gamle digital signatur, men skulle der ikke der, installeres en applikationen på pc'en før at det spillede eller var det kun til import/export?

Jeg har kun haft positive oplevelser med NemID.

30
12. maj 2011 kl. 18:20

Nu har jeg ikke selv brugt det gamle digital signatur, men skulle der ikke der, installeres en applikationen på pc'en før at det spillede eller var det kun til import/export?

Ingen af delene, rent faktisk. Når det kom til stykket var det kun *nix'erne (inkl. OS X) der magtede at håndtere signaturen ordentligt.

8
12. maj 2011 kl. 09:16

Nu har jeg ikke selv brugt det gamle digital signatur, men skulle der ikke der, installeres en applikationen på pc'en før at det spillede eller var det kun til import/export?

Ingen af delene. Jeg kørte også Linux dengang, og jeg husker noget med en Java-applet. Der var vist noget med at den Digitale signatur var indlejret i et HTML-dokument med noget base64-encoding. Jeg har nu heller aldrig haft problemer med at have den Digitale signatur med rundt. Dels har den altid været på min bærbare, dels har den altid ligget på en krypteret disk på min server hvor den har været tilgængelig gennem SSH.

Til gengæld er jeg godt træt af at skulle have nøglekort frem hver eneste gang jeg skal sende en signeret/krypteret e-mail. Så meget at jeg stort set har droppet det med NemID. Jeg bruger stadig regelmæssigt min gamle Digitale signatur til at signere mails, men når den udløber...

6
12. maj 2011 kl. 09:13

Det hele kunne havde været gjordt så rigtig (og sikkert), hvor det er nemmere end NemID, men den rigtige sikkerhedsmodel.

Mod at man skulle gå med en USB krypto token, i stedet for et stykke pap, med en løsning som jeg ved blev forkastet af mange sikkerhedsvirksomheder allerede i 1990'erne, som værende for usikker.

25
12. maj 2011 kl. 14:24

En krypto-token er klart at foretrække fremfor papkortet. Det er nemlig sådan at folk typisk vil opbevare papkortet i tegnebogen, hvor man også opbevarer dankort, sygesikringsbevis og så videre. En krypto-token placeres typisk i nøglebundtet eller i en taske eller lomme, afhængigt af design.

Med en tegnebog med NemID papkort er man som tyv meget langt i at kunne misbruge det for mange bruger CPR-nummer som brugernavn (det står på sygesikringsbeviset) og måske noget andet personligt som password, noget som måske også kan findes i tegnebogen. Ja, at folk direkte har en seddel med dankort-PIN, password og så videre i tegnebogen er set skræmmende ofte.

Det gamle system hvor man skulle have både en nøgle på den anvendte maskine og et kodeord var faktisk sikrere.

7
12. maj 2011 kl. 09:15

Det er bare så pokkers svært at tage et billede af en USB krypto token og lægge på sin smartphone :-)

5
12. maj 2011 kl. 09:11

Er det en datalog, der har lavet en vurdering ud fra spørgeskemaer som sit speciale? Jeg troede at dataloger lavede alt m,uligt med softwareudvikling, algoritmer og hardcore udvikling. Ikke samlede informationer fra spørgeskemaer...eller hvad?

15
12. maj 2011 kl. 11:10

Er det en datalog, der har lavet en vurdering ud fra spørgeskemaer som sit speciale? Jeg troede at dataloger lavede alt m,uligt med softwareudvikling, algoritmer og hardcore udvikling. Ikke samlede informationer fra spørgeskemaer...eller hvad?

Datalogi som disciplin er temmeligt bred. Der er også dele af datalogien som omhandler usability, human-computer-interaction og lignende felter. Ikke at jeg aner en fløjtende fis om det dog. Men det er en del af faget, nonetheless.

Derfor så ja, du bør liige checke hvilken type datalog du ansætter. Ellers får du den forkerte ansat meget hurtigt. Men det gælder sådan set for en del fag.

10
12. maj 2011 kl. 09:26

Datalogi er en bred uddannelse. Ham her har jo tydeligvis specialiseret sig i usability. Specialet inkluderer nok andet en spørgeskemaer, der er også nævnt tænke-højt-øvelser. Og lur mig om ikke der er et pænt stort teoriafsnit.

13
12. maj 2011 kl. 10:17

Nu har jeg læst en del af hans rapport ved at følge linket i starten af artiklen og især under afsnittet om sikkerhed drager han nogen helt fine konklusioner...udelukkende udfra de spørgsmål han stiller og de svar han får.

Det falder mig dog for brystet at han konkluderer at sikkerheden anses for at være langt højere ved at lade DanID opbevare nøglerne og at det derfor er DERES sikkerhed der er afgørende for om NemID kan/vil blive kompromitteret. Jeg hæfter mig her ved det faktum at ALLE i dk tvinges over til at benytte NemID. Det værre sig politikere, myndigheder, ansatte i forsvaret, på ambasadder mm.

EMC som er det selskab der står bag RSA SecurID ansås også (og anses dog stadig) som en af de sikreste systemer i verden og her opbevares de lokale nøgler (kundernes server keys) godt nok ikke centralt men det gør master nøglen og alle informationer om hvilke token ID'er der tilhører hvilke kunder (og derved alt der skal bruge til at logge ind på en kundes system - hvis man da lige bruteforcer PIN koden først selvfølgelig), og de har jo lige meldt ud at de har haft ubudne gæster på deres netværk over længere tid. Det kunne sagtens være flere måneder eller år. Det frygtes her at de ubudne har trukket de kritiske oplysninger ud og EMC kan ikke afvise (hverken bekræfte eller afvise) at de er løbet med master nøglen. Denne løsning ligner i sin arkitektur temmelig meget NemID. Og med tanke på at man kun skal hacke ét system for at få adgang til hele Danmark, er det i sig selv at holde alle for nar at påstå der er mere sikkerhed i NemID, end i den gamle digitale signatur. Jovist det er meget sværre at hacke ENKELTPERSONERS profil, men hvis nu man som gevisnt får adgang til et helt lands bank konti, virksomhedregistre, skatte oplysninger og finansielle forholod så har man alt man skal bruge til at berige sig selv, social engineering og nok oplysninger til at kunne "overtale" enhver til at forråde sit land. Så err jeg temmelig sikker på en eller anden slyngelstat nok tager chancen på et tidspunkt. Se det er HER jeg ryster af harme over en sådan konklusion.

11
12. maj 2011 kl. 10:00

Specialet inkluderer nok andet en spørgeskemaer, der er også nævnt tænke-højt-øvelser. Og lur mig om ikke der er et pænt stort teoriafsnit.

Efter at have skimmet specialet igennem må jeg sige at det er meget svært at få øje på et teoriafsnit. For mig virker det snarere som politisk bestillingsarbejde.

Jeg arbejder med statistik til daglig, og er også indblandet i spørgeskemaundersøgelser. Nogle af de mest almindelige forudsætninger for at opnå valide resultater af spørgeskemaundersøgelser kan jeg ikke se er opfyldt her; den er kun testet på vejlederen og en enkelt anden repræsentativ bruger (giver stor usikkerhed om spørgsmålene forstås korrekt), der er ikke flere spørgsmål for de samme latente faktorer (hvilket man ellers altid har for a sikre validitet - og at der eksempelvis gennem valg af spørgsmål ikke 'lægges ord i munden på dem der svarer' - derudover er der grimme statistiske ting, såsom at fitte en normalfordeling på data hvor udfaldsrummet er et interval.

Det undrer mig også, at der ikke er lavet en SEM analyse baseret på enten Maximum Likelihood eller PLS. Umiddelbart lader det til, at konklusionerne er draget udelukkende på grundlag af marginale betragtninger. En sådan besvarelse ville, som jeg lige ser det, lede til dumpekarakter i kurser vedrørende spørgeskemaundersøgelser og analyser af de resulterende data.

17
12. maj 2011 kl. 11:18

Jeg arbejder med statistik til daglig, og er også indblandet i spørgeskemaundersøgelser.

Henrik,

Mange tak. Jeg har som datalogistuderende argumenteret hårdt for at du som datalog også bør have et eller flere grundkurser i statistik. Specielt hvis du er eksperimentaldatalog eller arbejder med usability. Minimumsgrænsen er at få tilstrækkeligt med viden til at du ved hvornår du skal hive en statistiker ind over arbejdet.

Ellers risikerer du netop at det arbejde du udfører bliver set ned på af fagfolk, fordi det ikke dækker de minimumskrav man som statistisk vidende vil stille.

En sådan besvarelse ville, som jeg lige ser det, lede til dumpekarakter i kurser vedrørende spørgeskemaundersøgelser og analyser af de resulterende data.

Specialet fik 12 datalogisk set. Rimeligt underholdende at det så står til dumpekarakter statistisk set. Det belyser bare nødvendigheden af at fikse dette problem.

Jeg tror heller ikke det er isoleret til datalogi. Jeg vil forvente at temmelig mange fag ikke benytter sig af den viden som findes, selv om de burde.

12
12. maj 2011 kl. 10:09

En sådan besvarelse ville, som jeg lige ser det, lede til dumpekarakter i kurser vedrørende spørgeskemaundersøgelser og analyser af de resulterende data.

Så er det jo heldigt for den studerende, at det er et speciale i usability og ikke i statistik eller spørgeskemaundersøgelser.

14
12. maj 2011 kl. 10:20

Oprettelsen af NemID var meget besværligt (for mig i hvert fald), men det var lige da det udkom og der var børnesygdomme og travl kundesupport. Så det kunne jeg sådan set godt forstå.

Det er fedt at man kan logge ind fra hvilken som helst computer og ikke behøves at bekymre sig om at den aflurer ens password, da den ikke kan bruge pap-kort nøglen igen. Det mest irriterende er deres single sign-on, hvor det skulle være muligt at logge ind på ét website med NemID og derefter besøge alle NemID websites i samme session uden at skulle logge ind igen. Det virker bare ikke, og det er pisse forvirrende når de lægger op til at det gør. Så vidt jeg har læst mig frem til har det at gøre med forskellige rettighedsniveauer, men det er totalt ugennemskueligt for brugeren.

18
12. maj 2011 kl. 11:32

Som sådan har de jo mangler på områder man ikke kræve fra specialer.

Men efter en skimning af det så er der et par graverede fejl som en medvejleder med erfaring med statestik og spørgeskema undersøgelsen burde ha fanget.

Der bruges i de spørgeskemaer jeg har set på i specialet 5 valgmuligheder. Dette advare introduktionskurser i spørgeskema design imod da det leder til et "mellemvejs bias" da folk godt kan li at være gennemsnitlige.

Se fx side 98 hvor alting ligger ret nært 3 på en skala fra 1-5.... its a biach aint it. Hvor Y aksen har en ret interessant opdeleing... troede den startede på 0 normalt...

Desuden er der en stor overvægt af unge mænd og i særdeleshed med højt (egenvuderet) it kundskabsniveau (se side 81-83). Nej jeg mener ikke den objektive beskrivelse som de bruger siger noget om brugerens IT kundskaber da den også bygger på informationer som folk selv opgiver.

Desuden burde der være et eksklusion kriterie for brugere der opgiver de er super whizbang IT mennesker men får en meget lav score på deres IT test.

Man burde ha lavet en faktisk test til at besteme den faktisk IT kundskab og brugt denne parameter til at stratificere data (som burde ha ligget efter spørgeskemaet således at den ikke påvirker det).

Man burde desuden ha statifcieret data for at udelukke den forske der er på de grupper man har udspurgt.

Samtidigt burde man i det eksperimentelle design ha sørget for at man faktisk beskriver den danske befolkning og ikke bare unge mænd som mener de er superbrugere men ikke kan finde ud af NemID.

Prisværdig indsats men ikke noget der rigtig kan bruges til at vurdere NemID...

mvh Jakob cand.agro

16
12. maj 2011 kl. 11:17

NemID har fungeret ok for mig, både oprettelsen og den daglige brug. Til kritiske ting som banktransaktioner er det ok at skulle finde kodekortet frem. Men at skulle skrive både password og finde kodekortet frem og taste koden derfra ind bare for at se trivielle meddelelser uden særlig følsomme oplysninger i eBoks er et irritationsmoment. Det er overkill og burde kunne gøres mere smidigt.

Som for eksempel i min mobilbank; der er proceduren netop ændret sådan at jeg kan nøjes med at skrive pinkode på mobiltelefonen hvis jeg bare skal checke kontooplysninger. NemID-koden skal kun i brug hvis jeg skal overføre penge. Så hænger tingene sammen.

3
12. maj 2011 kl. 09:03

Det ville være rart at høre hvilke konkrete sikkerhedsmæssige trusler, det vurderes at NemID er bedre til at imødekomme, samt argumenter derfor,

Det står jo enhver frit for at kontakte DIKU og få udleveret/låne en kopi af specialet. I øvrigt må jeg sige, at selvom det er åndet med papkortet, så synes jeg at NemID er nemmere. Nu var jeg så svineheldig at navigere igennem aktiveringsprocessen uden problemer, og siden har jeg nydt godt af at jeg ikke længere er bundet af obskure signatur-filer, der skal ligge på SAMTLIGE af de computere, jeg kunne tænkes at benytte. Før havde jeg digital signatur + 3 separate netbank logins, der alle benyttede sådan en fil. Med 2 hjemme computere og endnu én på arbejdet, var det et kæmpebøvl, bare at holde styr på hvor man kunne logge ind på hvad. For slet ikke at tale om at signaturfilen fra alm-brand bank slet ikke KUNNE flyttes! Den skulle gennem netbanken på en eller anden måde som simpelthen slet ikke virkede på en Mac. Feriekonto havde et separat login og så var der dén der 6-cifrede selvbetjeningskode fra kmd... For slet ikke at tale om at konen havde glemt sin Digital Signatur adgangskode, hver gang hun skulle bruge den, da den jo blev brugt så sjældent (faktisk kun til Skat). Så jeg er egentlig godt tilfreds med NemID, i hvert fald i sammenligning med tidligere.