'It-fejl' i folkeskolens prøvesystem var planlagt af ministeriet

Undervisningsministeriet kalder det en 'it-fejl' i systemet bag folkeskolens digitale prøver, der har ignoreret elevers indtastninger i otte år. Men ministeriet var selv med til at planlægge, at systemet ikke gemte indtastninger, oplyser leverandøren af systemet.

Hvert år benytter tusindvis af danske folkeskoleelever fra 9. klasse sig af et offentligt drevet it-system til at gennemføre de digitale afgangsprøver.

Systemet har siden 2007 været behæftet med en alvorlig fejl, som kan have givet flere elever en dårligere karakter, og som for nylig tvang tusindvis af folkeskoleelever til at gentage deres læseprøve i papirform.

Læs også: Afgangselever er blevet bedømt af fejlbehæftet it-system siden 2007

Undervisningsministeriet gjorde i sidste uge opmærksom på problemet, som ministeriet selv betegnede som en 'fejl i det bagvedliggende it-system'. Ikke desto mindre var ministeriet også selv med til at planlægge den funktionalitet, som udløste fejlen.

Kort fortalt går fejlen ud på, at systemet ikke gemmer elevernes indtastninger i den igangværende opgave i prøven, når tiden udløber. Dermed kan eleverne miste nogle af deres besvarelser, medmindre de når at trykke videre til næste opgave eller afslutte opgaven.

På den ene side lyder forklaringen fra Styrelsen for It og Læring (STIL), som har været ansvarlig for driften af systemet siden 2011, at den ikke testede systemet godt nok for fejl. Ganske enkelt havde STIL - som hører under Undervisningsministeriet - ikke stillet testsituationerne op på samme måde, som når eleverne brugte systemet i praksis, og derfor undgik fejlen i otte år styrelsens opmærksomhed og blev først opdaget for nylig.

»Vi har testet systemet tidligere, men ikke præcis under de samme vilkår, som det sker i prøvesituationen. Det er en mangel i vores test,« siger kontorchef i STIL Jesper Stæhr Mikkelsen til Version2.

Men der er slet ikke tale om nogen fejl i systemet, hvis man spørger Cowi, der udviklede og leverede systemet til Undervisningsministeriet tilbage i 2007. Virksomheden har blot leveret det, som Skolestyrelsen (nu Styrelsen for Undervisning og Kvalitet) bad om i sin tid.

»Det er ikke en fejl i programmeringen. Det var et aktivt valg, vi traf dengang sammen med Skolestyrelsen,« siger markedsdirektør i Cowi Knud Erik Christensen og fortsætter:

»Vi har programmeret systemet efter Skolestyrelsens specifikation.«

Gammeldags måde at indsamle besvarelser

'Fejlen' bestod i, at systemet ikke gemte alle besvarelserne fra eleverne efter tiden på prøven udløb. Det gjaldt indtil 2014 for fagene biologi og geografi, hvorefter matematik og til sidst også læseprøven i dansk blev ramt af fejlen.

Hver prøve består af en række opgaver, som hver har et vist antal underspørgsmål. Systemet er skruet sådan sammen, at hvis en elev allerede har besvaret flere underspørgsmål i en opgave, men ikke har nået at trykke på knappen, der fører videre til næste opgave, eller har afsluttet opgaven, så bliver alle besvarelserne i den pågældende opgave tabt, når tiden udløber. Systemet gemmer nemlig ikke besvarelserne løbende, sådan som det ellers kendes fra de fleste moderne web-appplikationer, hvor 'Gem'-knapperne er ved at uddø. Her bliver værdierne simpelthen automatisk gemt i det øjeblik, de bliver skrevet ind i de relevante felter.

Men det har således ikke været tilfælde i systemet til folkeskolens digitale prøver. Systemet er browserbaseret og kan findes i en test på www.testogprøver.dk.

»Man kan forenklet sige, at vi skal kigge vores procedurer igennem for at sikre, at de elektroniske prøver i endnu højere grad modsvarer den fleksibilitet og funktionalitet, der er på papirprøverne. Hvis du har sat et kryds på et papir, er det stadig gemt, når tiden udløber,« siger kontorchef i Styrelsen for Uddannelse og Kvalitet Rasmus Vanggaard og fortsætter:

»Hvis der var nogen, der havde tænkt, at det skulle være som på papiret, så havde vi ikke haft den her problemstilling. Men der er der ikke nogen af os, der har tænkt.«

Når STIL testede systemet for fejl, blev tidsfristen i stedet styret lokalt, og det afslørede således ikke fejlen med de manglende besvarelser.

»Så vi har ikke genskabt en ægte prøvesituation 100 pct.,« siger Jesper Stæhr Mikkelsen.

Cowi: Det er ikke en fejl

STIL’s udmelding kan dog komme som en overraskelse.

Det daværende Skolestyrelsen under Undervisningsministeriet havde ifølge Cowi selv været med til at afgøre, at elevernes indtastninger ikke skulle gemmes automatisk i sin tid.

»Man ønskede, at eleverne var bevidste om deres svar,« siger Knud Erik Christensen med henvisning til, at elevernes indtastninger først gemmes, når de gemmer og går videre til næste svar.

»På godt og ondt valgte vi den her løsning, så vi var sikre på, at eleverne forholdt sig til alle spørgsmål og gemte svarene i stedet for at auto-save. Det kunne også betyde, at eleverne ikke nåede at gemme, men det havde man taget højde for som en del af den information, eleverne fik i forbindelse med prøven,« siger han.

Prøvesystemet blev oprindelig leveret til fagene fysik, kemi, biologi og geografi. Efter at STIL overtog systemet i 2011, er blandt andet matematik og senest pilottesten i læsning kommet til. Især sidstnævnte prøve gav problemer, fordi eleverne var mere pressede på tid, og hver enkelt opgave vægtede langt højere i den samlede vurdering. Det betød, at mange elevers besvarelser slet ikke kom med i bedømmelsen af opgaven.

»Det er uheldigt, men det er en anden type prøve. Vi har lavet systemet til fysik, kemi, biologi og geografi,« siger Knud Erik Christensen.

Hvorfor lavede man ikke en løsning, der tog højde for, at eleverne ikke mistede deres besvarelser, når tiden oprandt?

»Jo, man kunne jo gøre mange ting, men det var de valg, man traf dengang, og som leverandør har vi jo programmeret efter de valg, der blev truffet om gemme-funktionen på de her tests.«

Har I ikke et ansvar som leverandør for at kunne se eventuelle faldgruber i et designvalg?

»Jo helt sikkert, men så traf vi det valg, som dengang så rigtigt ud.«

Ny fejl i gammelt udskældt it-system til over 127 mio. kr.

Det er langtfra første gang, der har været problemer med it-systemet bag de nationale tests og folkeskolens digitale prøver.

Systemet blev oprindelig udviklet og drevet af Cowi, men led under en række alvorlige problemer, der var med til at forsinke systemet to år. Fejl og nedbrud var en del af børnesygdommene, og da systemet skulle rulles ud på landsplan i marts 2010, brød det sammen under belastningen.

Forsinkelsen og fejlene kostede i første omgang Cowi en bod på 2,8 mio. kr., men pengene blev dog - på nær en halv mio. kr. - sidenhen tilbagebetalt til konsulentvirksomheden.

Læs også: Smøl betaler sig: Cowi fik tilbagebetalt bod for Nationale Test-skandalen

Den oprindelige pris på ordren til Cowi lød på 55 mio. kr. fra 2006 til 2009. Af årsager, som Styrelsen for It og Læring ikke har svaret på endnu, nåede myndigheden ikke at sende systemet i udbud, inden kontrakten udløb, og den valgte derfor selv at overtage driften med it-systemet i 2011. Heller ikke her blev fejlen med den manglende gemmefunktion opdaget.

»Den historik, der er omkring it-systemet til tests og prøver, har betydet, at vi har gjort meget ud af at teste belastningen af systemet og opgradere forbindelserne og serverne for at få en stabil drift,« Jesper Stæhr Mikkelsen og fortsætter:

»Men det område, hvor den seneste fejl lå, er faldet uden for vores fokus, må jeg indrømme.«

Læs også: Nationale folkeskolesystemer ramt af massivt DDoS-angreb

Siden 2011 er der hvert år gået 18 mio. kr. af de offentlige midler til driften af systemet, hvilket bringer den samlede pris op på mindst 127 mio. kr.

Senere i efteråret 2011 opdagede Undervisningsministeriet en anden teknisk fejl i systemet, der også gjorde, at nogle elever havde fået for lave karakterer i de nationale tests i dansk og læsning. Ministeriet måtte derfor sætte de ramte tests i bero, indtil fejlen var rettet, og ville så efterfølgende gennemgå resten af de nationale tests for fejl.

Læs også: Ny fejl i de nationale test: Gav for lave karakterer

Alligevel blev den seneste fejl i folkeskolens digitale prøver dengang overset.

»Vi har ikke tidligere fået henvendelser fra omverdenen om, at fejlen skulle være der. Det var ikke åbenlyst for enhver, at fejlen var der,« siger Rasmus Vanggaard.

Først i forbindelse med en nylig afholdt pilottest af en digital læseprøve skete der noget, der fangede embedsmændenes opmærksomhed. Der var nemlig uforholdsvis mange elever, der havde 0 rigtige besvarelser i de sidste opgaver i prøven.

»Så blev vi opmærksomme på, at det skyldtes, at besvarelserne ikke bliver gemt, når tiden udløber,« siger Rasmus Vanggaard og uddyber:

»Fejlen har været der siden 2007, men opgaverne i læseprøven for nylig er udformet anderledes, så konsekvensen for den enkelte elev er større.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (16)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Christian Rasmussen

...synes jeg, at det er fantastisk læsning om, hvordan vi, som et IT-forgangsland, er i stand til at formidle vores penge.

Udviklingsbudgettet er én ting i sig selv. Jeg har aldrig set applikationen, så jeg skal ikke udtale mig om hvor lidt eller hvor meget, de har fået for de penge.

Jeg er til gengæld meget nysgerrig efter at vide mere om, hvad de DKK 18 mio i årlig drift dækker over? Er der ikke noget med mere indsigt i sagerne end mig, som kan forklare hvad den sum dækker over? Er det udelukkende infrastruktur til IT-drift eller dækker det også over en masse one-hit udgifter ifbm. afvikling af eksamener?

Hvorom alting er, så tror jeg ikke helt, at jeg forstår, hvordan sådan noget kan koste 18 mio DKK - og så ikke performe tilfredsstillende, vel at mærke.

  • 19
  • 1
Markus Hornum-Stenz

...tænker jeg at man måske bør lade være med at fokusere på den dårligt fungerende eksisterende løsning i første omgang. Det er pinligt, men fokus bør være på at få et simpelt, effektivt og relativt billigt system

Taget i betragtning hvor mange "Test dig selv"-quizzes der verserer på Facebook i dag, skulle man mene at der findes så meget robust og velfungerende testteknologi på nettet i dag, at Undervisningsministeriet/STIL burde kunne skrotte det nuværende system og gå over til at få afgangsprøverne implementeret og driftet for en brøkdel på en Cloud-løsning?

Omvendt vil enhver leverandør selvfølgelig spørge sig selv, hvad mon den danske stat er villig til at betale for at få folkeskolernes afgangseksamen afviklet - og i den kontekst er 18 mio om året vel ikke helt ude i hampen.

Min pointe er:
Hvem er reelt i stand til at vurdere, hvad en rimelig pris er?
Selve besvarelsessystemet er sikkert ikke vanvittigt kompliceret (eller bør i hvert fald ikke være det, taget i betragtning at de fleste elever i forvejen har et UNI*C login), men hvad er præmien for at det bare SKAL fungere i den korte periode om året, hvor det bliver brugt intensivt?

  • 3
  • 1
Ulrik Suhr

Taget i betragtning hvor mange "Test dig selv"-quizzes der verserer på Facebook

Nu er det en del år siden jeg gik på DTU, men der fik de undervisende allerede adgang til simple test værktøjer som de kunne lave. proven kunne opskaleres uden de store problemet.
Det blev ikke rigtig benyttet da opgaverne dengang var af en anden karakter, men der var da en del som lavede dem til hjælp for de studerendes paratviden.
Det var ikke karakter givende, men fungerede rimeligt godt.

Denne "fejl" er egentlig ikke en fejl da opgavestiller egentlig ikke fatter hvad han bestiller.
Hvis opgave stiller fattede pointen og forstår IT udvikling så skal det gamle system bestå.
Dvs. eleverne skal selv tage stilling om de vil benytte det nye eller gamle i en periode.
Så kunne man jo sige til eleverne at i denne løsning ville i få gemt alle jeres svar, men i den nye vil det ikke være tilfældet.

Hvem ville vælge den nye løsning?
Eller sagt på en anden måde. Det er meget godt der ikke er konkurrence på det område for så ville de ikke få brød på bordet med den løsning. Hvis man reelt skal digitalisere bedre i det offentlige skal man se på aflønningen af de statsansatte projekt ledere/gruppe og give løn som fortjent.
Mit håb er der ville blive luset ud i gammelsmølferne (læs: sådan har vi altid gjort derfor gør vi det også i dag..) så en egentlig KISS digitalisering kunne forbedre vores offentlige system for alle.
Suk

  • 1
  • 0
Markus Hornum-Stenz

[...]jeg gik på DTU[...]Det blev ikke rigtig benyttet da opgaverne dengang var af en anden karakter, men der var da en del som lavede dem til hjælp for de studerendes paratviden

Fokus her er på Folkeskolens skriftlige afgangsprøver, som dels omfatter en helt anden volumen af samtidige tests, dels er relativt simple tests af en hel årgangs vidensniveau, dvs. simple besvarelsesmekanismer a la multiple choice eller et fritekstfelt.

Man må håbe at nogen i Undervisningsministeriet/STIL på baggrund af historien når frem til, at arkitekturen er det væsentlige.
Et simpelt todelt system er at foretrække, hvor besvarelsesdelen skalerer godt og har et enkelt interface, og adgangs- & analysedelen er fuldstændigt adskilt
Det handler artitekturmæssigt om at bygge en gammeldags traktor fremfor en limousine eller en overvågningscentral

Kan ikke lade være med at tænke, at det er sådan noget som Dr. Varnish (Poul Henning Kamp) formentlig kunne lave fra bunden ene mand på relativt kort tid (hvis bare han havde en god projektleder til at holde opdragsgiver på afstand ;-) )

  • 1
  • 2
Peter Müller

Man må håbe at nogen i Undervisningsministeriet/STIL på baggrund af historien når frem til, at arkitekturen er det væsentlige.

Sjovt, jeg kommer til den modsatte konklusion. Brugeroplevelsen er det væsentlige.

Hvis brugeroplevelsen havde været i centrum ville "Intet jeg indtaster må gå tabt" være højt på listen. Oppetidskrav under brug er en selvfølge for en god brugeroplevelse, så må arkitekten bag indrette systemet derefter.

Hvordan det skal implementeres er mindre væsentligt for kravspecifikationen, og efterhånden må størstedelen af komponenterne til at bygge sådan et system anses som hyldevare.

  • 12
  • 0
Markus Hornum-Stenz

Brugeroplevelsen er det væsentlige

Enig, men det er jo ligesom ret banalt, alle systemer er jo lavet til at løse en opgave, ikke for deres egen skyld.
Og der er jo ingen som har tænkt: Vi laver s'gu et system som smider noget af det de skriver væk, man har bare villet minimere unødvendig trafik og har tænkt at de unge kunne finde ud af en "gem"-knap.
Problemet er ret sikkert arkitektur. Måske er udfordringen så banal som at de ikke har tænkt på at timerudløbet, som formentlig automatisk aktiverer en Gem for alle sessioner, overbelaster systemet, fordi Gem-køen ikke er dimensioneret til at MANGE gemmer præcist samtidig når prøven udløber.

  • 0
  • 0
Anders Gram Mygind

»Hvis der var nogen, der havde tænkt, at det skulle være som på papiret, så havde vi ikke haft den her problemstilling. Men der er der ikke nogen af os, der har tænkt.«

At man ikke har afprøvet systemet som det er tiltænkt og derved ikke har fundet problemer i dette simple brugerscenarium er efter min mening totalt utilgiveligt

  • 3
  • 0
Karen Melchior

Håber med de nye udbudsregler der kommer mere styr på off. IT, der skal være kontinuerlig udvikling, sådan at det følger med de forventninger, som brugerne har til de IT systemer, som de bruger.

"Systemet gemmer nemlig ikke besvarelserne løbende, sådan som det ellers kendes fra de fleste moderne web-appplikationer, hvor 'Gem'-knapperne er ved at uddø. Her bliver værdierne simpelthen automatisk gemt i det øjeblik, de bliver skrevet ind i de relevante felter."

Og Styrelsen for It og Læring burde ikke overtage drift af IT systemer, hvis ikke de har tænkt sig at holde dem opdateret.

"Den oprindelige pris på ordren til Cowi lød på 55 mio. kr. fra 2006 til 2009. Af årsager, som Styrelsen for It og Læring ikke har svaret på endnu, nåede myndigheden ikke at sende systemet i udbud inden kontrakten udløb, og den valgte derfor selv at overtage driften med it-systemet i 2011. Heller ikke her blev fejlen med den manglende gemmefunktion opdaget."

  • 8
  • 0
Jan Heisterberg

Der er flere besynderlige ting:
1. it-baserede prøver er ikke noget nyt og usædvanligt. Det findes i mange udlande, så mon ikke der er design-erfaring her - som ikke blev brugt.
2. i professionelle videntestsystemer bruges en betydelig (statistisk) indsats for at sikre valide spørgsmål. Blandt andet ved at sikre et statistisk signifikant udfald af det rigtige svar. (fordi det modsatte kan betyde at spørgsmålet er formuleret uklart eller tvetydigt).
Samme teknik afslørede øjensynlig fejlen, men hvorfor har teknikken ikke været anvendt hele tiden ?
Eksempel: en prøve har 100 spørgsmål, og kun 1% af eleverne når alle 100.
Mon så ikke der er en fejl eller prøven er for lang ? (med mindre altså prøven er designet så de 100 spørgsmål kun kan nås af meget få - lidt væddeløbsagtigt; usædvanligt i skoleprøver).
3. Undervisningsministeriet har tilrettelagt test af programmerne.
Javel, det er da fint, men almindelig god skik tilsiger da, at de afsluttende tests skal være fuldskala tests nøjagtig som virkeligheden.
Og især et system med så mange brugere (skoleelever).
Øjensynlig ikke tilfældet.
Også her kan man spørge om leverandøren (COWI) ikke burde have haft en it-professionel indvending.

Alt i alt en dårlig historien for alle involverede !

  • 5
  • 0
Benjamin Balder

»Så vi har ikke genskabt en ægte prøvesituation 100 pct.,« siger Jesper Stæhr Mikkelsen.

Genskabt??? Prøvesituation?? Hvordan fsck kan imbecilerne (Cowi og STIL) ikke have besøgt en eneste afgangsprøve i 8 år og mødt nogle rigtige brugere i en ægte virkelighed (kontekst)!? Total ligegyldighed overfor brugerne og systemets formål.

Her er et råd til alle, der laver it-systemer: I skal interessere jer for systemets brugere og deres virkelighed. Skrivebordsbeslutninger, whiteboard-streger, kontrakter og workshops er der rigeligt af.. men det blegner fuldstændig i forhold til oplevelserne, der venter jer ved at gå ud og dele kontekst med brugerne. Rul persiennerne op, smid slipset, snak mindre, kod mere.

Al det der mudderkastning og ansvarsforflytning, som ministerierne, Cowi et. al. er så bange for -- og derfor bruger al jeres tid på at skrive lange "kravspecifikationer" og "driftsaftaler" om -- kan slet og ret undgås, hvis de gad bruge tid på virkeligheden og erkendte, at den ikke kan planlægges.

  • 9
  • 0
Michael Rasmussen

Al det der mudderkastning og ansvarsforflytning, som ministerierne, Cowi et. al. er så bange for -- og derfor bruger al jeres tid på at skrive lange "kravspecifikationer" og "driftsaftaler" om -- kan slet og ret undgås, hvis de gad bruge tid på virkeligheden og erkendte, at den ikke kan planlægges.

Du glemmer to væsentlige ting for bureaukrater og teknokrater:
1) Budgettering er nemmere, og naturlovene kan frit omskrives i en konstrueret virkelighed
2) I et webersk bureaukrati er det vigtigere at skrive rapporter - som ingen læser, end at udføre meningsfyldt arbejde. En bureaukrats succes måles i rapporter og skrevne sider, ikke i nytteskabelse for borgerne.

  • 5
  • 0
Martin Jünckow

"Systemet gemmer nemlig ikke besvarelserne løbende, sådan som det ellers kendes fra de fleste moderne web-appplikationer, hvor 'Gem'-knapperne er ved at uddø. Her bliver værdierne simpelthen automatisk gemt i det øjeblik, de bliver skrevet ind i de relevante felter."

Og Styrelsen for It og Læring burde ikke overtage drift af IT systemer, hvis ikke de har tænkt sig at holde dem opdateret.

Det er lidt hårdt at sige at det ikke er holdt "opdateret" på den baggrund. Det er også en noget vægtet udtalelse når det i artiklen lyder som om vi nærmest har fjernet "gem" knapper fra moderne webudvikling - man behøver blot at kigge på kommentarfeltet her på v2 for at bekræfte at det måske er lidt af en overdrivelse.

Der er mange måder at gøre ting på i moderne software-udvikling og det er ofte en opvejning af fordele vs ulemper.

  • 4
  • 0
Britt Jadesø

Tillad mig at gøre opmærksom på det gratis testmateriale, som Google har lavet. Jeg bruger det selv til at evaluere mine elever og opsamle forbrug af IT på vores skoler i kommunen.

Det tager en times tid at lave prøverne - og en times tid at sætte regnearket til at regne en karakter ud.

Jeg gør det gerne for det halve ;)

  • 2
  • 0
Michael T. Jensen

Jeg har stået med ansvaret for at gennemføre en del af prøverne, så jeg kan måske kaste lidt lys over nogle få detaljer:
1. Eleverne skal ikke trykke på "gem". De skal klikke frem og tilbage imellem siderne og til sidst klikke på "Afslut prøven". Der er altså ikke, i min optik, tale om at "Man ønskede, at eleverne var bevidste om deres svar". Når tiden er gået, afsluttes prøven af sig selv, og eleven får samme kvitteringsside frem, som hvis de havde trykket på "Afslut prøven". Det er ved den automatiske afslutning, at de sidst indtastede prøvesvar ikke gemmes.
2. Geografi, biologi, fysik/kemi og matematik består af mange sider med få spørgsmål. Læseprøven består af få sider med mange spørgsmål. Derfor er denne prøve mere sårbar overfor denne fejl.
3. De elever, som bliver afbrudt af tiden, er typisk elever med langsom bearbejdningshastighed og velsagtens de samme elever, som har svært ved at opnå 02, så de kan komme ind på en erhvervsuddannelse. For denne gruppe elever kan et enkelt spørgsmål gøre forskellen mellem 00 og 02 - ikke lige en gruppe man skal negligere, i min optik!
4. I matematik, biologi og geografi er det typisk tid nok for de fleste, til at nå alle spørgsmål igennem. I læseprøven er der et voldsomt tidspres, idet eleverne testes i deres læsefærdigheder på tid. For denne prøve gælder det oftest, at der er elever, som ikke kommer igennem alle spørgsmål og stort set ingen når til at klikke på "Afslut prøven". Det er samtidig den prøve, hvor gennemsnitligt flest svar går tabt ved en automatisk afbrydelse...

Jeg kan i øvrigt opfordre jer til at tage prøven, hvis I kan undvære en halv time af jeres liv. Her er et link til eksempelprøver fra tidligere år: https://eksempel.testogprøver.dk/default
(Disse prøver afsluttes ikke automatisk)

  • 9
  • 0
Log ind eller Opret konto for at kommentere