Slipper vi ikke snart af med de nationale test?

Det giver mening ifht. evaluering af undervisningen at vurdere klassens niveau, for ser man mange svar, kan de besvarelser, der er for lave, kompensere for de besvarelser, der er for høje. Elevernes forældre kan ikke bruge det til noget, ligesom lærerne ikke kan bruge det til at se det enkelte barns præstation.
Det giver dog mest mening, hvis der er tale om traditionel undervisning, hvor alle har modtaget samme undervisning og hvor alle prædikener om undervisningsdifferentiering er ignoreret, for nu at sætte det lidt på spidsen...

Her er et link til omtale af den analyse, der lagde op til afskaffelse af de nationale test:
https://www.folkeskolen.dk/657116/her-er-problemerne-i-de-nationale-test

Den første kritik af testen var fra lærere, der undrede sig over at elever under- eller overpræsterede og som i øvrigt mente, at det kunne de gøre bedre selv. Deres kritik blev affærdiget som substansløs og bagstræberisk. Det fik dog en forsker (Marina Norling) til at undersøge testen...

Her er et link til en kronik af Marina: https://www.folkeskolen.dk/620774/hvad-er-op-og-ned-i-kritikken-af-de-na...

Der er givetvis mange problematiske ting ved de nationale test, men banesåret var svjv. at den adaptive del var defekt:

Havde man - af forskellige årsager - snublet i starten, så var det stort set umuligt at rejse sig igen. Og var man - af forskellige årsager - fløjet igennem starten af testen, så kunne man stort set ikke skydes ned igen.

Havde man mao. som god elev en uheldig start, så ville det uværgerligt trække voldsomt ned. Og havde man som dårlig elev en heldig start, så var man nærmest garanteret et godt resultat.

Altså vil der samlet set reelt blive målt på langt færre spørgsmål end man stillede, hvor det adaptive aspekt i stedet forventedes at give en større nøjagtigt end antallet er spørgsmål tilsagde. Og det at man kunne sætte spørgsmåltegn ved det samlede resultat betyder nok desværre langt mere, end at det på individuelt niveau ville det ikke give kvalificeret og uvildig feedback, men derimod have karakter af lotteri.

Når alle disse tvivlsomme tests og undersøgelser, som vi ukritisk udsætter vores små i den formative alder, ikke for længst er blevet hældt af brættet, så skyldes det nok, at man som politiker foretrækker illusionen af viden, hvor falsk den end måtte være, fremfor følelsen af at famle i blinde. Stikken sig selv blår i øjnene og så'rn no'et. Vi ved jo allerede at Trivselsundersøgelserne ikke er til for elevernes, lærernes eller klassernes skyld; de er til for politikernes og forskernes skyld.

Så vi kommer nok ikke af med det foreløbigt, også selvom jeg synes at det ligner et farligt eksperiment. Vi ved at folk ændrer opførsel, når de føler sig iagttaget og endnu mere, når de opfatter at det har konsekvenser; gad vide, hvad det gør for små og følsomme sjæle, som stadig er igang med at danne deres personlighed?

For man bliver jo altid bedre til lige det man testes i.

Så i videns fag, er test jo "noglelunde nemt" Eller lige så nemt, som senere i livet at give den rigtige karakter.

Men du har da helt ret i at test, for testen egen skyld ikke hjælper nogen.

Men hvis du har andre metoder, som lige så hurtigt, nemt og billigt.
Kan teste om det står nogle lunde til, og fanger de elever som skal have hjælp. - Det kan også bare være tid, hvis man ikke er moden til det man skal lærer.

Så tror jeg gerne at der er mulighed for at få testene ændret.

Men jeg synes nu også, hvis testene bliver brugt rigtigt, at de kan være en hjælp til skoler, lærer og myndighder. Som kan bede om flere resurser, på et oplyst grundlag.

Og hvis du ikke selv har dine børn i en privat skole. Sætter du dem så i en skole, hvor elever klare sig dårligt i test, selv hvis det er en dårligt test ?

Gode evner til at lærer at bestå en prøve, om den er dårlig, rigtigt dårligt, eller en micosoft. certification.

Viser jo stadigt noget om hvor gode eleverne, lærer, skolen og miljøet er. Ikke ?

"Noget, man nok først bliver rigtig fortrolig med, når man begynder at bruge sproget for alvor "

Tænk, det trodet jeg var noget, man fokuseret på i skolen.

;-)

Næste problem: Hvordan sikrer man sig at man ikke får de samme problemer med de nye test, der jo skal erstatte dem? Svaret blæser i vinden ...

“Nye tests” ... det er åbenbart en præmis fra politisk side, at de nuværende nationale tests skal erstattes af nogle andre nationale tests.

Som ansat i it-branchen skal man prise sig lykkelig over, at ens job ikke i den grad er detailreguleret fra Christiansborg. Vi er ikke pålagt at bruge det nationale versionsstyringssystem, den nationale udviklingsmodel, den nationale compiler, den nationale Lenovo-pc osv. Og vi skal ikke udskifte hele værktøjskassen, hver gang en ny regering kommer til magten. Tak for det.

Jeppe, tak for link til e-bogen om de nationale tests; jeg glæder mig til at blive klogere.

Det er åbenlyst at testen er teknisk udfordret på mange leder og kanter. Men ved du, om der er nogen, som har kigget på, hvad den slags test gør ved børn (selv hvis vi antager de er teknisk lyde-fri)? Vi ved jo fra studier helt tilbage -50'erne (1), at folk ændrer opførsel, når de bliver målt på.

Er vi igang med nationens største videnskabelige eksperiment, når vi laver målinger på små børn? Et eksperiment uden egentlig kontrolgruppe, fordi man insisterer på at bruge en totaltælling, hvor en veldesignet stikprøve ville være langt mindre indgribende og belastende for hele skolesystemet - og hvis langtidseffekter vi først ser om en generation eller to.

Ad (1): jeg tænker på Hawthorne-effekten, og de underliggende studier skete vist i -20'erne og -30'erne, men tankerne svjv. først formuleret efter krigen.

PS til alle andre: Jeppe Bundsgaards indlæg "sidder fast" indtil videre på forsiden, men mon ikke det dukker op i debatten under artiklen på et tidspunkt?

Et af problemerne er at de er 'adaptive' (hvilket nok i IT-sprog vil hedde en 'feature'). Sværhedsgraden bliver simpelthen tilpasset efterhånden som testen skrider frem. Dvs. hvis man starter på det niveau, man forventes at være på, og svarer korrekt hver gang, så kan systemet pludselig uden varsel stille et spørgsmål der ligger langt over det første niveau. Og vi taler altså om børn her, som ofte bliver meget forvirrede og frustrerede over at det lige gik så godt, og så fik man pludselig et meget sværere spørgsmål.

Nu er der ikke noget galt i at dygtige børn der er vant til at klare alle deres test perfekt engang imellem bliver udsat for tests der er adaptive. Sådan er livet og det er godt at lære tidligt. Jeg har set utallige eksempler på børn/unge som havde svært ved oplevelsen senere hvor de pludseligt ikke længere kunne lave det hele perfekt.

Som ansat i it-branchen skal man prise sig lykkelig over, at ens job ikke i den grad er detailreguleret fra Christiansborg

Men vi vil gerne have et undervisningssystem hvor en afgangseksamen fra folkeskolen, en studentereksamen, en cand. polyt. grad, etc. er lige meget værd uden at kigge på hvilken skole den kommer fra. Det fordrer en hel del centralstyring.

Har man afprøvet dem på børn, hvor man kendte deres niveau, så man vidste at de var retvisende?

Det kan du være helt sikker på man ikke har.

UVM gav opgaven til Cowi, der jo som bekendt ingen kompetancer har udi undervisning, men primært beflitter sig med byggeri og miljø.

Og de bestod jo ligesom selv ikke rigtig prøven:

https://www.version2.dk/artikel/cowi-stadig-blanke-der-gaar-dage-foer-na...

Rigsrevisionen var jo heller ikke just imponerede:

http://www.rigsrevisionen.dk/media/1828908/5-2009.pdf

Næste problem: Hvordan sikrer man sig at man ikke får de samme problemer med de nye test, der jo skal erstatte dem? Svaret blæser i vinden ...

Imo er den eneste rigtige vej at analogisere, således at opgaverne udarbejdes af rigtige levende mennesker, i stedet for at vi indfører endnu mere Kafka, hvor børnene sættes over for et system som kun fungerer en vej.

Vi skal væk fra hele benchmarking filosofien i undervisningen.

Og husk lige på, at i en periode på 4 år, midt i lidelseshistorien, havde vi faktisk en socialdemokratisk regering, uden der af den grund blev taget fat i problemerne - så jeg er desværre ikke specielt optimistisk for der vil ske nogle større ændringer.

Vort samfund (uagtet hvem der sidder ved roret) lider desværre i udpræget grad af, at man aldrig vil erkende en fejl, og man vil aldrig rulle noget tilbage (ud fra en eller anden sunk cust fallacy om at nu har vi jo proppet 110 millioner + 14 per år i projektet, så må vi fortsætte.).

Som udgangspunkt kan det være fint at teste elever hvis dette sker efter ønske fra lærerne, og resultatet bruges i direkte pædagogisk øjemed. Men tests hvor alle resultater gemmes til evig tid, og i personhenførbar form, hos staten, er fuldstændigt uacceptabelt.

Det er kun godt hvis testene bliver afskaffet for de mindste elever, og forbedres så de giver retvisende resultater. Men så længe staten vil eksproprierer og misbruge elevernes data til alt muligt andet, ligesom det sker med trivselsmålingerne, så bør testene fortsat boycottes af forældrene, obligatoriske eller ej.

Da dette kummerlige forum æder poster, så har jeg fisket følgende indlæg fra Jeppe Bundsgaard på forsiden (hvor man mener at hele debatten skal gentages, så der overføres tonsvis af unyttige bits) - beklager hvis formatteringen ikke er helt som Jeppe havde tænkt sig:

@bjarne Mig bekendt er der ikke lavet deciderede eksperimenter. Men flere af mine kolleger har interesseret sig for børns møde med testen. Fx Kristine Kousholt

http://pure.au.dk/portal/da/persons/kristine-kousholt(a19e3fb7-42a5-4231...

Og sammen med en kollega lavede jeg et survey i 2016 hvor vi bl.a. spurgte lærere hvor mange af deres elever der blev negativt påvirket af testen. Det ligger omkring 15-20 procent (andre har spurgt elever og der ligger det omkring 17 procent).

https://pure.au.dk/portal/da/persons/jeppe-bundsgaard(4a1b113e-a953-4404...

@christian Jo, opgaverne testes faktisk på børn før de bliver en del af testen - faktisk omkring 700. Det vi viser, er bl.a. at opgaverne skifter sværhedsgrad over tid (fx fordi de pludselig begynder at træne ordsprog og talemåder ude af kontekst). Men jeg er enig i at det var noget mærkeligt noget at bede Cowi om at stå for det... Jeg har indimellem tænkt at hvis Rambøll og Cowi bygger broer lige så slasket som de bidrager til undervisningssektoren, så skal jeg ikke nyde noget af at køre på de broer...

Selvfølgelig skal eleverne testes. Hovedsageligt for at lærerne ved hvor de har problemer, men jeg har også været ude for en skole hvor man mente at eleverne selv lærte at læse når de var klar til det. De nationale tests viste at skolen var i bunden mht læsefærdighed, så kommunen satte derfor en ekstra læseindsats igang.
Lærernes karaktergivning er også udtryk for en test, men den er ikke bedre end de nationale tests. Der har været undersøgelser hvor man har givet samme stil til forskellige lærere og fået meget forskellige karakterer.
Alle tests og karaktergivninger har en usikkerhed som desværre bliver skjult. Min ene søn var frustreret over at få et 7-tal som bundede i at læreren ikke rigtigt havde fået et indtryk af hans niveau endnu. Hvordan håndterer man den usikkerhed på vurderingerne bedre?

Her er der faktisk mange mulige svar, da det vil være rimeligt både at betragte "kaffekande" som et ord og at betragte det som to ord, "kaffe" og "kande". Tilsvarende gælder "ølkrus" og "lampeskærm". Man kan argumentere for at en lampeskærm lavet af et ølkrus er en ølkruslampeskærm, men det er for søgt til at betragtes som en rimelig sammensætning, så jeg vil sige, at der er otte rimelige måder at opdele "kaffekandeølkruslampeskærm".

Jeg kender ikke systemet, men der skal tydeligt fremgå, at man skal opdele i færrest antal meningsfulde ord, eller at alle rimelige opdelinger betragtes som lige gyldige (ikke ligegyldige -- orddeling betyder faktisk noget). Ved nogen, om testen instruerer om dette? Og om den kun godtager en opdeling eller flere?

Jeg var for en del år siden i Indien for at tage CCNA.

Her blev jeg er ærligt taget skuffet, fordi inden eksamen havde jeg øvet på opgaver, for derefter se de samme spørgsmål blive stillet ordret til eksamen.

Min anke går på at eksamen viser ikke at du kan din teori, men kun at du kender det rigtige svar.

Hvad har dette så med de nationale test?

Her forestiller jeg mig også ret naivt at hvis børnene skal testes for om de kan forstå dansk på 2. klasse niveau, så må de gerne øver på eksempler, som er tiltænkt eksamenssituation, men opgaverne må i så fald ikke genbruges i den rigtige prøve.

Derudover er jeg enig i, at det adaptive element hører ikke hjemme i en national test. Børnene skal kun testes i hvad de har lært - hverken mere eller mindre.

Og allerhelst ser jeg testene bliver udfaset helt. Vent hellere til afgangsprøven. :-)

Og allerhelst ser jeg testene bliver udfaset helt. Vent hellere til afgangsprøven.

Det er nok lidt sent at få dommen - den afsluttende nationale test.
Eleverne skulle jo gerne undervejs prøves i, om målet kan nås.

Enig. Der bliver nødt til at være en eller anden form for aktivitet undervejs, så man ved om eleverne er med. Men det kan nu gøres på mange forskellige måder.

Men det er nødt til at være en objektiv metode der tillader lærere, skoleledelser, forældre og politikere at sammenligne resultater på tværs af klasser, skoler og kommuner. Ellers er der ingen måde at vide at elever lærer det samme og når samme niveau i hele landet.

Ellers er der ingen måde at vide at elever lærer det samme og når samme niveau i hele landet.

Og hvad så?

Da vi andre gik i skole var der ikke noget der hed benchmarking, men i det store hele som kom alle fornuftigt ud på den anden side, bla fordi forholdet mellem system, skole og lærere var baseret på tillid - og jeg har ikke mødt nogen som man kunne pege fingre ad og sige at fordi vedkommende kom fra en landsbyskole i xxxkøbing, så var vedkommende uvidende.

Og nogen kom bedre gennem skolen end andre, og sådan er det stadig - men centralmagten elsker, ligesom banker, at tegne små firkanter, som borgerne skal indplaceres i.

Kan vi ikke snart blive fri for det altomsiggribende NPM.

Denne her er nedrigt udtænkt, for ingen unge kender det sidste ord:
lagringrigtigtgjord

Vort samfund (uagtet hvem der sidder ved roret) lider desværre i udpræget grad af,

galloperende kontrollitis, samt

at man aldrig vil erkende en fejl, og man vil aldrig rulle noget tilbage

Nulfejlskultur er en offentlig uhelbredelig sygdom, der giver sikkert point hos chefen, og derfor plejes af enhver, som aldrig skulle været havnet der.

Hvis man magter sin opgave, så er der yderst få fejl og slet ingen grund til en nulfejlskultur.

Desværre har embedsværket de seneste ~25 år udlicieret deres nulfejlskulturen helt ud til borgerne via digitalisering.

Så borgerne skal i dag modbevise, at de ikke er en bunke fordrukne syndere samt misbrugere alle til hobe, der kun tænker på at ligge samfundet til last, eller har illegale våben samt 34 atombomber i tasken.

I stedet for at "Jette hos kommunen" m.fl. har kontakt med folket, mennesker og er uddannet til det, så laves der simple og ubegavede
- tekniske+logiske+mekaniske generaliseringer af "normal-klienten"
- klientisering af alt og alle
- maskinelle check (registersammenkøring)
- overvågning (stat, politi, kommune og forsvaret)
- "undringslister" (bl.a. fra UdbetalingDanmark)
etc.. etc.. af folk og fæ.

En offentlige ansat aner ikke hvem, der er hvem og hvem de betjener, og de stakkels mennesker må som erstatning for nødvendig uddannelse, sund fornuft og reel viden alle lede samt søge efter personen i deres elektroniske "Big Brother"[1] krystalkugle.

Store Broder er en figur i George Orwells roman 1984 (originaltitel Nineteen Eighty-Four from 1948) og den gådefulde diktator i Oceanien – den totalitære stat drevet til sin yderste konsekvens. I det samfund, som Orwell beskriver, overvåges alle af myndighederne, primært via teleskærme....".

https://da.wikipedia.org/wiki/Store_Broder_(1984)

Men vi vil gerne have et undervisningssystem hvor en afgangseksamen fra folkeskolen, en studentereksamen, en cand. polyt. grad, etc. er lige meget værd uden at kigge på hvilken skole den kommer fra. Det fordrer en hel del centralstyring.

Det giver naturligvis god mening at bestemme indhold af pensum og afgangsprøve fra centralt. De nationale tests er mere vidtgående end det.

Mig bekendt er der i øvrigt ikke ret meget ministeriel centralstyring af fx cand.polyt på tværs af de universiteter, der udbyder denne grad. Baseret på min egen uddannelse på DTU er det mit indtryk, at den enkelte underviser har stor bestemmelse over indhold, eksamensform mv.

Med henvisning til https://www.berlingske.dk/kronikker/hvad-er-der-nu-galt-med-de-nationale... så ser det ud til at de fleste har overset at formål er at se progression - altså om der sker en udvikling i elevens kompetancer. Skalaen til dette er sådan set ligegyldig bare der vises en trend.

Det er muligt det var dyrt at udvikle testsystemet, men indsatsen for den enkelte lærer er begrænset til stort set den time det tager eleverne at udfører testen - det kræver heller ingen undervisningsforberedelse.

Referencer til folkeskolen.dk vil jeg betragte som partsindlæg fra lærerforeningen, som beskæmper alt der ligner reform eller som indirekte kan måle kvalitet af den enkelte lærer. Ligeledes er rigsrevisionens rapport fra 2009 næppe relevant for kvalitet men mere udtryk for at udviklingsomkostninger overskred det budgetterede. Rigsrevisorer og de fleste folkevalgte har ikke væsentligt indsigt i pædagogik.

Når du betragter referencer til folkeskolen.dk som partsindlæg, så er det vel også rimeligt at påpege at en af forfatterne til artiklen som du henviser til, nemlig Jakob Wandall, partner i NordicMetrics, selv lever af at lave it-løsninger til at måle skolebørn på forskellige måder. -Blandt andet redskaber til at analysere resultater fra Nationale test, og senest et personlighedstest-lignende system, som efter skarp kritik er blevet droppet af Aarhus og Københavns kommune.

Der har været undersøgelser hvor man har givet samme stil til forskellige lærere og fået meget forskellige karakterer.

Stile er af natur svære at vurdere på en objektiv skala.

De nationale tests er snarere at sammenligne med en diktat eller anden bunden opgave i faste rammer. Den slags opgaver er meget nemmere at rette, både for en lærer og en computer.

Det er meget muligt at der er problemer i udformningen, og at det kunne være lokalt udformede tests. Men det har været fremført flere gange at fravær af test og klare mål svigter de svage grupper og kun er godt for dem der har et solidt hjem i ryggen.

Og nu ser vi denne undersøgelse refereret i Berllngske: Forskningsprojekt: Nationale test øger elevernes faglighed markant i flere år frem
Som synes at sige præcis dette (jeg har ikke læst selve rapporten). Tilsyneladende baseret på et solidt talmateriale (ironisk nok med kontrolgruppe opstået p.g.a. en større IT-fejl).

Jeg har til gengæld læst rapporten. Den kan ses her:
https://dpsa.dk/papers/NT_Paper_180917.pdf?fbclid=IwAR15q_31wnkA3XiejdkJ...

Rapporten overser tilsyneladende en indlysende fejlkilde. Rapporten er baseret på at der i forbindelse med et ugelangt nedbrud var et større antal elever som ikke kunne udføre testen, og da det antages at det var helt tilfældigt hvem der blev ramt, så kunne man samligne de ramte elevers testresultater for de efterfølgende år med de tilsvarende resultater for elever som ikke var blevet ramt af nedbrudet.

Men det lader ikke til at der er taget højde for at de elever (og deres lærere) som blev ramt af nedbrudet meget vel kan tænkes at performe dårligere i de følgende års test alene af den grund at de, pga. den dårlige oplevelse, havde mistet tilliden eller motivation til at stole på testene.

Så det er rimeligt at antage at testsystemets nedbrud kan have forringet resultatet hos dem som blev ramt, frem for at testene i sig selv forbedrer resultatet hos dem som kunne tage testen som planlagt.

Selv en ingeniør som mig har tilstrækkeligt psykologisk indblik til at spotte denne oplagte fejlkilde, men jeg er jo heller ikke som rapportens to forfattere hhv. statskundskab'er og økonom ansat som forsker hos TrygFondens Børneforskningscenter, ligesom jeg heller ikke tidligere har haft rådgivningsroller for Undervisningsministeriet vedr. De Nationale Test.

Og så lige for at sætte det i perspektiv: forskellen mellem de to grupper elever var 0,09 normalfordelinger.

Der skulle selvfølgelig stå 0,09 standardafvigelse, ikke normalfordelinger i mit forrige indlæg. Ifølge rapporten:

"Our study suggests beneficial effects of testing the students of around .09 of a standard deviation."

"for at sætte det i perspektiv: forskellen mellem de to grupper elever var 0,09 [standardafvigelse]"
Yderligere perspektiv: Effekten svarer til at reducere klassestørrelsen med 3-4 elever, eller at have en ekstralærer det meste af et år.

Ja, du peger på en mulig fejlkilde. Du beskriver en solid baggrund hos de to forfattere, så det er også en oplagt mulighed at de med deres faglige baggrund har fået øje på dette og udeladt den som ubetydelig. Det helt oplagte er at du skriver og spørger dem. Det kunne være interessant at få lys over også dette.

I det hele taget taler folk for lidt sammen. Lone lange, næstformand i Danmarks Lærerforening, går helt i baglås fordi undersøgelsen ikke matcher hendes synspunkt, og prøver bl.a. at sige at det må være en tilfældighed at de 5 % viser de de gør. https://www.berlingske.dk/samfund/laererforening-om-at-nationale-test-sk....
Der kunne være fejlkilder, som du selv påpeger og som forfatterne også peger på flere af, men 5 % af 78.000 giver næppe tilfældige tal.

Hvorfor inviterer hun dem ikke ud til en faglig dag for at forstå rapporten og hvad den egentlig siger? Med paraderne lagt på hylden? Og derefter enten afviser den eller tager dens afdækning med sig. Det er trods alt vores børn (børnebørn) det drejer sig om, og ikke personligt politikrytteri.

Tak for link til rapporten.

Det helt oplagte er at du skriver og spørger dem. Det kunne være interessant at få lys over også dette.

God ide. Som sagt, så gjort. Jeg fik dette svar fra Simon Calmar Andersen:

Tak for interessen. Vi tester forskellen mellem de elever, som gennemfører og ikke gennemfører en test som følge af nedbruddet. Hvilke mekanismer, der efterfølgende har været med til at skabe effekten, kan vi ikke se af data. Vi har givet nogle mulige bud, og haft vores artikel i review hos tre internationale eksperter, som også har kommenteret på det. Men der kan i princippet, som du nævner, være mange andre. Jeg vedhæfter til orientering den endelige version af manuskriptet.

Der lader altså ikke til at være belæg for Berlingske's artikel "Forskningsprojekt: Nationale test øger elevernes faglighed markant i flere år frem", idet der (ifølge Simon Calmar Andersens svar) ikke i data'et er grundlag for at sige om testene har haft positiv indflydelse på de testede elevers senere test-scores, eller om det omvendt er IT-nedbrudet der har haft en negativ inflydelse på de nedbrudsramte elevers senere test-scores.