It-system til varsel af elevfrafald blev øjeblikkeligt standset af gymnasierne

De almene gymnasiers forening, Danske Gymnasier, har standset anvendelsen af en færdigudviklet algoritme, der med mere end 90 procents sandsynlighed kan forudsige, om en studerende vil falde fra. Angiveligt på grund af en bekymring for privacy. Både en professor og en uddannelsesdirektør ser kritisk på forløbet.

Hver femte elev på gymnasiet dropper ud inden fuldførelse. Og netop det høje antal får flere til at mene, at det kan have stor samfundsmæssig værdi at kunne mindske frafaldet. Alligevel blev netop en funktion til forudsigelse af frafald i it-systemet Lectio, som hovedparten af gymnasierne anvender, fjernet nærmest omgående efter ønske fra Danske Gymnasier, kort efter at funktionen blev introduceret.

»Det er ikke et system, der erstatter mennesker, men det er et system, der er med til, at der ikke er nogen, der 'bare' falder igennem. Gymnasielærerne vil normalt opfange de unge mennesker, der er i risiko for frafald. Men der kan jo være nogle, der falder igennem to stole, og så har man et backup-system,« siger professor Stephen Alstrup, Datalogisk Institut, Københavns Universitet, der står bag udviklingen af it-funktionen.

Algoritmen, der blev implementeret i juni 2014, havde en levetid på omkring en uge. Danske Gymnasier - den daværende Gymnasieskolernes Rektorforening - greb herefter på et møde med virksomheden Macom, der står bag Lectio, ind og udtrykte bekymring over den måde, algoritmen var blevet til på. Danske Gymnasier mente, at Macom uden samtykke havde udleveret gymnasiernes data til en tredjepart, en studerende, i forbindelse med tilblivelsen af algoritmen.

I juni sidste år kunne blandt andet Version2 fortælle om, hvordan en datalogistuderende ved Københavns Universitet, Nicolae-Bogdan Șara, i forbindelse med sit kandidatspeciale via machine learning havde udviklet en algoritme, der med 93 procents sandsynlighed kunne forudsige, når en studerende ville falde fra gymnasiet.

Læs også: Big Data-værktøj rykker ind i gymnasierne og fortæller hvem der dropper ud

Kandidatspecialet var blevet til i samarbejde med Macom.

Machine learning vil sige, at algoritmen er blevet fintunet til at gætte nogenlunde rigtigt ved at analysere de gymnasiale data, som Macom ligger inde med.

I den forbindelse viste det sig, at den vigtigste parameter for frafald er størrelsen på den klasse, eleven går i; lige efter kommer elevens fraværsstatistik og så fremdeles. Og resultatet blev ifølge Nicolae-Bogdan Șaras kandidatprojekt en algoritme, der med over 93 procents sandsynlighed kunne sige, om en studerende ville falde fra.

Algoritmens faktiske træfsikkerhed i et live-miljø, altså på et gymnasium, fortaber sig i det uvisse. Algoritmen blev nemlig aldrig rigtigt taget i brug. Kort efter at den blev rullet ud i Lectio, blev funktionen som nævnt hurtigt pillet ud af systemet igen.

Mødeindkaldelse

Det skete i forlængelse af et møde, som den daværende Gymnasieskolernes Rektorforening, nu Danske Gymnasier, indkaldte Macom til på baggrund af Version2’s oprindelige artikel om algoritmen. Version2 er i besiddelse af et referat fra dette møde.

Til stede på mødet var Danske Gymnasier, Macom, og også STIL (Styrelsen for it- og læring, tidl. Uni-C) var repræsenteret. Desuden var vejleder på Nicolae-Bogdan Șaras projekt, den tidligere nævnte professor ved Københavns Universitet, Stephen Alstrup, også med.

Temaet på mødet var, at Macom havde udleveret data til tredjemand, Nicolae-Bogdan Șara, uden at der forelå konkrete aftaler med de enkelte gymnasier, og at Macom i den forbindelse havde forbrudt sig mod den databehandleraftale, der er indgået med skolerne.

Derudover blev det ifølge referatet også pointeret på mødet, at det er skolernes ledelse, der skal bestemme, hvem der skal have adgang til hvilke data, herunder oplysninger, der kan indikere en frafaldstrussel og dermed angiveligt stigmatisere eleverne.

Mødet mundede ud i, at funktionen straks skulle fjernes. Og siden har funktionen ikke fundet vej tilbage i Lectio. Og det ærgrer Stephen Alstrup.

»Enormt trist«

Han fortæller, at ca. 20 pct. af dem, der starter på en gymnasial uddannelse, falder fra.

Tallet bakkes op af en rapport fra 2009 fra det daværende Uni-C, nu STIL.

Stephen Alstrup peger i den forbindelse på, at det er dyrt for samfundet, når studerende falder fra, og derudover er der de personlige omkostninger, der kan være forbundet med at ryge ud af en uddannelse.

»Vi snakker både om en samfundsmæssig og en personlig tragedie, at så mange studerende holder op på de gymnasiale uddannelser. Både i Danmark, i EU og på verdensplan som sådan,« siger han og fortsætter:

»Og vi har faktisk et system, der kan være med til at afhjælpe det her problem, og så er det enormt trist, at det ikke bliver brugt.«

Stephen Alstrup peger desuden på, at systemet jo kun nåede at blive udviklet i en førsteudgave i forbindelse med et studieprojekt. Han vurderer, at en videreudvikling kunne øge sandsynligheden for at forudsige frafaldet korrekt til 95-96 pct. i stedet for de nuværende 93,5 pct.

Procentsatsen er blevet til ved at dele data hos Macom op i to sæt. Den ene halvdel er brugt til at tune algoritmen ud fra, den anden halvdel er blevet brugt til at teste algoritmen på. Og det var her, træfsikkerheden var på 93,5 pct.

Selvom algoritmen i udgangspunktet er udviklet i forhold til de gymnasiale uddannelser, så mener Stephen Alstrup, at den også vil kunne tilpasses brug på andre uddannelsesinstitutioner.

Uddannelsesdirektør: Selvfølgelig har det en værdi

Eva Hofman-Bang er direktør for uddannelsescentret CPH West, der blandt andet favner over flere gymnasiale uddannelser, hvor Lectio bliver anvendt. Adspurgt om, hvorvidt en algoritme, der med 93 procents sandsynlighed kan sige, om en studerende vil falde fra, vil være værdifuld, svarer hun:

»Jeg kan næsten ikke andet end at svare ja på spørgsmålet, selvfølgelig har det en værdi. Vi går efter mere og mere digitalisering, og jo bedre værktøjer vi kan få i den forbindelse - også sådan et værktøj (som den konkrete algoritme, red.) - jo bedre. Det vil vi meget gerne, hvis vi samtidig kan overholde datasikkerheden. Det er klart meget interessant, hvis vi samtidig kan overholde datasikkerheden.«

I forhold til datasikkerheden vækker forløbet, hvor Macom skulle have udleveret gymnasiernes data til tredjepart, også genklang hos Eva Hofman-Bang.

»Men jeg kan også huske, at det, der har været humlen i alt det her, er, at Macom har stillet vores data til rådighed for tredjepart uden at have fået vores tilladelse, og at vi ikke er helt trygge ved, hvad de bruger vores data til.«

Hvorfor bruge systemet, hvis I generelt ikke er trygge ved det?

»Der er ikke mange systemer, og der er en god funktionalitet, og der er meget godt at sige om Lectio. Det er også derfor, vi er gået over til det,« siger Eva Hofman-Bang og tilføjer:

»På erhvervsgymnasierne er mange gået over fra det, de havde, der hed Easy, og så til Lectio. Det har noget funktionalitet i forhold til eleverne: planlægning, skema, lektier aflevering og sådan noget.«

»Så der er meget godt at sige om det, men der ser ud til at være problemer i forhold til persondataloven. Så det har egentlig været meget af det, vores opmærksomhed har været rettet mod det seneste år.«

Professor: Algoritmen er jo lavet

Stephen Alstrup deltog i det møde, som Danske Gymnasier indkaldte Macom til i juni sidste år. Han er helt bekendt de bekymringer, som gymnasierne har haft i forhold til udlevering af data til tredjemand. I den forbindelse fortæller han, at den studerende kun har haft adgang til data i anonymiseret form, og at dataadgangen i øvrigt er foregået via fysisk fremmøde hos Macom. Med andre ord er data som sådan ikke blevet udleveret ifølge professorens opfattelse.

Desuden undrer Stephen Alstrup sig over, at algoritmen, der er udviklet, og som i sig selv ikke indeholder nogen persondata, ikke bliver taget i brug.

»Vi har noget data, og på baggrund af den data er vi så i stand til at kunne lave en model. Så den model, vi har, og som er oppe at køre, der er ingen personlige data. Ingenting.«

Version2 har forsøgt at få en kommentar fra formand for Danske Gymnasier Anne-Birgitte Rasmussen, som i sin tid indkaldte Macom til mødet. Blandt andet for at høre, om der er sket noget nyt siden da, og om algoritmen eventuelt kunne være velkommen i Lectio igen, hvis præmisserne var de rette.

Anne-Birgitte Rasmussen oplyser, at hun ingen kommentarer har til forløbet i forhold til, at Macom skulle have udleveret gymnasiernes data. Hun ønsker heller ikke at forholde sig til, hvorvidt funktionen, som blandt andet direktøren for CPH West altså umiddelbart godt kan se værdien i, eventuelt kunne blive genimplementeret i Lectio.

Endelig ønsker Anne-Birgitte Rasmussen umiddelbart heller ikke at forholde sig til professor Stephen Alstrups pointe om, at algoritmen - som altså ikke indeholder nogen data i sig selv - jo er lavet og i princippet kan anvendes.

Han fortalte, at nu var algoritmen jo lavet, og så kunne han ikke se, hvorfor man ikke kunne få glæde af den?

»Okay, okay. Spændende. Nej, det har jeg ikke flere kommentarer til. Det er godt. Hej,« slutter Anne-Birgitte Rasmussen.

På CPH West vil Eva Hofman-Bang - efter at Version2 har forelagt hende Stephen Alstrups pointe om, at algoritmen allerede er udviklet - forsøge at undersøge, om algoritmen eventuelt vil kunne tages i brug alligevel på data-forsvarlig vis.

»Hvis vi ser er nogle redskaber, der kan hjælpe os til at blive dygtigere, så må vi jo have dem,« siger hun og tilføjer:

»Jeg tænker, at jeg nok vil gå videre til Danske Gymnasier og Danske Erhvervsskoler med dine oplysninger.«

Opdatering 19. august 11:30
I den oprindelige tekst var Danske Gymnasier præsenteret som danske gymnasiers sammenslutning Danske Gymnasier. Det er ændret til de almene gymnasiers forening Danske Gymnasier, så organisationen ikke bliver forvekslet med Danske Gymnasieelevers Sammenslutning.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (13)

Per Henriksen

Hvis systemet kan give skoler og lærere viden til at adressere 19 ud af 20 elever, som er i fare for at falde fra, så virker det fornuftigt. Det er jo spild af ressourcer og ikke mindst synd for de studerende, hvis de ikke får den hjælp, som kan få dem til lykkes med studiet.

Poul Bundgaard

Er der ikke noget med, at gymnasiernes økonomi hænger sammen med hvor mange studerende de får?
Og at de dermed udfra en snæver økonomisk betragtning ikke er interesseret i, at algoritmen filtrerer uegnede elever fra...

Thorvald Johannes Pedersen

For mig virker det som en algoritme, der ikke bør komme i brug. Et stykke matematik, kan da ikke sige noget om, hvorvidt en bestemt person, vil falde fra en gymnasie uddannelse. Hvis jeg forstår det rigtigt er algoritmen baseret på data fra gymnasierne - men det vil jo sådan set sige at algoritmen ikke kan sige noget om en bestemt person, før vedkommende er startet på gymnasiet og efter at vedkommende har haft noget fravær. Og det vil sige at det ingen værdi har. Og man kan ikke bruge den på personer som er på vej til gymnasiet da man ikke ved noget om dem, i forhold til at gå i gymnasiet.

Simon Shine Blogger

Macom begik tydeligvis en fejl i ikke at have en klar, skriftlig aftale med den datalogistuderende som sidestillede ham med de øvrige ansatte, eller også fejler de i at forklare hvordan dette er tilfældet. Lectio har mange af den slags samarbejder med universiteterne til kollektiv gavn for alle parter.

Gymnasierne er tydeligvis forskrækket over at en "studerende" har fået adgang til fortrolige oplysninger og føler at alt algoritmen rører ved har fået fnat. Macom har ikke formået at håndtere sagen diplomatisk nok og fejler simpelthen i at forære deres software væk.

Synd for kandidaten, hvis projekt bliver begravet i bureaukrati, og synd for de gymnasieelever, hvis frafald ikke bliver opdaget. Kan uansvarligheden på begge sider af bordet ikke udligne så vi kan komme videre?

Macom skal vel bare producere en aftale, datalogen kan skrive under på, som siger at han ikke har gjort eller vil gøre noget med de oplysninger, han har arbejdet med, og så skal Macom indskrænke adgang til featuren, så gymnasieeleverne ikke nemt har adgang til den, og så er den skid jo slået.

Bjarne Nielsen

En databehandler kan kun behandle data i overensstemmelse med den instruks, som dataansvarlig har givet, og til det formål, hvorved indsamlingen er sket. Der er ingen mulighed for at gradbøje dette, hverken for studerende eller fastansatte. Derfor er det helt i orden, at dataansvarlig griber ind.

At det så også illustrerer, at forholdet imellem dataansvarlig og databehandler tit står på hovedet, er så en anden snak: for en udenforstående virker som om, at databehandlere i mange situationer føler, at det er deres data.

Henrik Biering Blogger

... og se hvor meget det hjælper.

I den forbindelse viste det sig, at den vigtigste parameter for frafald er størrelsen på den klasse, eleven går i; lige efter kommer elevens fraværsstatistik og så fremdeles.

Det er vel ikke overraskende at første trin er at nedsætte klassekvotienten, hvilket også vil give klasselæreren bedre mulighed for at tage en individuel snak med de elever, der har de højeste fraværsprocenter.

Endelig må man ikke glemme at der også kan være ganske rationelle argumenter for at nogle ombestemmer sig undervejs mht. uddannelsesforløb. Det ved jeg ikke om algoritmen tager højde for. Men det vil afsløre sig ved en personlig samtale.

Jarnis Bertelsen

Det er vel ikke overraskende at første trin er at nedsætte klassekvotienten


Og mon ikke dette også er kernen i modstanden fra Danske Gymnasier? En ting er at sige at de skal formindske fravær for at forhindre frafald, det kan klares med pisk og gulerod overfor de studerende. Noget helt andet er at fortælle dem at de ikke kan stoppe så mange elever i en klasse som der er plads til i klasselokalet. Det koster jo penge!!!

Det er godt at Macom bliver holdt ansvarlig, hvis de overskrider deres beføjelser som databehandler, specielt hvis de udleverer personhenførbare data til trediepart uden tilladelse. Det virker dos mest som en undskyldning for at kunne begrave en funktion med ubekvemme konsekvenser for rektorerene.

Man kan sagtens have en diskussion om det virkelig er et brugbart værktøj og om det har uheldige konsekvenser for de udfaldstruede elever, såvel som de ikke-udfaldstruede, at de bliver udpeget af et statistisk værktøj. Der kan være masser af etiske og praktiske indvendinger mod et værktøj soim dette. Man at en algoritme skulde være blevet besudlet, af den måde den er frembragt på, er nonsens. Det stinker af en dårlig undskyldning, der dækker over en anden årsag, der ikke tåler dagens lys.

Jens Henrik Sandell

Enig. Algoritmen kan ikke stå alene.

Det er jo nærliggende at forestille sig, at en politiker vil henvende sig til "ministeren" og forlange, at gymnasielærerne skal udarbejde handleplaner for de mange elever, som ifølge algoritmen vil droppe ud. Det har de ikke tid til i dag, så hvor skulle de få tid til det i morgen.

Jeg synes i øvrigt ikke, at det tydeligt fremgår af artiklen, i hvilken grad Macom har taget stilling til beskyldningen om udlevering af /personfølsomme oplysninger/. For det burde jo være en sag for Datatilsynet. ...?

Jakob Møllerhøj Journalist
Niels Langager Ellegaard

Mit umiddelbare gæt er at prognosen afhænger af fravær, skriftligt fravær og karakterer og et par lignende kriterier. Hvis det er rigtigt, så fortæller modellen ikke rigtigt nogen som skolen ikke ved i forvejen. Derfor er den måske ikke så interesant.

Jeg tror at Macom ville få mere ud af at ændre i brugerinterfacet, så det blev lettere for et menneske at danne sig et overblik over fraværssituationen i en klasse eller på en årgang. Lige nu er det lidt tungt at bruge. Visualisering er bedre end black box-modeller.

Jens Larsen

Jeg har haft en datter på gymnasiet sidste år, jeg blev frarådet det grundet Københavns Åbne Gymnasiums ry, som meget hårdhændet blandt elever, samt undersøgelser som gang på gang viser at det er københavns dårligste gymnasium.

Men min familie er næsten naboer, så det virker oplagt at min datter skal gå der. Hun starter i en klasse med 34-35 elever! de første par dage sidder eleverne i vindueskarmen grundet pladsmangel. fraværet blandt eleverne begynder hurtigt at stige, som betyder at der blir siddepladser til alle.

Jeg er bekymret for min datters udbytte af undervisningen og kontakter ledelsen på skolen. De siger, at der snart kommer normale tilstande, vi venter tålmodigt og ganske rigtigt eleverne falder fra i klassen(rykker hen på bedre gymnasier) Efter cirka en måned udmelder skolen ligeledes de elever med meget højt fravær, dette gir ro i klassen, da det samtidig er forstyrrende elementer som udmeldes. Der går dog ikke mere end et par uger, så er de udmeldte elever genindmeldt igen.

Forstyrrelserne i klasserne tiltager grundet dette. Jeg sidder til en middag med naboens kone og fortæller om mine frustrationer og bekymringer. Hun arbejder i undervisningsministeriet, og fortæller, at på 20 skoledag modtager gymnasierne penge pr elev, som de har gående. I denne forbindelse er det vigtigt at klassernes størrelse ikke overstiger 28. Så københavns åbne gymnasium udmeldte elever, for at komme under denne grænse, de indmeldte dem igen, da de formentlig har erfaring for flere elevudmeldelser, og tager derfor eleverne ind igen som en buffer. Således sikrer de deres økonomi.

Jeg valgte en måned senere at flytte min datter, da københavns åbne gymnasium ligner med en pengemaskine med meget fokus på økonomi og meget lidt på elevtrivsel.

I foråret mødte jeg en forældrer til en nuværende elev på gymnasiet, som fortalte at gymnasiet var lukket et par dage da alle ansatte skulle til Norge med noget teambuilding af en art. Alt lige fra rengøring til rektor (Anne Birgitte Rasmussen) Jeg undrer mig over dette, da min datter fortalte at rengøringen kun kunne meget lidt dansk/engelsk, og snakkede internt kinesisk. Min datter havde nemlig talt med rengøringen engang da hun havde mistet sin trøje, men hun havde helt opgivet at forstå dem.

Så pointen er at der ikke er en interesse i algoritmen, gymnasierne tænker udelukkende penge, og ser eleverne som små pengesedler, der flyver rundt- ihvertfald på Københavns Åbne Gymnasium.

Til almen orientering kan jeg sige at min datter er glad for det nye gymnasium, med velholdte ikke overfyldte lokale samt en bedre elevtrivsel, da sproget ikke er så barsk blandt eleverne, som det er på Københavns Åbne Gymnasium. Min datter blev engang kaldt dumme perkerluder derude.

Log ind eller opret en konto for at skrive kommentarer

Pressemeddelelser

Big Data Lake Summit: Fast and Trusted Insights

If you want to outpace, outsmart and outperform your competition in a digital world, you need trusted data that can be turned into actionable business insights at speed.
24. apr 15:06

Welcome to Free course to learn about the combined power of Alteryx and Qlik!

Affecto invites to a free course, where we want to share our knowledge of this self-service analysis platform together with the power of Qlik.
20. apr 2017

Robotics Process Automation (RPA) changes the way organizations think about and perform work at a reduced cost, higher efficiency and greater productivity

Join us for this exiting seminar, which Affecto hosts with our business partner SmartRPA May 3rd, 2017 at 13.00 in Copenhagen.
30. mar 2017