It-system til varsel af elevfrafald blev øjeblikkeligt standset af gymnasierne

Hver femte elev på gymnasiet dropper ud inden fuldførelse. Og netop det høje antal får flere til at mene, at det kan have stor samfundsmæssig værdi at kunne mindske frafaldet. Alligevel blev netop en funktion til forudsigelse af frafald i it-systemet Lectio, som hovedparten af gymnasierne anvender, fjernet nærmest omgående efter ønske fra Danske Gymnasier, kort efter at funktionen blev introduceret.

»Det er ikke et system, der erstatter mennesker, men det er et system, der er med til, at der ikke er nogen, der 'bare' falder igennem. Gymnasielærerne vil normalt opfange de unge mennesker, der er i risiko for frafald. Men der kan jo være nogle, der falder igennem to stole, og så har man et backup-system,« siger professor Stephen Alstrup, Datalogisk Institut, Københavns Universitet, der står bag udviklingen af it-funktionen.

Algoritmen, der blev implementeret i juni 2014, havde en levetid på omkring en uge. Danske Gymnasier - den daværende Gymnasieskolernes Rektorforening - greb herefter på et møde med virksomheden Macom, der står bag Lectio, ind og udtrykte bekymring over den måde, algoritmen var blevet til på. Danske Gymnasier mente, at Macom uden samtykke havde udleveret gymnasiernes data til en tredjepart, en studerende, i forbindelse med tilblivelsen af algoritmen.

I juni sidste år kunne blandt andet Version2 fortælle om, hvordan en datalogistuderende ved Københavns Universitet, Nicolae-Bogdan Șara, i forbindelse med sit kandidatspeciale via machine learning havde udviklet en algoritme, der med 93 procents sandsynlighed kunne forudsige, når en studerende ville falde fra gymnasiet.

Kandidatspecialet var blevet til i samarbejde med Macom.

Machine learning vil sige, at algoritmen er blevet fintunet til at gætte nogenlunde rigtigt ved at analysere de gymnasiale data, som Macom ligger inde med.

I den forbindelse viste det sig, at den vigtigste parameter for frafald er størrelsen på den klasse, eleven går i; lige efter kommer elevens fraværsstatistik og så fremdeles. Og resultatet blev ifølge Nicolae-Bogdan Șaras kandidatprojekt en algoritme, der med over 93 procents sandsynlighed kunne sige, om en studerende ville falde fra.

Algoritmens faktiske træfsikkerhed i et live-miljø, altså på et gymnasium, fortaber sig i det uvisse. Algoritmen blev nemlig aldrig rigtigt taget i brug. Kort efter at den blev rullet ud i Lectio, blev funktionen som nævnt hurtigt pillet ud af systemet igen.

Mødeindkaldelse

Det skete i forlængelse af et møde, som den daværende Gymnasieskolernes Rektorforening, nu Danske Gymnasier, indkaldte Macom til på baggrund af Version2’s oprindelige artikel om algoritmen. Version2 er i besiddelse af et referat fra dette møde.

Til stede på mødet var Danske Gymnasier, Macom, og også STIL (Styrelsen for it- og læring, tidl. Uni-C) var repræsenteret. Desuden var vejleder på Nicolae-Bogdan Șaras projekt, den tidligere nævnte professor ved Københavns Universitet, Stephen Alstrup, også med.

Temaet på mødet var, at Macom havde udleveret data til tredjemand, Nicolae-Bogdan Șara, uden at der forelå konkrete aftaler med de enkelte gymnasier, og at Macom i den forbindelse havde forbrudt sig mod den databehandleraftale, der er indgået med skolerne.

Derudover blev det ifølge referatet også pointeret på mødet, at det er skolernes ledelse, der skal bestemme, hvem der skal have adgang til hvilke data, herunder oplysninger, der kan indikere en frafaldstrussel og dermed angiveligt stigmatisere eleverne.

Mødet mundede ud i, at funktionen straks skulle fjernes. Og siden har funktionen ikke fundet vej tilbage i Lectio. Og det ærgrer Stephen Alstrup.

»Enormt trist«

Han fortæller, at ca. 20 pct. af dem, der starter på en gymnasial uddannelse, falder fra.

Sponseret indhold

Genskab din infrastruktur med automation og immutable backup

It-sikkerhed

Tallet bakkes op af en rapport fra 2009 fra det daværende Uni-C, nu STIL.

Stephen Alstrup peger i den forbindelse på, at det er dyrt for samfundet, når studerende falder fra, og derudover er der de personlige omkostninger, der kan være forbundet med at ryge ud af en uddannelse.

»Vi snakker både om en samfundsmæssig og en personlig tragedie, at så mange studerende holder op på de gymnasiale uddannelser. Både i Danmark, i EU og på verdensplan som sådan,« siger han og fortsætter:

»Og vi har faktisk et system, der kan være med til at afhjælpe det her problem, og så er det enormt trist, at det ikke bliver brugt.«

Stephen Alstrup peger desuden på, at systemet jo kun nåede at blive udviklet i en førsteudgave i forbindelse med et studieprojekt. Han vurderer, at en videreudvikling kunne øge sandsynligheden for at forudsige frafaldet korrekt til 95-96 pct. i stedet for de nuværende 93,5 pct.

Procentsatsen er blevet til ved at dele data hos Macom op i to sæt. Den ene halvdel er brugt til at tune algoritmen ud fra, den anden halvdel er blevet brugt til at teste algoritmen på. Og det var her, træfsikkerheden var på 93,5 pct.

Selvom algoritmen i udgangspunktet er udviklet i forhold til de gymnasiale uddannelser, så mener Stephen Alstrup, at den også vil kunne tilpasses brug på andre uddannelsesinstitutioner.

Uddannelsesdirektør: Selvfølgelig har det en værdi

Eva Hofman-Bang er direktør for uddannelsescentret CPH West, der blandt andet favner over flere gymnasiale uddannelser, hvor Lectio bliver anvendt. Adspurgt om, hvorvidt en algoritme, der med 93 procents sandsynlighed kan sige, om en studerende vil falde fra, vil være værdifuld, svarer hun:

Sponseret indhold

Maj knækker koden: Hun gør bæredygtighed til forretning

Efteruddannelse

»Jeg kan næsten ikke andet end at svare ja på spørgsmålet, selvfølgelig har det en værdi. Vi går efter mere og mere digitalisering, og jo bedre værktøjer vi kan få i den forbindelse - også sådan et værktøj (som den konkrete algoritme, red.) - jo bedre. Det vil vi meget gerne, hvis vi samtidig kan overholde datasikkerheden. Det er klart meget interessant, hvis vi samtidig kan overholde datasikkerheden.«

I forhold til datasikkerheden vækker forløbet, hvor Macom skulle have udleveret gymnasiernes data til tredjepart, også genklang hos Eva Hofman-Bang.

»Men jeg kan også huske, at det, der har været humlen i alt det her, er, at Macom har stillet vores data til rådighed for tredjepart uden at have fået vores tilladelse, og at vi ikke er helt trygge ved, hvad de bruger vores data til.«

Hvorfor bruge systemet, hvis I generelt ikke er trygge ved det?

Sponseret indhold

Michael har 90 patentansøgninger under bæltet og ser AI og maskinlæring som høreapparatindustriens nye schweizerkniv

Lyd

»Der er ikke mange systemer, og der er en god funktionalitet, og der er meget godt at sige om Lectio. Det er også derfor, vi er gået over til det,« siger Eva Hofman-Bang og tilføjer:

»På erhvervsgymnasierne er mange gået over fra det, de havde, der hed Easy, og så til Lectio. Det har noget funktionalitet i forhold til eleverne: planlægning, skema, lektier aflevering og sådan noget.«

»Så der er meget godt at sige om det, men der ser ud til at være problemer i forhold til persondataloven. Så det har egentlig været meget af det, vores opmærksomhed har været rettet mod det seneste år.«

Professor: Algoritmen er jo lavet

Stephen Alstrup deltog i det møde, som Danske Gymnasier indkaldte Macom til i juni sidste år. Han er helt bekendt de bekymringer, som gymnasierne har haft i forhold til udlevering af data til tredjemand. I den forbindelse fortæller han, at den studerende kun har haft adgang til data i anonymiseret form, og at dataadgangen i øvrigt er foregået via fysisk fremmøde hos Macom. Med andre ord er data som sådan ikke blevet udleveret ifølge professorens opfattelse.

Desuden undrer Stephen Alstrup sig over, at algoritmen, der er udviklet, og som i sig selv ikke indeholder nogen persondata, ikke bliver taget i brug.

»Vi har noget data, og på baggrund af den data er vi så i stand til at kunne lave en model. Så den model, vi har, og som er oppe at køre, der er ingen personlige data. Ingenting.«

Version2 har forsøgt at få en kommentar fra formand for Danske Gymnasier Anne-Birgitte Rasmussen, som i sin tid indkaldte Macom til mødet. Blandt andet for at høre, om der er sket noget nyt siden da, og om algoritmen eventuelt kunne være velkommen i Lectio igen, hvis præmisserne var de rette.

Anne-Birgitte Rasmussen oplyser, at hun ingen kommentarer har til forløbet i forhold til, at Macom skulle have udleveret gymnasiernes data. Hun ønsker heller ikke at forholde sig til, hvorvidt funktionen, som blandt andet direktøren for CPH West altså umiddelbart godt kan se værdien i, eventuelt kunne blive genimplementeret i Lectio.

Endelig ønsker Anne-Birgitte Rasmussen umiddelbart heller ikke at forholde sig til professor Stephen Alstrups pointe om, at algoritmen - som altså ikke indeholder nogen data i sig selv - jo er lavet og i princippet kan anvendes.

Han fortalte, at nu var algoritmen jo lavet, og så kunne han ikke se, hvorfor man ikke kunne få glæde af den?

»Okay, okay. Spændende. Nej, det har jeg ikke flere kommentarer til. Det er godt. Hej,« slutter Anne-Birgitte Rasmussen.

På CPH West vil Eva Hofman-Bang - efter at Version2 har forelagt hende Stephen Alstrups pointe om, at algoritmen allerede er udviklet - forsøge at undersøge, om algoritmen eventuelt vil kunne tages i brug alligevel på data-forsvarlig vis.

»Hvis vi ser er nogle redskaber, der kan hjælpe os til at blive dygtigere, så må vi jo have dem,« siger hun og tilføjer:

»Jeg tænker, at jeg nok vil gå videre til Danske Gymnasier og Danske Erhvervsskoler med dine oplysninger.«

Opdatering 19. august 11:30
I den oprindelige tekst var Danske Gymnasier præsenteret som danske gymnasiers sammenslutning Danske Gymnasier. Det er ændret til de almene gymnasiers forening Danske Gymnasier, så organisationen ikke bliver forvekslet med Danske Gymnasieelevers Sammenslutning.