Websphere-opdatering og langsomme pc'er bag midtjysk EPJ-bøvl

Trods omfattende test forud for en opdatering løb Region Midtjylland alligevel ind i problemer, da systemerne bag regionens EPJ-system skulle opdateres.

Den første weekend i februar stod Region Midtjylland over for en større opdateringer af de systemer, som er en vigtig del af infrastrukturen for det fælles elektroniske patientjournalsystem, Midt-EPJ, som bruges på alle sygehusene i regionen med undtagelse af Viborg Sygehus.

Opdateringerne fandt sted natten mellem lørdag og søndag, og i løbet af søndagen så alt ud til at være gået efter planen. Men mandag begyndte personalet at opleve meget lange svartider på EPJ-systemet.

Regionens it-afdeling fik først systemet til at køre stabilt igen tirsdag eftermiddag, om end der i de efterfølgende dage atter opstod problemer, som dog kunne løses hurtigere.

»Vi opgraderede tre ting samtidig: Vores EPJ kom i en ny version. Vi installerede noget kraftigere hardware i datacenteret på Regionshospitalet i Viborg. Og vi opdaterede både til en ny Websphere på serverne og en ny Java på klienterne,« fortæller områdelederen for EPJ-produkter i it-afdelingen, Niels Henrik Pedersen, fra Region Midtjylland til Version2.

Opdateringen af Websphere skulle løse nogle fejl, som ellers ikke kunne håndteres, og hardwareopgraderingen kom med i samme ombæring for at sikre bedre svartider for systemet. It-afdelingen havde på forhånd vurderet, at risikoen ved opgraderingen ikke var specielt stor.

Mistanken rettede sig hurtigt til kommunikationen mellem klienterne og serverne, og problemerne blev indkredset til at ligge i laget mellem den udgave af IBM Websphere 6.1, som blev installeret på serverne, og den udgave af Java fra IBM, som blev installeret på klienterne.

»Når nogle bestemte klienter forsøgte at oprette en forbindelse til serverne, endte de med at blive en prop i indgangen til systemet og blokere for andre klienter,« forklarer Niels Henrik Pedersen.

Det viste sig, at problemet kun gjaldt nogle bestemte klienter. Fejlen opstod, fordi klienterne var langsomme eller overbelastede, og det betød, at de var lang tid om at logge ind på EPJ-systemet. Samtidig ventede systemet på den langsomme klient, og det forhindrede andre i at logge på.

Region Midtjylland havde dog seks instanser af serverne kørende, så fejlen opstod kun for dem, der var så uheldige, at de forsøgte at logge på en server, som var blokeret af en langsom klient.

Da it-afdelingen havde fundet problemet, lukkede de systemet ned i en halv time for at ændre nogle parametre i konfigurationen.

»Nu kører det. Vi havde en periode, hvor det nok var noget kaotisk for hospitalerne, men fra tirsdag middag havde vi styr på det. Der var perioder, hvor det opstod igen, men vi havde sat det til at give en alarm til den driftsansvarlige, som kunne nulstille serveren,« fortæller Niels Henrik Pedersen.

Han påpeger samtidig, at efter konfigurationsændringerne har man opnået den forbedring på 10 til 20 procent i svartiderne.

Region Midtjylland har to primære datacentre på hospitalerne i Skejby og Holstebro, som kan tage over for hinanden, hvis det ene skulle gå ned. Samtidig har regionen også en opslagsudgave af EPJ-systemet, som det kliniske personale kan slå journaldata op i, hvis EPJ-systemet er nede, men de kan ikke skrive nye data til det.

Forud for opdateringen havde Region Midtjylland kørt omfattende test og blandt andet også lavet en skaleringstest med mange millioner logins, men havde ikke set nogen problemer.

»Selv med testudstyr, så er der ting i virkeligheden, vi ikke kan ramme,« siger Niels Henrik Pedersen.

Opdateringen af Java og Websphere skete blandt andet, fordi der i dokumentationen stod, at den nye version kunne løse nogle potentielle problemer for det system, Region Midtjylland kørte.

Systemet har fungeret, efter it-afdelingen ændrede flere parametre ved systemet, og efter de ændringer er det ikke længere muligt at genskabe fejlen.

»Vi har nu meldt fejlen til IBM og bedt dem om at give os en rettelse,« siger Niels Henrik Pedersen.

Driftsproblemerne betyder også, at der bliver ændret på testparametrene, inden regionens EPJ-system bliver opdateret næste gang.

»Nu har vi haft lidt småtravlt, men når der falder ro på, så skal vi have en fælles evaluering og se på, hvad vi kan gøre bedre. Det er der speciel grund til denne gang. Man kunne for eksempel forestille sig, at langsomme klienter kan bygges ind i fremtidige testscenarier,« siger Niels Henrik Pedersen.

Ligesom de fleste andre danske regioner er Region Midtjylland i færd med at konsolidere EPJ-systemerne på ét fælles system. Lige nu mangler regionen kun systemet på Viborg Sygehus, som har været gemt til sidst, fordi sygehuset havde et gammelt, men velfungerende system. Planen er at flytte Viborg Sygehus over på Midt-EPJ til juni.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (10)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Morten Grouleff

Region Midtjylland havde dog seks instanser af serverne kørende, så fejlen opstod kun for dem, der var så uheldige, at de forsøgte at logge på en server, som var blokeret af en langsom klient.

Det lyder ikke rigtigt. Der skal gøres noget usædvanligt før en klient kan forhindre andre klienter i at komme igennem login.

Nogen, der ved noget mere om hvad, der var galt?

  • 1
  • 0
Lars Balker

Mon ikke der er tale om den klassiske med N backendservere der kommunikerer direkte med og bliver monopoliseret af N sløve klienter. Så teknisk set kan man sige at en server med under N optagne backends er "ledig".

For HTTP ville man sørge for at have en proxy med (markant) flere workere end de dyre backends til at håndtere kommunikationen med langsomme klienter, så backends kan komme videre til næste request.

  • 0
  • 0
Morten Fordsmand

»Vi opgraderede tre ting samtidig: Vores EPJ kom i en ny version. Vi installerede noget kraftigere hardware i datacenteret på Regionshospitalet i Viborg. Og vi opdaterede både til en ny Websphere på serverne og en ny Java på klienterne,« fortæller områdeleder for EPJ-produkter i it-afdelingen, Niels Henrik Pedersen, fra Region Midtjylland til Version2.

1) hardware
2) EPJ-system
3) Webspere
?) Clientside Java

Der er vist brug for et kinderæg

  • 2
  • 0
Anne Charlotte Abildgaard

Sjovt som i alt fire timer fordelt over fem døgn med forlængede log-in-tider (maximalt 4 minutter) for grupper af ansatte kan bliver til 'Stort EPJ-nedbrud'. Systemet har på intet tidspunkt været nedbrudt ... Typisk journalister - de skal bare have folk til at klikke på overskrifter for enhver pris - men hvem og hvordan gavner det i samfundet?

  • 0
  • 0
Morten Schulze

Jeg ved fra en ansat på Skejby Sygehus, at det bestemt føltes som et nedbrud. Når man har omkring 20 minutter pr. patient på en travl afdeling, så betyder 4 minutters ventetid en del, når man skal logge ind på den enkelte patients journal. Det er i øvrigt blevet anslået, at det har kostet regionen omkring 10 millioner i spildt arbejdstid (http://www.dr.dk/P4/Aarhus/Nyheder/Aarhus/2013/02/08/112634.htm), og det er da også en slags penge.

  • 0
  • 0
Anne Charlotte Abildgaard

Har man så modregnet gevinsten ved øget performance efter opgradering, og de tværgående processer mellem hospitaler, der kommer patienter til gode? Regnestykker er aldrig udtryk for nogen som helst sandhed - blot en anden måde at fremstille et subjektivt synspunkt. Når vi åbner det nye Skejby megahospital har vi et færdigkonsolideret EPJ-system på forhånd - mon ikke også, man kunne konstruere et regnestykke, der viser gevinsterne ved dette?

  • 0
  • 0
Henrik Rathje

end fejl i server softwaren.. ikke at det ikke kan ske, men en "langsom" klient må ALDRIG "blokere" for andre.. det giver ikke mening, hvis det altså virkelig var det problemet var..
hvis det er, så skal arkitekten have bank, eller nok snarere styregruppen i projektet.

for os teknikere ville en mere uddybende analyse være interessant. Især når man til dagligt bygger/vedligeholder systemer med 2000+ simultane klienter/logins uden problemer... it can be done! ;-)

  • 0
  • 0
Log ind eller Opret konto for at kommentere