Efter flere uheldige episoder: Den danske vandsektor vil forebygge hacks med nyt samarbejde

Illustration: fietzfotos | Pixabay
Et jysk vandværk fik slettet 50 tera-byte data på mindre end et minut, og brugte to måneder og et tocifret millionbeløb på at vende tilbage til hverdagen. Det er et af mange eksempler på den stigende cybertrussel, som et nyt samarbejde nu vil begrænse betydeligt.

Det er sket for vandværker i Sønderjylland, i Vestjylland og to andre steder. Det er sågar sket for Danske Vandværkers egen hjemmeside. Og det er blot de kendte eksempler.

Hackerangreb bliver stadig mere almindelige for små og mellemstore virksomheder, herunder vandværker, og konsekvenserne kan være store: Et af angrebene kostede et tocifret millionbeløb, og der er også en sundhedsmæssig risiko – om end man næppe risikerer forgiftning af vandet, som hackere har forsøgt i bl.a. USA.

»I værste fald kan det betyde, at det drikkevand, der ledes ud til forbrugerne, indeholder uønskede stoffer som for eksempel jern, mangan eller er forurenet, hvis det kommer fra et vandværk, der har videregående vandbehandling,« påpeger Susan Münster, direktør i Danske Vandværker.

Danske Vandværker er en af parterne bag et pilotprojekt for 15 vandværker om it-sikkerhed, der er støttet af Industriens Fond – og organisationen er med til at afholde et event om ’Samarbejdende Cybersikkerhed’ for små og mellemstore virksomheder (SMV’er).

»Som i mange andre SMV’er har fagfolkene på vandværkerne og deres bestyrelser typisk ingen interesse for it-sikkerhed. Med dette samarbejde får de mulighed for trygt at fokusere på deres vand-ekspertise,« siger Michael Lentge Andersen, partner i it-sikkerhedsfirmaet Derant.

Susan Münster supplerer:

»Det kan være svært for det enkelte vandværk at have ressourcerne til at sikre sig mod hackere, men på denne måde bliver det overkommeligt, fordi vi laver en løsning på brancheniveau.«

Uden it-system i næsten to måneder

Hacker-angrebet i Sønderjylland var værst. 10. december 2020 ringede IT-chefen hjemmefra til sine kolleger på Tønder Forsyning og bad dem om at hive alle stik til servere og pc’er ud. Forsyningen havde fået en såkaldt Mouse-locker, der i et zeroday attack slettede 50 tera-byte data på mindre end ét minut.

Hackerne der opererede fra IP-adresser i Litauen, Schweiz og Frankrig, var kommet ind gennem telefonomstillingssystemet og derfra over på terminalservere. De krævede løsesum i bitcoins. Det betalte forsyningen ikke – dermed fulgte man sikkerhedseksperternes råd, for en betaling følges som regel op af nye krav.

Prisen var dog, at man var uden it-system i næsten to måneder, både det administrative og SRO-anlæggene. Forbrugerne kunne ikke få oplysninger om f.eks. deres forbrug, og alt måtte køres manuelt.

Mange hackere går efter mindre virksomheder

Cyberangrebet har kostet Tønder Forsyning et tocifret millionbeløb. Forsikringen har betalt en del af det.

»Men forsikringen forsikrer jo ikke mod selve angrebet, og dets betydning for forbrugernes tillid til forsyningen. Desuden bliver disse forsikringer dyrere, efterhånden som cybertruslen stiger,« siger Susan Münster.

Hun tilføjer, at hun blandt nogle af Danske Vandværkers 2.000 små og mellemstore medlemmer ofte oplever en tro på – eller et håb om - at hackere stort set altid vil gå efter større vandværker.

»Men her er erfaringen altså, at nogle hackere tænker, at de store har mere styr på it-sikkerheden – og netop derfor går efter de mindre.«

Den opfattelse bekræftes af Michael Lentge Andersen fra Derant og adm. dir. Jakob Brandt fra SMVdanmark – hovederhvervsorganisationen for de små og mellemstore virksomheder.

»Hackerne går også efter de mindre, både fordi det kan være lettere at trænge igennem deres it-systemer, og fordi de mindre nogle gange er underleverandører og på den måde kan have en direkte it-adgang via leverandørsystemer til større og mere interessante firmaer,« siger Jakob Brandt.

Server kunne tilgås fra Kina

Eksemplet fra Vestjylland stammer fra Oxby & Ho vandværk, hvor hackere var på vej ind i systemerne, men ikke nåede så langt med deres virus. Det har dog kostet over 100.000 kroner at få fjernet truslen, og ført til flere ændringer i proceduren, bl.a. adskillelse af privat- og arbejdscomputer, samt større fokus på it-sikkerhed i bestyrelsen.

»Vi gør meget for at gøre vandværkernes bestyrelser opmærksomme på, at de er nødt til at tage it-sikkerhed meget alvorligt. Det går ikke længere at tænke at andre nok tager sig af det med it-sikkerhed,« siger Susan Münster.

Et tredje eksempel på svigt i sikkerheden var, da en af deltagerne i pilotprojektet om ’Samarbejdende Cybersikkerhed’ oplevede, at nogle koder var forkerte efter en opdatering.

»Efter et skift i DNS Firewall kunne serveren pludselig også tilgås fra et sted til Kina. Det er et ret typisk eksempel. Man køber ny firewall, og tror så, at man kan spare abonnementet på automatisk opdatering. Det kan man ikke,« understreger Susan Münster.

Samarbejde over individuelle aftaler

Og hendes egen organisation er altså også blevet udsat for angreb. Det var i marts i år, hvor nogle hackere fik lagt hjemmesiden danskevv.dk ned, fordi nogle porte ikke var blevet opdateret.

»Hjemmesiden er en daglig vidensbank, både for os og vores medlemmer. Der er mange, der går ind og tjekker, hvad man f.eks. skal gøre, hvis man får et ledningsbrud eller en forurening. Det tog os mere end to uger – og kostede godt 150.000 kroner - at få hjemmesiden op og køre optimalt igen,« fortæller Susan Münster, som gerne så, at der generelt kommer større åbenhed omkring hacking:

»Det er vigtigt, at vi taler om det her, for når vi deler vores erfaringer, bliver vi også klogere.«

I forbindelse med angrebet på hjemmesiden var den vigtigste læring, at Danske Vandværker ikke fik, hvad man troede hos en af sine it-samarbejdspartnere.

»Det er vigtigt, at man er helt skarp på, hvad man har købt med af service i et it-samarbejde. Og det er endnu en grund til, at en brancheløsning, som vi har været med til at udarbejde og kvalitetssikre, ofte vil være bedre end individuelle aftaler.«

Denne artikel er først bragt på Ingeniørens Nichemedie Watertech

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (22)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Per Jørgensen

Det undrer mig gevaldigt at der overhovedet er adgang til systemerne udefra -eftersom vand/strøm/varme er så omfattende infrastruktur. Hvordan kan telefon systemet have så meget fat i kritiske servere/systemer.

Syntes det er skræmmende så omtankeløst nogle netværksopsætninger er i konkrete tilfælde. Har prøvet at komme til et større firma og skulle indtaste info til routeren for at logge på - med default password somn kodeord til deres router. Syntes det er skræmmende så tankeløst nogle er omkring deres infrastruktur

  • 21
  • 0
#2 Christian Nobel

Det kunne være rart hvis et fagmedie som V2 var lidt mere uddybende på det rent tekniske plan.

Hvordan kunne det lade sig gøre at komme gennem telefonomstillingssystemet?

Herudover så undrer jeg mig lidt over hvordan det har kunnet koste et tocifret millionbeløb, da vi i så fald taler om minumum et kvart års samlet omsætning - og kunderne har vel stadigvæk betalt for det vand de har fået?

Et tredje eksempel på svigt i sikkerheden var, da en af deltagerne i pilotprojektet om ’Samarbejdende Cybersikkerhed’ oplevede, at nogle koder var forkerte efter en opdatering.

"Nogle koder" - helt ærligt, kan man ikke gøre det bedre?

nogle hackere fik lagt hjemmesiden danskevv.dk ned, fordi nogle porte ikke var blevet opdateret.

"Nogle porte" ..........

Så lidt teknik - tak.

Herudover enig med Per, afskærm dog for pokker SRO anlæg fra internettet.

  • 27
  • 0
#3 René Pagh

Lige præcis her var der en unik mulighed for at virkelig gå i dybden med en god gennemarbejdet teknisk forklaring men i stedet er der meget volapyk som også nævnes ovenfor.

»Efter et skift i DNS Firewall kunne serveren pludselig også tilgås fra et sted til Kina. Det er et ret typisk eksempel. Man køber ny firewall, og tror så, at man kan spare abonnementet på automatisk opdatering. Det kan man ikke,«

Det giver ikke mening for mig...

  • 28
  • 0
#9 Michael Cederberg

... siger de fleste. Og så sker det. Herefter dukker der en flok mennesker op og siger at hvis bare de havde skiftet OS ud med noget andet. Købt en bedre firewall, betalt abbonnement til de rigtige, etc. etc. etc. så ville det ikke være sket.

Men faktum er at vores verden er skrøbelig. Vi har bygget en verden hvor hack af en enkelt computer i mange tilfælde lukker op til hele skatkammeret af IT systemer. Løsningen er ikke enten at købe X, skifte til Y operativsystem, betale for antivirus, etc. etc.

Løsningen er at bygge et IT landskab der ikke er skrøbeligt. Første skridt er at lave et IT landskab der er robust. Et landskab der kan tåle meget mere og som ikke falder sammen ved et day zero angreb. Et landskab hvor angreb på en server ikke spreder sig.

Endnu bedre ville det være at lave et IT landskab der er anti-skrøbeligt (Antifragile). Et IT landskab der bliver mere sikkert jo mere det bliver angrebet. Et IT landskab hvor hackere i Putin-land gør os en tjenste fordi de lærer os at hvor hullerne er. Men også et IT landskab hvor omkostninger ved at blive ramt er begrænsede.

Kun på den måde er vi i stand til at håndtere det når det går rigtigt galt. Og det vil det gøre en dag. For på et tidspunkt vil vi stå i en krigssituation hvor muligheden for at lamme vores samfund med IT angreb vil blive udnyttet fra start. I sådan en situation vil den vestlige verdens høj-optimerede IT samfund vil være meget mere sårbare end det man ser i resten af verden og derfor vil det blive brugt imod os.

  • 10
  • 1
#10 Christian Nobel

Løsningen er at bygge et IT landskab der ikke er skrøbeligt. Første skridt er at lave et IT landskab der er robust.

Første skridt er at dele viden, så man ved hvad der er sket - og her fejler diverse "fagmedier" fælt.

Det nytter ikke noget at folk ikke fortæller åbent om hvad der er sket, og hvad der blev gjort, for på den måde får vi ingen brugbar viden om "fjenden".

Og cfcUs er ingen hjælp i det spil, nok nærmere det modsatte.

  • 14
  • 0
#11 René Nielsen

50 TB som slettes på et minut er vel bare tiden det tog at eksekverer slettekommandoen – når det først i sat i gang, kan den stå at ”hygge sig med det” i baggrunden.

Men selv hvis man skanner samtlige vandledninger på kort for Oxby & Ho vandværk, så kan er det næppe fylde mere end par TB.

Så hvad er det for data som er slettet?

Hvis det er forbrugsdata for hvert minut døgnet rundt / året siden tidernes morgen for samtlige kunder, burde de hackere sende en faktura for oprydning i værdiløse data.

Data skal opsamles med et formål og når det formål er opfyldt, så bør data slettes. Når en forbrugers årsopgørelse er betalt, hvorfor skulle der så være behov for at gemme et helt års forbrugsdata – med forbrug på minutniveau for hver forbruger?

Lad gå, at man gemmer aggregerede data således at man kan forudse peak-forbrug og den slags på bydel/vej, men at horde historiske data om forbrugere lang tid bagud – kan jeg ikke se noget anerkendelsesværdigt formål med.

  • 9
  • 0
#12 Povl H. Pedersen

Slette 50TB på 1 minut er trivielt. DEL data.fil tager ikke lang tid. eller rm -rf - Problemet er vel den manglende backup.

Kryptolocker tager ikke meget længere. Har selv lavet en i Python til testformål, som bruger ROT128 algoritmen på byterange 512-1023 i filerne. Der skal ikke læses og skrives mere end en enkelt sektor per fil, og så er de fleste ubrugelige.

Nogle ting i artiklen giver mening, andet ikke så meget- Men den med at omstillingsanlæg giver adgang til RDP giver god mening. Hvis admin interface til noget Cisco, Asterisk eller andet omstilling er tilgængeligt på Internet, så er det en computer på indersiden.

Jeg forstår så ikke hvordan man tror man kan lave en brancheløsning der virker til så mange forskellige vandværker.

IT Sikkerhed er ikke en løsning eller en boks, Det er arkitektur og procedurer.

Kravene vil selvfølgelig være ret trivielle. Alt produktion på sine egne netværk, gerne mikro-segmentering. Egress-filtering, dvs intet produktionsudstyr må kunne nå Internet. Undtagelse er gennem en proxy server med whitelistede navne/IP'er. Denne maskine må ikke kunne nås udefra. Data må gerne eksporteres til DMZ eller cloud (dashboards etc). Alt kontrol udefra gennem VPN med MFA, og enten App, eller en jumpserver der kan nå tingene. Kontormiljøet, hvis et sådant findes, må ikke have adgang til prod. Data skal eksporteres til dem. Evt adgang til jumphost, men som minimum MFA også indefra.

At implementere dette vil kræve en større mængde af timer, og noget indsigt. Hvilke "huller" skal der være mellem de enkelte maskiner i firewall ?

Køb en brancheboks og vær beskyttet er som at sælge en kappe der bekytter dig mod alverdens farer. Kejserens ny klæder.

Men man kan godt lave en branche "arkitektur", også uden specifikke produkter. Og lade det være op til den enkelte at få det implementeret med de lokal ressourcer der kan findes. For ting skal vedligeholdes.

  • 6
  • 0
#13 Michael Cederberg

Første skridt er at dele viden, så man ved hvad der er sket - og her fejler diverse "fagmedier" fælt.

Det er selvfølgeligt altid interessant men man skal bare passe på at man ikke forbereder sig på at kæmpe den sidste krig men i stedet på den kommende krig.

Det der er sket over de sidste år er at hackere har samlet flere day zero sårbarheder sammen og så angrebet med alle på en gang. Det samme synes diverse efterretningstjenester at have gjort i årevis.

Hvor det for få år siden ikke var specielt sandsynligt at mindre virksomheder blev angrebet med day zero angreb, så er det i day helt bestemt muligt og realistisk.

Derfor er det vigtigste man kan gøre at lave en hvad-nu-hvis analyse af hele sin infrastruktur:

  • Hvilke indgange er der gennem den ydre firewall? Hvordan kan de udnyttes? Hvordan opdager vi at der sker noget?
  • Hvad hvis en hjemme arbejdsstation kompromitteres? Hvordan opdager vi det?
  • Hvad sker der hvis den ydre firewall kompromitteres? Hvordan opdager vi det? Er det realistisk?
  • Hvad hvis vores wifi access points kompromitteres? Hvordan opdager vi det?
  • Hvad sker der hvis der kommer en mail med "skidt"? Hvordan spreder det sig?
  • Hvad sker der hvis en XXX server autoopdaterer og får noget skidt ind? Hvordan finder vi ud af det?
  • Hvad sker der hvis en udvikler downloader en "dårlig" komponent og putter den ind i application YYY? Hvordan opdager vi at serveren pludseligt laver noget "underligt"?
  • Hvad sker der hvis en sysadm får skidt på sin maskine? Hvordan kan det ske?
  • Etc. etc. etc.

Man kan selvfølgeligt komme ned i nogle meget dybe rabbit holes så man skal tænke sig om hvor langt man vil gå. Man skal også overveje omkostningerne. Men hvis vi tager Mærsk "hændelsen" så havde det været fornuftigt at spørge: Hvad sker der hvis en domain controller bliver ramt? Svar: Vi har mange domain controllers. Spørgsmål: Kan en domain controller påvirke de andre? Svar: Ja ...

Nogen gange er svare selvfølgeligt game over ... i de tilfælde skal man overveje yderligere sikkerhed.

  • 5
  • 0
#14 Klavs Klavsen

Et Zeroday attack er når man anvender en sårbarhed der IKKE er kendt i forvejen. Jeg tillader mig at tvivle på at det var tilfældet, og at det snarere var en kendt sårbarhed og manglende opdateringer?

Har journalisten bare taget "deres ord for det" - eller er der noget faktisk info bag den ?

  • 11
  • 0
#15 Povl H. Pedersen

Det der gælder om at er minimere sin eksponering, og segmentere sit udstyr, så spredning bliver sværere.

Og man skal huske på, at de fleste vandværker er ret små enheder, nogle drevet af frivillige pensionister blandt kunderne, som så får et login til en dims på Internet.

Det kan kun fixes ved at bruge eksterne ressourcer til det, for der er ingen kompetencer. Og en fælles løsning der skrives om er nok ikke det rigtige. Det kan være man kan lave et nogenlunde sikkert setup til de små der har noget SCADA udstyr på et enkelt vandværk.

Men der er så stadig nogle der skal passe firewall, sørge for at den patches, og udskiftes når ikke længere supporteret - Der skal være en god process omkring oprettelse og nedlæggelse af brugere, MFA etc.

Måske har sikkerhedsfirmaet Derant - Der ikke har styr på sikkerhed (Udløbet SSL certifikat) lavet en fin forretningsmodel hvor de gør dette mod betaling. Forhåbentlig modtager de også firewall log og analyserer på den. Men det er nok ikke med i aftalen, for det kræver løbende kræfter - Og de er kun 6 årsværk ansat. Patch er lettere. Det trigges af en ekstern kilde ca. hver 3. måned når det er værst.

  • 5
  • 0
#17 Michael Cederberg

Et Zeroday attack er når man anvender en sårbarhed der IKKE er kendt i forvejen.

Tjaa ... hvis det her er et generelt angreb og ikke et der går specifikt mod små danske vandværker så er et day zero angreb ganske sandsynligt. Set i lyset af at det er ransomware så lyder det ganske realistisk.

Nu arbejder jeg selv indenfor den process industri og vores systemer kan aflæses externt/kommunikere fra via VPN osv - hvis de vil have adgang - må de optrappe deres sikkerhed selv så det kan stå imod.

Hvad sker der hvis nogen hacker den computer der har VPN clienten? Kan man så snuppe credentials og på den måde sidde i ro og fred og surfe rundt på jeres systemer? Holder I øje med at ingen gør det? Etc. etc. etc.

Ellers må de jo betale prisen for når det går galt - for det sker netop ikke for os.

Famous ... last ... words ...

  • 2
  • 0
#18 Per Jørgensen

Tja de kan da forsøge, men kommer ikke så langt derfra . En ting er selve VPN - som er med multifaktor - ligesom login på instrumenter er samlet løsning med multifaktor. Så selvom de hacker deres PC mangler de deres TLF - OK - det kan jo også ske. :-)

Og jo der er overvågning alarmer mm - men er det bygget godt op fra starten på flere niveauer - er det faktisk ikke så svært at lave et overskueligt sikkert system som aktiv melder alarm hvis der sker noget. Der er rigtig mange muligheder for at sikre sine data.

Hvad der undrer mig er de større hosting selvskaber der slår sig meget på sikkerhed - ikke engang aktiverer port isolation - således det måske ikke kan sporede sig med lynets hast.

  • 0
  • 0
#19 Rasmus Have

Det der gælder om at er minimere sin eksponering, og segmentere sit udstyr, så spredning bliver sværere.

Og man skal huske på, at de fleste vandværker er ret små enheder, nogle drevet af frivillige pensionister blandt kunderne, som så får et login til en dims på Internet.

Det kan kun fixes ved at bruge eksterne ressourcer til det, for der er ingen kompetencer. Og en fælles løsning der skrives om er nok ikke det rigtige. Det kan være man kan lave et nogenlunde sikkert setup til de små der har noget SCADA udstyr på et enkelt vandværk.

Men der er så stadig nogle der skal passe firewall, sørge for at den patches, og udskiftes når ikke længere supporteret - Der skal være en god process omkring oprettelse og nedlæggelse af brugere, MFA etc.

Jeg er meget enig.

Nogle af de første ting vi har gjort opmærksom på i dette projekt er segmentering og at vandværkerne skal have ekstern support til deres infrastruktur. Vi har vejledt dem i at finde dette igennem deres SRO system leverandører og lokale IT leverandører. Udover patching og governance er der også mere basale dokumentationsudfordringer en del steder som der skal tages hånd om.

Udløbet SSL certifikat

Tak for headsup, certbot's autorenew er nu fikset.

Forhåbentlig modtager de også firewall log og analyserer på den.

Mht. firewall logs, så er netværksmonitorering en af vores virkemidler, idet det er en løsning der er nemmere at passe ind i et generisk scenarie.

Og omkring forretningsmodellen, så er organisationsstørrelsen bestemt en udfordring. Der er nok en grund til at sikkerhedsløsninger omkring detektion hovedsageligt er målrettet større virksomheder - men vi forsøger at levere noget der giver mening til segmentet.

  • 0
  • 0
#20 Ditlev Petersen
  • 0
  • 0
#21 Ulrik Suhr

Jeg har endnu ikke hørt argumentet for hony pots komme op. Bevares det er en gammel teknologi og brugen er ikke udbredt da det netop tager udgangspunkt i sikkerheden ikke er 100%. Ved godt at det ikke er et sikkerheds modul som giver sikkerhed som firewall's ect. men det giver en early warning at noget er galt. Selv når der INTET burde være galt.

Jeg har ikke snakket med en eneste sikkerheds "ekspert" som kan forklare mig hvordan man beskytter sig mod en honypot som angriber? Eneste mulighed er interne angrab.

hvis man opdager en der snuser rundt på netværket kunne man lukke eksternt ned og gennemsøge hvor hullet opstår, istedet for at vente til 50TB er slettet.

Mange af vores nuværrende emil spam filtre fungere på samme måde, men ingen forstår værdien af dette.

  • 0
  • 0
#22 Mette Nikander

Vi kan diskutere kompetencer, ressourcer, ekstern og intern know how og agilitet. Projektet er fint, men jeg håber at der for SMV'er indses, at der skal bredtfavnende og flere diversisteter af fagfolk til løbende at passe og forstå sikkerhed, alarmer, tegn på angreb eller brud osv. Er uheldet ude, krve stor koordinering og er det også meget væsentligt, at der kan reageres korrekt og hurtigt, så skadesomfanget kan inddæmmes ASAP. SMV'er har brug for kontinuerlig hjælp. Går de sammen kan det løses for rimelige penge, men der skal være ret meget ressourcetilgængelighed bag ved og det er langt fra alle udbydere i markedet, der kan tilbyde og garantere det. Det er godt at der er taget spadestik, men "vi skal længere ind";-)..og staten bør spytte i kassen.

  • 0
  • 0
Log ind eller Opret konto for at kommentere