Dette indlæg er alene udtryk for skribentens egen holdning.

Internet som kritisk infrastruktur

12. maj 2020 kl. 16:1835
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Peter Nørregaard spurgte forleden, om teleselskaberne har forstået vigtigheden af forsyningssikkerhed i en Corona-tid.

Jeg vil undlade at gå ind i den konkrete case, han nævner, da den omhandler en af vores konkurrenter, og vi ikke har det fulde billede af situationen, men jeg vil til gengæld fortælle, hvordan vi hos Kviknet har håndteret situationen indtil nu.

Krisens første fase

Jeg indførte for mange år siden en politik om, at vores medarbejdere ved optræk til sygdom skulle tage en hjemmearbejdsdag i stedet for at møde ind på kontoret og smitte kollegerne.

Det har fungeret ret godt, og vores sygefravær er generelt lavt - men i starten af marts var truslen fra coronavirus blevet så alvorlig, at der skulle mere til. En enkelt smittet medarbejder ville kunne lægge hele vores kundeservice ned, og det måtte ikke ske.

Artiklen fortsætter efter annoncen

Den 10. marts sendte vi derfor halvdelen af vores kundeservice hjem for at arbejde remote. Næste dag var det hele vores kundeservice, der arbejdede hjemmefra, og om aftenen gjorde Mette Frederiksen nedlukningen af Danmark til en realitet.

Samme aften varslede vi obligatorisk overarbejde for samtlige medarbejdere resten af måneden: Fra at have været et vigtigt, men ikke livsnødvendigt gode at have internet, stod vi nu i en situation, hvor hver eneste forbindelse, vi kunne holde online, ville bidrage til at holde folk hjemme og dermed redde liv.

Belastningen på vores netværk steg øjeblikkelig med noget, der ligner 20 - 30 % ved peak. Vi måtte i al hast fremskynde leveringen af mere kapacitet på coax-nettet, og samtidig gik det øgede load ud over vores redundans.

Natten efter stod jeg derfor i et datacenter vest for København og installerede servere, der skulle fungere som backup, hvis noget holdt op med at virke.

Artiklen fortsætter efter annoncen

Missionen lykkedes: Vi kom gennem krisens første hektiske tid uden nedbrud, og status er lige nu, at Danmark som helhed har oplevet væsentligt færre dødsfald end de fleste af vores europæiske naboer. Bevares, nogle taler om, at de sparede liv er på lånt tid, men det er alle liv vel egentlig, når det kommer til stykket.

Samarbejdet med vores underleverandører har også fungeret godt. Hele vejen rundt har der været vilje til at løse de problemer, der måtte opstå, og selv vores kunder har været venlige og forstående.

Vi måtte desværre aflyse en række teknikerbesøg, der var "nice to have" og ikke "need to have", men de fleste har heldigvis vist forståelse for, at man fra TDC's side i en periode måtte sikre sig, at hele staben ikke blev lagt ned af sygdom.

Vores kundeservice har nu arbejdet remote i to måneder, og det er efterhånden blevet en ny normaltilstand - hvor vi alle sammen er mere afhængige af vores internet end nogensinde før.

Om serviceaftaler og værdien af det papir, de er skrevet på

En service level agreement på en internetforbindelse, også kaldet SLA, er et løfte om, at man vil påbegynde fejlretning inden for et defineret tidsrum.

Og det er lige præcis det, det er: Et løfte.

Det er umuligt at garantere, hvor hurtigt et problem er løst - det afhænger af alle mulige faktorer, herunder problemets karakter, hvornår problemet opdages og hvilke ressourcer, der på det givne tidspunkt kan smides efter at løse problemet.

Et klassisk problem med internetforbindelser er graveskader - hvis en fiber, der ligger under asfalten i et trafikeret lyskryds, rammes af en styret underboringsmaskine, kan det tage adskillige timer, før fiberen er repareret, uanset hvor mange SLA'er, der måtte være tilkøbt.

Hvis ens levebrød afhænger af, at man har adgang til en internetforbindelse, bør man spørge sig selv, hvor meget et løfte til 50 kr. pr. måned er værd. Hvad vil man gøre, hvis leverandøren ikke leverer?

Det er muligt, man har krav på at få sine 50 kr. igen - men hvad hjælper det, hvis man misser en jobsamtale, mister en kunde, eller må gå glip af arbejde for adskillige tusinde kroner?

Når alt kommer til alt, er det op til den enkelte bredbåndskunde at sikre sig bedst muligt. Man kan købe sig fattig i SLA'er og dyre erhvervsprodukter, men beskyttelsen er ofte illusorisk, og det koster en brøkdel at sikre sig ordentligt, hvis man tager ansvar for det selv.

Gør-det-selv-redundans

Hvis man skal holde sin hjemmearbejdsplads i luften, skal man have to internetforbindelser - helst fra forskellige leverandører og via forskellige medier.

Den primære forbindelse kan være fiber, coax eller DSL med et dataabonnement på en mobiltelefon som backup. Hos de fleste mobilselskaber kan man tilkøbe billige datapakker, som burde kunne hjælpe en igennem en enkelt dag eller to uden internet.

Hvis mobildækningen er dårlig, kan man overveje, om det er godt nok at have en DSL som backup til en coax eller fiber - ofte vil hastigheden være noget lavere, og en DSL er oftest dyrere end et mobilabonnement, men man skal veje det op mod risikoen for at stå uden internet i en periode.

Hvis man har servere, som skal kunne nås udefra, findes der to løsninger: Den billige og den dyre.

Den billige løsning består i at have to separate internetforbindelser med hver sin offentlige IP-adresse til. Indgående forbindelser styres vha. DNS - i tilfælde af et nedbrud ændres DNS-record til at pege på backup-forbindelsens offentlige IP-adresse.

Det kan enten gøres manuelt eller automatisk vha. DynDNS eller lignende - husk at sætte en lav TTL (Time to live) på de enkelte DNS-records.

Den billige løsning kan bruges, hvis man fx er en mindre virksomhed, der har nogle servere, der skal kunne nås udefra via VPN. Den bedste sikring opnås, hvis begge forbindelser er af nogenlunde hæderlig kvalitet - fx kan man nå langt med en 100/100 Mbit/s fiber som primær forbindelse og en 150/50 Mbit/s VDSL med pair bonding som backup.

Den dyre løsning består i at have redundant fremført fiber fra forskellige leverandører - og en BGP-router med et sæt offentlige IP-adresser og eget AS-nummer.

Det er den løsning, professionelle hostingfirmaer bruger, men den kræver en del at sætte op:

  • BGP-router (den skrabede udgave kan være en Mikrotik-router med en default route fra hver upstream ISP)
  • Medlemskab af RIPE (pris ca. 8.000 kr. pr. år)
  • Et /24 IPv4-scope (256 IP-adresser til ca. 200 kr. pr. stk)
  • Objekter i RIPE-databasen
  • RPKI
  • En medarbejder, der kan konfigurere og fejlfinde på opsætningen

Dertil kommer, at internetforbindelser, hvor man kan anvende sit eget AS-nummer og egne IP-adresser, typisk er væsentligt dyrere end almindelige erhvervsforbindelser.

Hvis man vil noget seriøst med sin hosting, skal man også have separate fysiske lokationer, nødstrøm, separate BGP-routere etc.

Om internet og drikkevand

Peter Nørregaard efterlyser, at internetudbydere tager leverancen af internet lige så seriøst som vandværkernes leverance af drikkevand.

Jeg forstår ønsket, men jeg er nødt til at påpege, at der er meget hård konkurrence på bredbåndsmarkedet - blandt andet drevet af udbydere som Kviknet, der kører et lean setup uden alt for mange fordyrende mellemled.

Modsat det lokale vandværk, der har monopol på sin ydelse, kan forbrugeren vælge os fra, hvis vores service bliver for ringe - eller hvis vi bliver for dyre.

Et sted mellem halvdelen og to tredjedele af omsætningen på en internetforbindelse går til netejeren, der ejer "last mile"-forbindelsen ud til forbrugeren.

Dertil kommer omkostninger til backhaul af trafik, serverdrift, peering og transit-forbindelser, kundeservice, bogholderi, betalingssystemer, finansiering, compliance og alle de andre ting, som hører med til det at drive en virksomhed.

Vi kunne godt levere døgnservice til samtlige kunder, hvis de ville betale 100 kr. mere pr. måned - men jeg kan konstatere på vores salgstal, at den gennemsnitlige bredbåndskunde foretrækker den balance mellem service og pris, vi har fundet.

Og kunden har jo, som bekendt, altid ret.

35 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
35
15. maj 2020 kl. 11:17

Det må den så også være i Valby/Vigerslev.

Elforsynings kvalitet er et meget lokalt fænomen, det handler virkelig om de individuelle kabler og transformatorer.

Man kan få et indtryk af udfordringen her:

https://energinet.dk/Anlaeg-og-projekter/Projektliste/KBH01

Bemærk specielt "hullet" på vestegnen hvor der mangler tværforbindelser.

Jeg er sikker på at Energinet.DK ville elske at grave et kabel ned mellem f.eks Brøndbygård og Ejbygård, men overslagsprisen for den slags er "en million per kilometer - eller mere", fordi højspændingskabler ikke bare kan kastes ned under fortorvsfliserne og specielt fordi de kræver stor bøjningsradius.

34
15. maj 2020 kl. 08:43

Så hernede ved Sønderborg må strømmen være relativ stabil.

Det må den så også være i Valby/Vigerslev.

Jeg har haft en AD DC kørende på en NUC i hjemmet i 3-4 år efterhånden, og den har ikke haf én eneste uplanlagt genstart, som var forårsaget af et strømafbrud. Og der er ikke en UPS mellem NUC'en og stikkontakten.

Jeg har boet på samme adresse siden 2007, og bortset fra dengang (det er måske 5 år siden) hvor DONG gravede luftledningerne på vores private vej ned i jorden, så mindes jeg kun ét strømafbrud (bortset fra sprungne sikringer, men det kan jeg nok næppe bebrejde netleverandøren) — og ved nedgravningen var strømmen vist afbrudt i mindre end 5 minutter.

33
15. maj 2020 kl. 06:32

Desuden var den gennemsnitlige afbrudsvarighed pr. kunde (SAIDI) 21,9 minutter. Det svarer til en gennemsnitlig leveringssikkerhed for hele landet på 99,996%, hvilket er på samme høje niveau

Det er da meget godt.

Men når problemet åbenbart ligger omkring København, må resten af landet kører ret godt for at trække summen op på det niveau.

Jeg har set mine RPi'er (uden andet reserve strøm end hvad powersupplyen kan gemme) reboote en enkelt gang de sidste par år. Så hernede ved Sønderborg må strømmen være relativ stabil. Har ingen tider for hvor længe udfaldene har varet. Bare at det har været væk.

/Henning

32
14. maj 2020 kl. 23:25

Men utroligt at Danmark strømmæssigt er blevet sådan et uland at det er nødvendigt.

Nu kan man vist ikke konkludere alverden på baggrund af så få observationer.

Hvis man skal tage Dansk Energi rapport om Afbrudsstatistik for det danske elnet 2009-2018 for gode varer, så ser det ikke så galt ud:

Statistikken for 2018 viser, at den gennemsnitlige afbrudshyppighed pr. kunde (SAIFI) i 2018 var 0,48 afbrud pr. kunde. Desuden var den gennemsnitlige afbrudsvarighed pr. kunde (SAIDI) 21,9 minutter. Det svarer til en gennemsnitlig leveringssikkerhed for hele landet på 99,996%, hvilket er på samme høje niveau, som er set hele perioden, hvor der er ført statistik på ASAI-tal, 2009-2018.

31
14. maj 2020 kl. 23:05

Der er også et spørgsmål om det er etisk rigtigt og lovligt da det kan være et brud på netværksneutraliteten. Det kan være svært at genkende streaming hvis det foregår som https men vi kunne nemt give en anden prioritet til alt trafik fra en bestemt peer eller cache server. Så at trafik fra eksempelvis Netflix blev behandlet dårligere end andet trafik.

Meget relevant pointe. EUs forordning om foranstaltninger vedrørende adgang til det åbne internet giver faktisk nogle muligheder for "trafikstyring":

Udbydere af internetadgangstjenester skal behandle al trafik ens, [...]</p>
<p>Første afsnit er ikke til hinder for, at udbydere af internetadgangstjenester kan gennemføre rimelige trafikstyringsforanstaltninger. For at blive anset for at være rimelige skal sådanne foranstaltninger være gennemsigtige, ikkediskriminerende og forholdsmæssige og må ikke være baseret på kommercielle overvejelser, men på objektivt forskellige tekniske krav til tjenestekvalitet for bestemte kategorier af trafik. Sådanne foranstaltninger må ikke overvåge det konkrete indhold og må ikke opretholdes længere end nødvendigt.</p>
<p>Udbydere af internetadgangstjenester må ikke udføre trafikstyringsforanstaltninger, der er mere vidtgående end de foranstaltninger, der er fastsat i andet afsnit, [...] undtagen i nødvendigt omfang og kun så længe, det er nødvendigt, for at:</p>
<p>a) overholde EU-retsakter eller national lovgivning [...]</p>
<p>b) opretholde integriteten og sikkerheden i nettet af de tjenester, der udbydes via det pågældende net, og af slutbrugernes terminaludstyr</p>
<p>c) forebygge truende overbelastning af nettet og afbøde virkningerne af ekstraordinære eller midlertidige overbelastninger af nettet, forudsat at ækvivalente kategorier af trafik behandles ens.

Så ift. overbelastning kan det godt lade sig gøre inden for lovens rammer, hvis man vel og mærke har det rette udstyr som kan behandle "ækvivalente kategorier af trafik" ens. Så man kan ikke bare begrænse/klippe forbindelsen til f.eks. Netflix, men f.eks. fq_codel vil være tilladt, dog lyder det på Yoel ikke til at være særlig godt understøttet.

30
14. maj 2020 kl. 22:05

En anekdote er at Globalconnect for en del år siden efter sigende havde 18 uplanlagte generatorstarter på et år ved deres datacenter i Tåstrup inden DONG indrømmede at det nok var tid til at udvide kapaciteten.

Vi er flyttet til Herlev i August 2019 efter mange år i Søborg - og vi har allerede haft 5 strømafbrydelser.

Efter de første 3 afbrydelser invisterede vi en ups så vi kunne lukke pænt ned - og den løsning har vi så allerede fået testet.

De første kun korte nok til blinke med lyset og reboote en server og så kom den store afrbyrdelse på 1/2 dag... (der fandt vi så ud af at naboen har en diesel generator til at drive butikken ... Utroligt hvis man som lille virksomhed selv skal til den slags). Men så længe der var strøm på ups'en holdt vi vores netværk med internetforbindelsen kørenden (fiber) da der stadig var lys i den anden ende af fiberen :-)

Men utroligt at Danmark strømmæssigt er blevet sådan et uland at det er nødvendigt.

Både strøm og internet er blevet vigtigere end at have vand i hanerne hele tiden

29
14. maj 2020 kl. 21:59

Internettet er selvfølgelig vigtigt, men lige så vigtigt er de services som udbydes på nettet. De mest populære operativsystemer kan dårligt nok fungere uden kontakt til servere, som i sidste ende er kontrolleret fra USA. Vi kan ikke ret meget på nettet uden Google, som også i sidste ende er kontrolleret fra USA. Nu er ZOOM blevet populært mange steder. Det er også kontrolleret udefra. Hvis man sammenligner med vand, så vil vi jo heller ikke acceptere hvis vandboringerne var kontrolleret udefra. Hvordan kommer vi igang med en udvikling af vores egen IT infrastruktur baseret på solide standarder?

28
14. maj 2020 kl. 15:56

Congestion er et problem - de fleste udbydere foretager ingen klassifikation af kundernes trafiktyper, og streaming har derfor samme prioritet som almindelige HTTP(S)-forespørgsler, DNS, ICMP m.v.

Der er også et spørgsmål om det er etisk rigtigt og lovligt da det kan være et brud på netværksneutraliteten. Det kan være svært at genkende streaming hvis det foregår som https men vi kunne nemt give en anden prioritet til alt trafik fra en bestemt peer eller cache server. Så at trafik fra eksempelvis Netflix blev behandlet dårligere end andet trafik.

Der er mig bekendt ingen tradition for at det er noget der foregår på vores side af Atlanten, men i USA er de berygtede for det. Så kommer de store internetudbydere og forlanger ekstra penge fra streaming tjenesterne, for det ville være ærgerligt hvis vi blev nødt til at nedprioritere jeres trafik!

27
13. maj 2020 kl. 22:55

Man kunne vel også gå den helt anden vej og ringe til CIBICOM og få en didikeret trådløs forbindelse tilbage til en af CIBICOMs master? Det løser problematikken med flere fiberkabler i samme tracé.

Vi laver mange backup forbindelser trådløst (0 - > 1 Gbit/s), netop af den årsag at dobbelt fiber er rasende dyrt og det rent geografisk kan være endog meget svært ikke at ligge i en tracé med andre (f.eks. langs en vej). Der giver trådløs backup forbindelse rigtig godt mening, da vi ofte kan levere på over 4 km distance, de steder vi har udstyr, hvilket øger sikkerheden betragteligt, da man så også kommer ud over lokale strømafbrydelser. Vi kan f.eks. levere til stort set hele Aalborg og Esbjerg.

26
13. maj 2020 kl. 20:18

Men hvor stort et problem er "congestion" egentlig? Er netværkene bygget til at kunne håndtere det "fornuftigt" (QoS)? Vil i f.eks. kunne nedprioritere streaming, og undgå delay/pakketab for den resterende trafik? Hvis man kan det, så er "congestion" vel (næsten) lige meget, da de fleste streamingtjenester tilpasser sig båndbredden.

Congestion er et problem - de fleste udbydere foretager ingen klassifikation af kundernes trafiktyper, og streaming har derfor samme prioritet som almindelige HTTP(S)-forespørgsler, DNS, ICMP m.v.

Det er korrekt at streaming-protokollerne i sig selv "skruer ned" til en lavere båndbredde, hvis den vel at mærke er tilgængelig. Det ændrer dog ikke på, at congestion forårsager pakketab, især hvis der er små buffere på hver side af det congestede link. Store buffere vil give mindre pakketab, men resulterer i højere latency (også kendt som bufferbloat).

Der findes en algoritme, som løser en del af de problemer, der er forbundet med congestion - algoritmen hedder fq_codel og er bl.a. implementeret i Linux-kernen.

Konceptet i fq_codel er, at algoritmen skelner mellem små flows (DNS, ICMP, browsing etc.) og store flows (filoverførsler, streaming etc.). De små flows får forrang frem for de store flows, hvilket sikrer brugeren en god oplevelse, selv om trafikken skal gennem et congested link - hvis DNS-pakker bliver tabt eller sat i kø pga. congestion, vil resultatet være en forbindelse, der føles sløv og ustabil, mens de færreste brugere næppe bemærker, hvis en filoverførsel tager få sekunder længere.

Fq_codel er dog ikke slået igennem hos hardwareproducenterne, så i praksis er congestion et problem, man gerne vil undgå. Hovedreglen er derfor, at et link aldrig må belastes mere end 80 %, da man så vil begynde at få problemer pga. microbursts.

25
13. maj 2020 kl. 16:56

Hvilket leder over til det næste issue: Peak-forbruget steg også - og det er et udtryk for, at flere streamer TV samtidig om aftenen. Under normale forhold ville en eller anden procentdel af befolkningen lave noget andet end at se TV (fx gå i byen, spise ude, besøge venner og familie etc.) - men under nedlukningen var det ikke en option.

Hvis man fulgte lidt med i dagspressen, kunne man godt få den opfattelse at der var fare for at internetet gik ned, hvis det blev overbelastet.

Men hvor stort et problem er "congestion" egentlig? Er netværkene bygget til at kunne håndtere det "fornuftigt" (QoS)? Vil i f.eks. kunne nedprioritere streaming, og undgå delay/pakketab for den resterende trafik? Hvis man kan det, så er "congestion" vel (næsten) lige meget, da de fleste streamingtjenester tilpasser sig båndbredden.

24
13. maj 2020 kl. 16:38

DynDNS giver svjv. en række udfordringer, især hvis vi taler mailserver.

Til mail kan du bare have begge dine IP adresser registreret som MX. Så finder mailserverne selv ud af det.

DNS er ikke specielt godt til failover da mange ikke respekterer de TTL du sætter, specielt respekteres små TTL værdier ikke. Som følge heraf kan der være lang failover tid.

Hvis du vil køre din egen webserver, så kan du bruge Cloudflare eller tilsvarende som proxy. De kan monitere og lave instant failover ved fejl.

Tilsvarende kan VPN bruges. Du bliver så godt nok afhængig af din VPN udbyders stabilitet i stedet. Med det rigtige produkt kan de formodentlig levere langt større oppetid end de fleste kan skabe selv.

Til almindelig udgående trafik er NAT som regel godt nok. Du køber to uafhængige internet abonnementer og opstiller en NAT router med forbindelse til dem begge. Hvis en udbyder går ned, så kan det være at ssh og tilsvarende oplever en reset men ellers mærker du ikke noget til det.

23
13. maj 2020 kl. 16:33

Det jeg godt kunne savne, var en form for mekanisme hos f.eks. Gratisdns, hvor man forlods kunne konfigurere 2 IP adresser, og så en periode for hvor længe forbindelsen skulle være nede, før der blev skiftet - jeg søgte for nogle år siden, men jeg kunne dengang ikke finde nogen der havde den facilitet.

Der er flere services der understøtter den form for failover, bl.a. AWS's Route 53 og Cloudflares Load Balancing (det kan godt bruges uden at route alt trafikken igennem Cloudflare). Cloudflares Argo Tunnel service er også værd at nævne, der opretter man en reverse tunnel til Cloudflare, så det betyder ikke det store hvis ens IP ændre sig.

22
13. maj 2020 kl. 14:16

Det kan enten gøres manuelt eller automatisk vha. DynDNS eller lignende - husk at sætte en lav TTL (Time to live) på de enkelte DNS-records.

Den manuelle metode fordrer at man hele tiden monitorerer sine forbindelser, og hvis der så er et udfald, så skal man manuelt (det ligger ligesom i navnet) ind og ændre konfiguration hos DNS udbyderen, og tilbage igen når hovedforbindelsen er kommet op igen.

DynDNS giver svjv. en række udfordringer, især hvis vi taler mailserver.

Det jeg godt kunne savne, var en form for mekanisme hos f.eks. Gratisdns, hvor man forlods kunne konfigurere 2 IP adresser, og så en periode for hvor længe forbindelsen skulle være nede, før der blev skiftet - jeg søgte for nogle år siden, men jeg kunne dengang ikke finde nogen der havde den facilitet.

Noget bud?

21
13. maj 2020 kl. 13:32

Hvis vi ikke betragter den øjeblikkelige hjemmearbejdsplads situation som et forbigående fænomen, men som noget vi ønsker permanent, hvordan skal vi så designe vores netværk? Lige nu kører vi alle vel noget Remote Desktop over VPN og noget forskelligt Teams-ware - og det fungerer, sådan set meget godt, og sikkerheden er vel OK. Men hvordan designer vi et Corporate network, hvor antallet af DMZ zoner er lig antallet af medarbejdere? Hvor der ikke er forskel på tilgangen, om du sidder på domicilet, hjemmekontoret, eller i Kuala Lumpur?

Det er et spændende emne, der egentlig fortjener sin egen tråd - for der er ingen tvivl om, at det fra et sikkerhedsmæssigt perspektiv er en fordel at gå væk fra tanken om "perimeter-sikkerhed" og i stedet satse på "defence in depth" - og vi har jo sådan set allerede de byggesten, der skal til. VPN kan skaleres med open source løsninger, og separation af brugere på et LAN kan klares med private VLANs o.l.

20
13. maj 2020 kl. 13:17

Det kan lade sig gøre under de rigtige betingelser. Tag eksempelvis vores backbone der er udført således:

Fiberring mellem Interxion i Ballerup, GlobalConnect i Taastrup, telefoncentralen i Albertslund, telefoncentralen i Glostrup, telefoncentralen i Rødovre, telefoncentralen i Herlev og tilbage til Interxion i Ballerup.

Det er designet således at konsekvensen ved et enkelt fiberbrud kan betyde at vi mister et site, men resten af ringen vil være forbundet. Eksempelvis er det muligt at enten Interxion eller GC ryger af nettet, men vi kan ikke miste kontakt til begge datacentre.

Det kan vi garantere ved at vi med optisk udstyr har målt længderne på de enkelte fiberstrækninger. Man kan så ved at kigge på et kort lave bevis for at det er fysisk umuligt at et enkelt brud kan tage flere sites ned.

Da det er sort fiber vi lejer, så er der hellere ikke mulighed for at nogen "midlertidigt" lige omlægger vores fiber.

19
13. maj 2020 kl. 11:26

Men hvis du har betalt for at dine forbindelser ikke ligger i samme trace, så fik du i hvert fald tidligere besked, hvis de midlertidigt lå i samme kabel - samt om hvorlænge det var tilfældet..

Ja, det er teorien.

Men så er der en gang i mellem nogen der lige roder med noget og så kommer der en mand med en hundeslæde på tværs og ...

I gamle dage kunne man løse problemet ved at leje to fibre fra to forskellige leverandører, men idag hvor de alle er blevet "service providers" der lejer sig ind hos hinanden og hos de samme "infrastrukturvirksomheder" giver det ingen garanti.

18
13. maj 2020 kl. 11:22

Eller også er den øgede pris et udtryk for, at de bruger flere mandetimer på at vedligeholde et aldrende net. Med et gammelt nedslidt net, er der flere ting som går i stykker.

Joeh muligvis, men er det ikke også et udtryk for manglende rettidig omhu, da man har prioriteret det højere at kanalisere overskud over i Ørsted (eller hvad det nu er det lige hedder i dag).

Og modsat provinsen, så er det noget dyrere at grave op ved kabel rep i Kbh (og andre storbyer)

Omvendt, så kan man sammenligne med Konstant, som dels skal dække Århus by, men såsandelig også skal dække øer som Anholt, Samsø, Endelave mv.

Og trods det er Konstants priser væsentlig lavere end Radius' .... mon det har noget at gøre med at Konstant er forbrugerejet?

17
13. maj 2020 kl. 11:12

Hvilket fint forklarer hvorfor transportprisen hos Radius er væsentligt højere end i resten af landet - man kan da sandelig ikke forvente at når nettet er slidt ned samt det ikke vedligeholdes, at prisen så til gengæld skal være acceptabel.

Eller også er den øgede pris et udtryk for, at de bruger flere mandetimer på at vedligeholde et aldrende net. Med et gammelt nedslidt net, er der flere ting som går i stykker.

Og modsat provinsen, så er det noget dyrere at grave op ved kabel rep i Kbh (og andre storbyer)

Nu bor jeg i NVE's (undskyld Seas-NVE / et eller andet nyfanzy navn som nogen tjente penge på at opfinde) område, så ved ikke hvor mange luftledninger der stadig er i Dongs område. Kan dog huske at der var noget mere vedligeholdelses arbejde da vi havde dem her, hvilket også koster.

15
13. maj 2020 kl. 10:02

Fordi elnettet i Storkøbenhavn ikke er blevet tilstrækkeligt vedligeholdt / moderniseret / udvidet.

Hvilket fint forklarer hvorfor transportprisen hos Radius er væsentligt højere end i resten af landet - man kan da sandelig ikke forvente at når nettet er slidt ned samt det ikke vedligeholdes, at prisen så til gengæld skal være acceptabel.

Det går virkelig ikke, for så har vi jo ikke råd til de høje lønninger på direktionsgangen.

14
13. maj 2020 kl. 09:03

Der er vel snarere tale om en øgning i udnyttelsen af den tilgængelige båndbredde, mere end end stigning i det faktiske kapacitetsbehov...

Både og.

I løbet af dagen steg trafikmængderne - primært som følge af øget streaming i dagtimerne. Det medførte en øget udnyttelse af den ledige kapacitet, men var i de fleste sammenhænge ligegyldigt, da netværk er dimensioneret efter peak-kapacitet.

Hvilket leder over til det næste issue: Peak-forbruget steg også - og det er et udtryk for, at flere streamer TV samtidig om aftenen. Under normale forhold ville en eller anden procentdel af befolkningen lave noget andet end at se TV (fx gå i byen, spise ude, besøge venner og familie etc.) - men under nedlukningen var det ikke en option.

Så vi havde at gøre med en situation, hvor vores net i dagtimerne blev udnyttet bedre, mens der i aftentimerne var behov for øget kapacitet, så vi kunne opretholde vores redundans.

Sidstnævnte kan i øvrigt løses på mange måder - jo mere distribueret et setup, man har, jo mindre ledig redundanskapacitet har man generelt brug for. Hvis man har alle servere samlet i to datacentre, kan man max udnytte 50 % - men hvis man fx har tre datacentre, kan man udnytte 2/3 af sin kapacitet uden at miste redundans.

13
13. maj 2020 kl. 08:40

Hvilket kan lede over til at internetudbyderne i DK i det store hele har holdt tingene kørende tilfredsstillende selvom efterspørgslen steg kraftigt "over natten".

Der er vel snarere tale om en øgning i udnyttelsen af den tilgængelige båndbredde, mere end end stigning i det faktiske kapacitetsbehov...

Dermed har der været kapacitet til at dække behovet, men som Yoel skriver "og samtidig gik det øgede load ud over vores redundans.", så har man måttet skære ned på redundansen.

Mon ikke det er et billede der er ret generelt?

Jeg tror ikke at der er nogen internetudbydere der har arbejdet med et scenarie á la det vi har oplevet ifm. COVID-19.

12
13. maj 2020 kl. 07:20

Endelig kan man vel overveje, om ens data er ufølmsomt nok til, at man kan hoste det offsite. Måske hos to forskellige udbydere, der tilbyder samme infrastruktur som Eks kubernetes eller lign.

11
13. maj 2020 kl. 05:19

Hvis vi ikke betragter den øjeblikkelige hjemmearbejdsplads situation som et forbigående fænomen, men som noget vi ønsker permanent, hvordan skal vi så designe vores netværk? Lige nu kører vi alle vel noget Remote Desktop over VPN og noget forskelligt Teams-ware - og det fungerer, sådan set meget godt, og sikkerheden er vel OK. Men hvordan designer vi et Corporate network, hvor antallet af DMZ zoner er lig antallet af medarbejdere? Hvor der ikke er forskel på tilgangen, om du sidder på domicilet, hjemmekontoret, eller i Kuala Lumpur?

6
12. maj 2020 kl. 20:46

Apropos: Større strømafbrydelser ser ud til primært at være et københavnerfænomen. Vores kunder er spredt ud over hele landet - men når vi registrerer driftsforstyrrelser pga. strømafbrydelser, er det oftest i Storkøbenhavn. Hvad mon det skyldes?

< Jeg arbejder ved Telenor, men udtaler mig på egne vegne >

Fordi elnettet i Storkøbenhavn ikke er blevet tilstrækkeligt vedligeholdt / moderniseret / udvidet. Mit barndomshjem var i SAEFs forsyningsområde (Sydvestjyllands Andels El-Forsyning, idag del af SE) - her gravede de luftledningerne ned midt i halvfemserne, og jeg mener vi havde strøm under hele stormen i 1997. En forening af vestjyske bønder, der sikkert synes det var mere træls ikke at have strøm til malkemaskinen end at der kun var en kop kaffe og en ostemad til repræsentantskabsmøderne (i øvrigt i det beskedne domicil i byen Sig nordøst for Varde) . Er de blevet færdige med at grave luftledningerne ned i DONGs område?

En anekdote er at Globalconnect for en del år siden efter sigende havde 18 uplanlagte generatorstarter på et år ved deres datacenter i Tåstrup inden DONG indrømmede at det nok var tid til at udvide kapaciteten. På Telenors adresse i Aalborg er jeg ikke bekendt med at generatorerne har været startet for andet end test og vedligehold de sidste mange år.

Hvilket kan lede over til at internetudbyderne i DK i det store hele har holdt tingene kørende tilfredsstillende selvom efterspørgslen steg kraftigt "over natten". Det må jo tyde på en grad af robusthed i nettene trods en stram konkurrencetilstand. Jeg er sikker på at alle internetudbydere i DK har overvåget situationen nøje og gjort hvad der var muligt for at mitigere de problemer, der opstod i den situation. For Telenors vedkommende var et øget pres på mødetelefonen et af de steder, der måtte gøres noget i en fart - den service levede ellers et ret stille liv op til at der blev lukket.

Angående om telebranchen har forstået at den er kritisk infrastruktur, så har ihvertfald de større selskaber i branchen været i løbende dialog med myndighederne omkring Covid19 situationen. Og jeg er sikker på at de godt kendte hinanden i forvejen.

5
12. maj 2020 kl. 20:01

Der skal ikke meget til før at det giver mere mening at have redundansen i form af flere datacentre så langt fra hinanden at en brand / oversvømmelse / strømnedbrud / netværksnedbrud / menneskelige fejl eller andet kun vil ramme det ene center.

Apropos: Større strømafbrydelser ser ud til primært at være et københavnerfænomen. Vores kunder er spredt ud over hele landet - men når vi registrerer driftsforstyrrelser pga. strømafbrydelser, er det oftest i Storkøbenhavn. Hvad mon det skyldes?

4
12. maj 2020 kl. 19:14

Fiber fra to forskellige leverandører er IKKE garanteret ad adskilte veje.

Læg mærke til, at jeg skriver "redundant fremført fiber" - man skal selvfølgelig bede om at få dokumenteret fiberens tracé.

Køber du dine forbindelser hos den samme, kan du mod en klækkelig merpris få dem garanteret ad adskilte veje og til separate Points of Presence.

Til gengæld er du på spanden, når leverandørens netværk går ned pga. en fejl i deres IGP - og du står tilbage med en enkelt leverandør, der kan tage kvælertag på din forretning.

3
12. maj 2020 kl. 19:07

Der skal ikke meget til før at det giver mere mening at have redundansen i form af flere datacentre så langt fra hinanden at en brand / oversvømmelse / strømnedbrud / netværksnedbrud / menneskelige fejl eller andet kun vil ramme det ene center.

2
12. maj 2020 kl. 18:59

Den dyre løsning består i at have redundant fremført fiber fra forskellige leverandører - og en BGP-router med et sæt offentlige IP-adresser og eget AS-nummer.<br />

Fiber fra to forskellige leverandører er IKKE garanteret ad adskilte veje.

Køber du dine forbindelser hos den samme, kan du mod en klækkelig merpris få dem garanteret ad adskilte veje og til separate Points of Presence.

1
12. maj 2020 kl. 18:27

at høre at det hele spiller hos jer, uden de store ændringer, udover at kontoret nu er decentralt.

Eneste grund til at jeg ikke er skiftet endnu, er at jeg ikke synes jeg har nok brug for at opgradere til 100/100. Meeen det kommer 100% sikkert så snart i kan levere ipv6 via sofanet. - jeg har meldt mig som prøveklud.

/Henning