Når jeg kigger tilbage på 2020, er der, ud over coronavirus, en enkelt ting, der mere end noget andet har defineret året: Spidsbelastninger.
Da det meste af verden lukkede ned i marts, steg efterspørgslen på værnemidler, håndsprit, intensivpladser og sygeplejersker eksplosivt.
Stigningen var så voldsom og behovet så stort, at vi så de normale spilleregler på verdensmarkedet blive sat ud af kraft på en måde, som ellers kun hører krigstid og bananstater til - beslaglæggelse af medicinsk udstyr i transit, eksportforbud og grænselukninger blev normen fra den ene dag til den anden.
I dansk kontekst blev visse dele af erhvervslivet udstyret med carte-blanche til at købe ind på statens vegne - helt uden om udbudsrunder, konkurrenceregler og andre besværligheder.
Civilsamfundet trådte til - flere fabrikker omstillede produktionen med ekstremt kort varsel, og da det igen blev muligt at købe håndsprit, lugtede den i lang tid mistænkelig meget af sprinklervæske og vodka.
Da smittetrykket aftog hen over sommeren, flyttede spidsbelastningerne sig i stedet til det hjemlige feriemarked. Det var pludselig tæt på umuligt at opdrive et ledigt sommerhus, og mange øboere rundt omkring i sommerlandet måtte holde i kø for at komme med færgen hjem, da nogen i regeringen havde fået den geniale idé at hælde benzin på et i forvejen rødglødende marked ved at tilbyde gratis færgebilletter.
Hen over efteråret har spidsbelastningerne igen flyttet sig. Lange køer til coronatests, nedbrud på sundhed.dk og generel overbelastning af sundhedsvæsenet.
Spidsbelastninger hos Kviknet
Også i vores lille andedam hos Kviknet har året været præget af ekstrema. Efter nedlukningen i marts steg belastningen voldsomt - både i form af højere trafikforbrug og i form af flere henvendelser til vores kundeservice.
Hen over sommeren var det som om, vi fik et lille pusterum - men i slutningen af august fik vi nyheden om, at Konkurrencestyrelsen som en del af fusionen mellem SE og Eniig (som tilsammen blev til Norlys) havde stillet som krav, at alle kunder i Eniigs fibernet skulle opsiges og tvinges til at vælge en ny internetudbyder.
Vi kender ikke det præcise antal, men vi anslår, der er tale om et sted mellem 100.000 og 170.000 kunder - og 30. september sendte Norlys opsigelserne afsted til de pågældende kunder.
Lige siden har vores kundeservice stort set været lagt ned af nye kunder, der har spørgsmål til produktet eller har brug for hjælp - vores influx af nye kunder har i dele af efteråret været på mellem 5 og 10 gange det normale, og det er åbenlyst umuligt at opskalere organisationen i samme takt, hvis det også skal hænge kommercielt sammen, når bølgen er overstået.
En weekend i midten af december havde vi et nedbrud på en central switch i vores net, som desværre gav nogle timer med ustabilitet for en lang række kunder.
Det medførte en voldsom mængde henvendelser til vores kundeservice, og da en række kunder også lagde negative anmeldelser på Trustpilot, greb jeg chancen for at give vores folk noget arbejdsro, så vi kunne komme i bund med vores backlog.
Vi lukkede med øjeblikkelig virkning for indgående telefonopkald, og har haft lukket lige siden - til gengæld har vi lavet et fast track-system, så kunder, der er offline, kan fejlmelde deres forbindelse på vores website og komme forrest i køen - og blive ringet op, hvis der er behov for dette.
Lige nu går vi og overvejer, om det skal være en permanent løsning.
En indgående telefonkø er nemlig en ineffektiv måde at håndtere kundernes problemer på - vi kan ikke prioritere mellem ting, der haster, og ting, der godt kan vente til senere.
Desuden må vi bare konstatere, at den tid, supporteren bruger på at vente på routere, der genstarter, fiberbokse, der nulstilles, og kunder, der lige skal have fundet et kabel frem fra nederste rodekasse, er tid, der går til spilde. Det hænger ikke kommercielt sammen i et marked, hvor marginerne er små og forventningerne er høje.
Men udfordringen er at kommunikere dette til kunderne - for mange er et telefonnummer, man kan ringe til, en slags livline, der giver tryghed.
Vi skal derfor have forbedret vores website i nærmeste fremtid, så det bliver tydeligere for kunderne, at vi gerne ringer, hvis der er et reelt behov for det - og ideelt set skal vi kunne vise den aktuelle ventetid, så folk ved, hvornår de skal forvente at blive ringet op.
Shaping af nettet
Overvejelserne omkring vores fremtidige håndtering af kundeservice passer i øvrigt rigtig godt ind i det, vi i forvejen går og laver - i årets løb har vi nemlig skullet kigge rigtig meget på, hvordan man udglatter bursts i trafikken i vores netværk.
Årsagen er den store stigning i solgte 1.000 Mbit/s-forbindelser - det har nemlig vist sig, at størstedelen af de fibernet, vi er gået ind på i 2020, har udfordringer, når det kommer til at håndtere trafik til 1.000 Mbit/s-kunder.
Energiselskabernes fibernet er enten baseret på point-to-point-fiber (P2P) eller GPON.
P2P-fiber er, hvad det udgiver sig for at være: Den enkelte kunde har en fiber, som går fra fiberboksen i hjemmet til en dedikeret port i en switch i teknikhuset.
Switchen i teknikhuset er i virkeligheden en DSLAM fra Nokia, hvori der sidder et linjekort (NELT-B) med 36 stk. 1 Gbit/s-porte. Kortet er sat i UNI-mode, hvilket betyder, at de 36 porte deles om 2,5 Gbit/s backplane kapacitet.
Det er imidlertid ikke det største issue - problemet er, at den buffer, der er allokeret pr. port, kun er på 200 KB. Det er rigtig fint, hvis man sælger en 20 Mbit/s DSL, men hvis man sælger en 1.000 Mbit/s fiber, svarer bufferstørrelsen til den mængde trafik, linjen kan modtage på 1,7 millisekunder. Det er alt for lidt.
Der er nemlig en tommelfingerregel, der hedder, at bufferstørrelsen på en given TCP-forbindelse skal svare til latency mellem de to endpoints.
Det betyder i praksis, at hvis man har en forbindelse til en server, der står 10 millisekunder væk, skal man have en buffer på 10 millisekunder for at kunne udnytte den fulde båndbredde - og hvis man forbinder til en server, der står 100 millisekunder væk, skal bufferen være på 100 millisekunder.
Det er derfor, downloads fra USA altid foregår ved lavere hastighed end downloads fra servere, der står tæt på. Det er ikke fordi kapaciteten mangler, men fordi latency er høj.
Når et P2P-net kører med små buffers, vil enhver form for bursty trafik forårsage pakketab, og en TCP-forbindelse vil derfor skulle bruge en stor del af tiden på recovery - og have problemer med at udnytte hele båndbredden.
Løsningen på problemstillingen er, at vi shaper trafikken, inden den sendes ind i energiselskabets fibernet. Det gøres ved at vi skaber en flaskehals i vores net, hvor vi sikrer, at trafikken til en given kunde aldrig overstiger 1.000 Mbit/s - ikke engang kortvarigt.
Selv om det gør vores setup mere kompliceret, er det ikke uden fordele - det betyder faktisk, at vi kan implementere Active Queue Management og skabe en forbindelse af en teknisk højere kvalitet.
GPON er lidt en anden sag.
Et GPON-net svarer lidt til at tage et coax- eller WiFi-net og flytte det over på fiber. Typisk vil man på GPON have 32, 64 eller 128 kunder pr. port, som deler en samlet båndbredde på 2,5 Gbit/s downstream kapacitet og 1,25 Gbit/s upstream kapacitet.
Fordelen ved et GPON-net er, at man ikke behøver en dedikeret fiber fra det enkelte hjem til det nærmeste teknikhus - fiberen skal blot gå ud i en passiv splitterboks, der ligger ude i fortovet, og derved spares der store mængder fiber, når man bygger nettet.
Samtidig er det også billigere udstyr i teknikhuset - når mange kunder kan deles om den samme fysiske port, falder udgiften til det aktive udstyr.
Men det kræver ikke så megen hovedregning at indse, at GPON er sårbart over for storforbrugende kunder - når man deles om 1,25 Gbit/s upload-kapacitet, er der grænser for, hvor mange 1.000 Mbit/s hastighedstests, der kan udføres samtidig, især hvis der samtidig er nogen, der uploader store mængder backup-data, feriebilleder eller piratfilm.
En anden udfordring ved GPON er jitter. Da der er flere kunder, der deler samme fysiske GPON-port, deles de også samtidig om den buffer, der er til rådighed på porten.
Det betyder, at latency vil variere en smule i takt med, at bufferen fyldes og tømmes - bufferen er større end det vi ser i P2P-nettene, hvilket hjælper os, når kunderne laver hastighedstests, men til gengæld rammer det kunder, som gerne vil have lav jitter.
I princippet kunne man holde jitter lav, hvis man shaper trafikken til GPON-porten - men det er al trafik til porten, der skal shapes, og derfor er det umuligt for os at gøre, da vi kun har en delmængde af kunderne på den givne port.
Vi er derfor afhængige af, at den enkelte GPON-netejer sørger for løbende at optimere nettet, så storforbrugende kunder bliver flyttet ud for sig selv.
Et nytårsønske
Det er årets sidste dag, og vi har haft et år, som på ingen måde ligner de foregående.
Selv om vi som internetudbyder isoleret set har haft et forrygende år, hvor efterspørgslen på vores produkt er eksploderet og vores samlede kundebase er vokset med 70 %, håber jeg, 2021 bliver et lidt mere normalt år - gerne med høj vækst, men med lidt færre af de store spidsbelastninger.
Forhåbentlig bliver der bedre tid til at gå i dybden med de tekniske udfordringer - og løsningen af dem - i det nye år. Og udfordringer skal nok blive rigeligt af - 2021 bliver nemlig året, hvor vi efter den nuværende plan både skal ind på Fibias, Energi Fyns og Thy-Mors Energis fibernet.
Til de trofaste læsere skal der herfra lyde et ønske om et rigtig godt nytår.
Pas godt på jer selv derude.
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
