Når jeg kigger tilbage på 2020, er der, ud over coronavirus, en enkelt ting, der mere end noget andet har defineret året: Spidsbelastninger.
Da det meste af verden lukkede ned i marts, steg efterspørgslen på værnemidler, håndsprit, intensivpladser og sygeplejersker eksplosivt.
Stigningen var så voldsom og behovet så stort, at vi så de normale spilleregler på verdensmarkedet blive sat ud af kraft på en måde, som ellers kun hører krigstid og bananstater til - beslaglæggelse af medicinsk udstyr i transit, eksportforbud og grænselukninger blev normen fra den ene dag til den anden.
I dansk kontekst blev visse dele af erhvervslivet udstyret med carte-blanche til at købe ind på statens vegne - helt uden om udbudsrunder, konkurrenceregler og andre besværligheder.
Civilsamfundet trådte til - flere fabrikker omstillede produktionen med ekstremt kort varsel, og da det igen blev muligt at købe håndsprit, lugtede den i lang tid mistænkelig meget af sprinklervæske og vodka.
Da smittetrykket aftog hen over sommeren, flyttede spidsbelastningerne sig i stedet til det hjemlige feriemarked. Det var pludselig tæt på umuligt at opdrive et ledigt sommerhus, og mange øboere rundt omkring i sommerlandet måtte holde i kø for at komme med færgen hjem, da nogen i regeringen havde fået den geniale idé at hælde benzin på et i forvejen rødglødende marked ved at tilbyde gratis færgebilletter.
Hen over efteråret har spidsbelastningerne igen flyttet sig. Lange køer til coronatests, nedbrud på sundhed.dk og generel overbelastning af sundhedsvæsenet.
Også i vores lille andedam hos Kviknet har året været præget af ekstrema. Efter nedlukningen i marts steg belastningen voldsomt - både i form af højere trafikforbrug og i form af flere henvendelser til vores kundeservice.
Hen over sommeren var det som om, vi fik et lille pusterum - men i slutningen af august fik vi nyheden om, at Konkurrencestyrelsen som en del af fusionen mellem SE og Eniig (som tilsammen blev til Norlys) havde stillet som krav, at alle kunder i Eniigs fibernet skulle opsiges og tvinges til at vælge en ny internetudbyder.
Vi kender ikke det præcise antal, men vi anslår, der er tale om et sted mellem 100.000 og 170.000 kunder - og 30. september sendte Norlys opsigelserne afsted til de pågældende kunder.
Lige siden har vores kundeservice stort set været lagt ned af nye kunder, der har spørgsmål til produktet eller har brug for hjælp - vores influx af nye kunder har i dele af efteråret været på mellem 5 og 10 gange det normale, og det er åbenlyst umuligt at opskalere organisationen i samme takt, hvis det også skal hænge kommercielt sammen, når bølgen er overstået.
En weekend i midten af december havde vi et nedbrud på en central switch i vores net, som desværre gav nogle timer med ustabilitet for en lang række kunder.
Det medførte en voldsom mængde henvendelser til vores kundeservice, og da en række kunder også lagde negative anmeldelser på Trustpilot, greb jeg chancen for at give vores folk noget arbejdsro, så vi kunne komme i bund med vores backlog.
Vi lukkede med øjeblikkelig virkning for indgående telefonopkald, og har haft lukket lige siden - til gengæld har vi lavet et fast track-system, så kunder, der er offline, kan fejlmelde deres forbindelse på vores website og komme forrest i køen - og blive ringet op, hvis der er behov for dette.
Lige nu går vi og overvejer, om det skal være en permanent løsning.
En indgående telefonkø er nemlig en ineffektiv måde at håndtere kundernes problemer på - vi kan ikke prioritere mellem ting, der haster, og ting, der godt kan vente til senere.
Desuden må vi bare konstatere, at den tid, supporteren bruger på at vente på routere, der genstarter, fiberbokse, der nulstilles, og kunder, der lige skal have fundet et kabel frem fra nederste rodekasse, er tid, der går til spilde. Det hænger ikke kommercielt sammen i et marked, hvor marginerne er små og forventningerne er høje.
Men udfordringen er at kommunikere dette til kunderne - for mange er et telefonnummer, man kan ringe til, en slags livline, der giver tryghed.
Vi skal derfor have forbedret vores website i nærmeste fremtid, så det bliver tydeligere for kunderne, at vi gerne ringer, hvis der er et reelt behov for det - og ideelt set skal vi kunne vise den aktuelle ventetid, så folk ved, hvornår de skal forvente at blive ringet op.
Overvejelserne omkring vores fremtidige håndtering af kundeservice passer i øvrigt rigtig godt ind i det, vi i forvejen går og laver - i årets løb har vi nemlig skullet kigge rigtig meget på, hvordan man udglatter bursts i trafikken i vores netværk.
Årsagen er den store stigning i solgte 1.000 Mbit/s-forbindelser - det har nemlig vist sig, at størstedelen af de fibernet, vi er gået ind på i 2020, har udfordringer, når det kommer til at håndtere trafik til 1.000 Mbit/s-kunder.
Energiselskabernes fibernet er enten baseret på point-to-point-fiber (P2P) eller GPON.
P2P-fiber er, hvad det udgiver sig for at være: Den enkelte kunde har en fiber, som går fra fiberboksen i hjemmet til en dedikeret port i en switch i teknikhuset.
Switchen i teknikhuset er i virkeligheden en DSLAM fra Nokia, hvori der sidder et linjekort (NELT-B) med 36 stk. 1 Gbit/s-porte. Kortet er sat i UNI-mode, hvilket betyder, at de 36 porte deles om 2,5 Gbit/s backplane kapacitet.
Det er imidlertid ikke det største issue - problemet er, at den buffer, der er allokeret pr. port, kun er på 200 KB. Det er rigtig fint, hvis man sælger en 20 Mbit/s DSL, men hvis man sælger en 1.000 Mbit/s fiber, svarer bufferstørrelsen til den mængde trafik, linjen kan modtage på 1,7 millisekunder. Det er alt for lidt.
Der er nemlig en tommelfingerregel, der hedder, at bufferstørrelsen på en given TCP-forbindelse skal svare til latency mellem de to endpoints.
Det betyder i praksis, at hvis man har en forbindelse til en server, der står 10 millisekunder væk, skal man have en buffer på 10 millisekunder for at kunne udnytte den fulde båndbredde - og hvis man forbinder til en server, der står 100 millisekunder væk, skal bufferen være på 100 millisekunder.
Det er derfor, downloads fra USA altid foregår ved lavere hastighed end downloads fra servere, der står tæt på. Det er ikke fordi kapaciteten mangler, men fordi latency er høj.
Når et P2P-net kører med små buffers, vil enhver form for bursty trafik forårsage pakketab, og en TCP-forbindelse vil derfor skulle bruge en stor del af tiden på recovery - og have problemer med at udnytte hele båndbredden.
Løsningen på problemstillingen er, at vi shaper trafikken, inden den sendes ind i energiselskabets fibernet. Det gøres ved at vi skaber en flaskehals i vores net, hvor vi sikrer, at trafikken til en given kunde aldrig overstiger 1.000 Mbit/s - ikke engang kortvarigt.
Selv om det gør vores setup mere kompliceret, er det ikke uden fordele - det betyder faktisk, at vi kan implementere Active Queue Management og skabe en forbindelse af en teknisk højere kvalitet.
GPON er lidt en anden sag.
Et GPON-net svarer lidt til at tage et coax- eller WiFi-net og flytte det over på fiber. Typisk vil man på GPON have 32, 64 eller 128 kunder pr. port, som deler en samlet båndbredde på 2,5 Gbit/s downstream kapacitet og 1,25 Gbit/s upstream kapacitet.
Fordelen ved et GPON-net er, at man ikke behøver en dedikeret fiber fra det enkelte hjem til det nærmeste teknikhus - fiberen skal blot gå ud i en passiv splitterboks, der ligger ude i fortovet, og derved spares der store mængder fiber, når man bygger nettet.
Samtidig er det også billigere udstyr i teknikhuset - når mange kunder kan deles om den samme fysiske port, falder udgiften til det aktive udstyr.
Men det kræver ikke så megen hovedregning at indse, at GPON er sårbart over for storforbrugende kunder - når man deles om 1,25 Gbit/s upload-kapacitet, er der grænser for, hvor mange 1.000 Mbit/s hastighedstests, der kan udføres samtidig, især hvis der samtidig er nogen, der uploader store mængder backup-data, feriebilleder eller piratfilm.
En anden udfordring ved GPON er jitter. Da der er flere kunder, der deler samme fysiske GPON-port, deles de også samtidig om den buffer, der er til rådighed på porten.
Det betyder, at latency vil variere en smule i takt med, at bufferen fyldes og tømmes - bufferen er større end det vi ser i P2P-nettene, hvilket hjælper os, når kunderne laver hastighedstests, men til gengæld rammer det kunder, som gerne vil have lav jitter.
I princippet kunne man holde jitter lav, hvis man shaper trafikken til GPON-porten - men det er al trafik til porten, der skal shapes, og derfor er det umuligt for os at gøre, da vi kun har en delmængde af kunderne på den givne port.
Vi er derfor afhængige af, at den enkelte GPON-netejer sørger for løbende at optimere nettet, så storforbrugende kunder bliver flyttet ud for sig selv.
Det er årets sidste dag, og vi har haft et år, som på ingen måde ligner de foregående.
Selv om vi som internetudbyder isoleret set har haft et forrygende år, hvor efterspørgslen på vores produkt er eksploderet og vores samlede kundebase er vokset med 70 %, håber jeg, 2021 bliver et lidt mere normalt år - gerne med høj vækst, men med lidt færre af de store spidsbelastninger.
Forhåbentlig bliver der bedre tid til at gå i dybden med de tekniske udfordringer - og løsningen af dem - i det nye år. Og udfordringer skal nok blive rigeligt af - 2021 bliver nemlig året, hvor vi efter den nuværende plan både skal ind på Fibias, Energi Fyns og Thy-Mors Energis fibernet.
Til de trofaste læsere skal der herfra lyde et ønske om et rigtig godt nytår.
Pas godt på jer selv derude.
"Til de trofaste læsere skal der herfra lyde et ønske om et rigtig godt nytår.
Pas godt på jer selv derude."
Tak i lige måde.
Personligt kan jeg godt leve uden, at jeg kan ringe til kundeservice. Sålænge I svarer rimelig hurtigt på mail :)
Jeg glæder mig til at komme på TDC-fiber (de mangler vist ikke meget nu), så jeg kan skifte fra kabel-TV til rigtig fiber. Jeg håber ikke, det vil give jer for mange problemer ;)
Godt nytår.
Mvh Bjørn
Så vil jeg da ikke længere anbefale mine naboer til at skifte til fiber :-)
I øvrigt er jeg en glad Kviknet-kunde, og jeg opdagede ikke noget i midten af december.
Tak for den tekniske opdatering.
... og så krydser jeg fingre for at spiken ikke bliver alt for stor i morgen når jeg skifter til Kviknet samtidig med en masse andre på medarbejderbredbånd som kun kan skifte udbyder ved årsskifte.
Godt skriv som altid Yoel.
Jeg glæder mig til I får styr på jeres routing :-)
Vi lukkede med øjeblikkelig virkning for indgående telefonopkald, og har haft lukket lige siden - til gengæld har vi lavet et fast track-system, så kunder, der er offline, kan fejlmelde deres forbindelse på vores website og komme forrest i køen - og blive ringet op, hvis der er behov for dette.
Lige nu går vi og overvejer, om det skal være en permanent løsning.
Jeg foretrækker altid at kommunikere med folk per mail e.lign. Jeg hader chats og telefonopkald - de spilder også min tid. Jeg hader chats og telefonopkald så længe offline kommunikationen virker og jeg har tillid til at der faktisk sker noget (det er fx. altid måden jeg kommunikerer med amazon på). Men hvis det ikke virker, så vil jeg gerne tage en af jeres medarbejdere som "gidsel" i telefonen. Have en person som ikke render nogen steder før problemet er løst. På den måde har I også en interesse i at løse det vigtigste problem i min verden.
Hvis I skal lave kundeservice som du beskriver, så er det vigtigt at kunder har en oplevelse af at der sker noget. At jeres offline-issue-reporting system ikke bare er en syltekrukke hvor folk placeres mens I laver noget helt andet.
Hvis kunden ikke kan bruge sit internet, så ønsker han konstant feedback om hvad der sker. Det er ikke nok at I roder med en switch - I skal fortælle ham at I lige nu gør X for at løse hans problem. Når jeg har en kundeservice medarbejder i telefonen, så er det præcist det jeg (tror jeg) får. Folk skal kunne se at der sker noget og at I ikke er igang med noget helt andet.
Hvordan man skaber den tillid er jeg ikke sikker på. Corporate-bullshit talk er den sikreste vej til at kunderne taber tilliden. I princippet ville jeg gerne have et video-feed som viste diagnostiseringen og løsningen af problemet. Ikke fordi jeg kan bruge det til noget men fordi jeg føler I gør noget for undertegnede og at det bringer mig nærmere ved mit mål.
Hvis I skal lave kundeservice som du beskriver, så er det vigtigt at kunder har en oplevelse af at der sker noget. At jeres offline-issue-reporting system ikke bare er en syltekrukke hvor folk placeres mens I laver noget helt andet.
Så ikke sådan her : https://www.youtube.com/watch?v=1LLTsSnGWMI
:)
Mvh Bjørn
Jeg glæder mig til at komme på TDC-fiber (de mangler vist ikke meget nu), så jeg kan skifte fra kabel-TV til rigtig fiber. Jeg håber ikke, det vil give jer for mange problemer ;)
De eneste problemer, vi generelt oplever med TDC-fiber, er leveringsdatoer, der bliver udskudt dagen før fiberen skulle have været leveret - typisk i forbindelse med nyetableringsprojekter. Men når det først er oppe at køre, plejer det at fungere rimelig godt.
Det skal dog også siges, at TDC har valgt at køre 1000/500 i stedet for 1000/1000, netop pga. den lavere båndbredde i upstream retning på GPON.
Personligt kan jeg godt leve uden, at jeg kan ringe til kundeservice. Sålænge I svarer rimelig hurtigt på mail :)
Vi gør vores bedste :)
Hvis man er nysgerrig på hvordan nettet er bygget op i ens lokalområde - f.eks om der bliver brugt GPON eller P2P som her omtalt. Er det noget man typisk kan finde offentligt tilgængeligt hos f.eks Energiselskab eller hvem der nu ejer nettet? Eller er eneste måde at bestikke sådan en som dig med en øl i byen? ;)
Hvis man er nysgerrig på hvordan nettet er bygget op i ens lokalområde - f.eks om der bliver brugt GPON eller P2P som her omtalt. Er det noget man typisk kan finde offentligt tilgængeligt hos f.eks Energiselskab eller hvem der nu ejer nettet?
Det er faktisk et rigtig godt spørgsmål. Det vælter ud med information fra Erhvervsstyrelsen med jævne mellemrum, og jeg vil ikke afvise, at man kan finde informationen i nogle af de analyser, der er blevet udarbejdet og offentliggjort gennem årene.
Indtil for nylig var det normen, at de fleste energiselskaber byggede fibernet baseret på P2P-fiber. Det gælder fx store dele af SE's net, DONG-nettet, EWIIs net og Nord Energis fibernet.
GPON er derimod blevet populært på grund af de lavere anlægsomkostninger - det bruges fx af TDC, Eniig og OneFiber, og flere energiselskaber kigger løbende på, om nyudbygning skal være P2P eller GPON. Dertil kommer, at TDC har meldt ud, at de inden længe vil lancere XGS-PON i udvalgte områder - ud over højere hastigheder er et selling point for XGS-PON muligheden for symmetriske hastigheder.
Hvis man vil se, om ens fiber kører GPON eller P2P, og ikke umiddelbart kan udlede det af fiberboksen (mediekonverteren), kan man få en idé om det, hvis man måler jitter på sin forbindelse. På GPON er jitter som regel væsentligt højere end på P2P-fiber - se fx følgende målte eksempler:
| By | Net | Teknologi | Jitter (ms) |
|---|---|---|---|
| Albertslund | TDC | GPON | 1,358 |
| Gistrup | Eniig | GPON | 1,386 |
| Løkken | SE | GPON | 0,140 |
| Lejre | OneFiber | GPON | 0,561 |
| Hals | Nord Energi | P2P | 0,077 |
| Kolding | EWII | P2P | 0,070 |
Målingen kan fx foretages ved at køre en iperf3-test med UDP op mod en server, der ikke står alt for langt væk.
Hvis I skal lave kundeservice som du beskriver, så er det vigtigt at kunder har en oplevelse af at der sker noget. At jeres offline-issue-reporting system ikke bare er en syltekrukke hvor folk placeres mens I laver noget helt andet.
Helt enig.
Størstedelen af vores fejlsøgning består i at afgøre, hvem aben skal sendes videre til. I nogle tilfælde skal den retur til kunden, så vi kan være sikker på, alle fejl 40 er væk, men i mange andre tilfælde skal sagen sendes videre til netejeren, der i sidste ende evt. skal sende en tekniker, hvis der er behov for dette.
Jeg har løseligt overvejet, om vores kunder automatisk skal være CC på vores kommunikation med netejerne i fejlsøgningsprocessen - men jeg ved ikke, om netejerne er klar til det niveau af transparens. Jeg kunne forestille mig, visse netejere ville finde det en smule offensivt - og det ville være negativt for vores samarbejde med den pågældende netejer, hvis en kunde af egen drift tager kontakt til netejeren for at rykke for en status. Men omvendt er der også noget tillidsvækkende i at vise, hvad der helt konkret sker i den pågældende sag.
Hvis du allerede er kunde på fibernettet, så kan du tjekke det udstyr der er sat op. Det burde ikke være svært at Google model nummer og se om det er et gpon modem eller ej.
Et andet hint er farven på fiberstikket. Blå så er det p2p, grøn så er det gpon.
så kunder, der er offline, kan fejlmelde deres forbindelse på vores website og komme forrest i køen
Øhh, catch 22, hvordan kan man det, hvis man er ofline. Joda svarer den kvikke læser, man bruger da bare sin mobil. Men nu har alle ikke en smartmobil.
Og hvad med Maren i kæret, hvor mobil dækningen lige rækker til GPRS, hun har forøvringt heller ikke har en smartmobil. Skal hun så bevæge sig ind til et måske lukket og usikkert bibliotek.
Ja de findes, der er da nogle stykker indenfor en 500m radius hvor jeg bor.
Man kan nok heller ikke kommunikere via email hvis man er offline.
For mig som kunde ville det være et stort minus, ikke at kunne komme i telefonisk kontakt med min udbyder om tekniske problemer.
(rapportere fejl via internettet når internettet er nede)
Øhh, catch 22, hvordan kan man det
Hvad gjorde man dengang man kun havde fastnet-telefon, og telefonen ikke virkede? Så ringede man til JTAS/KTAS/... fra naboens telefon.
Ja, at skulle bruge internettet for at rapportere fejl med internettet er lidt udfordrende, men man skal ikke gøre problemet værre end det er.
Man kan nok heller ikke kommunikere via email hvis man er offline.
Sjovt nok lykkes det altid for vores kunder at finde frem til Facebook og Trustpilot, uanset hvor lidt internet de har - så jeg føler mig ikke overbevist om, at det er et reelt problem.
Dertil kommer, at Maren i kæret også må håbe, hun har husket at skrive telefonnummeret op i sin lille lommebog, da det ellers også vil kræve internetadgang at finde frem til.
For mig som kunde ville det være et stort minus, ikke at kunne komme i telefonisk kontakt med min udbyder om tekniske problemer.
Det er jo altid en mulighed at bede om at blive ringet op - så udfordringen går primært på at sikre, at kunderne ikke føler, de får en ringere service ved ikke at kunne ringe ind til os, når nu målet faktisk er det modsatte.
Dertil kommer, at Maren i kæret også må håbe, hun har husket at skrive telefonnummeret op i sin lille lommebog, da det ellers også vil kræve internetadgang at finde frem til.
Sjovt du nævner det. Jeg havde en post-it klæbet ovenpå den første net-dims efter deres boks, med både min udbyders telefonnummer og mit abonnentsnummer (for det var altid det første, som de spurgte om).
Nu, hvor jeg kommer til at tænke over det, så har det aldrig været nødvendigt siden jeg skiftede...
Efter at have fået en tarvelig behandling af Yousee efter de overtog Fullrate i december, valgte jeg at blive Kviknet kunde, og jeg må sige at jeres kompetente og engagerede kundeservice på telefonen var en af de ting der overbeviste mig om at blive kunde ved jer. - en ting jeg ikke har fundet hos nogle af de andre udbydere jeg snakkede med.
Nu ved jeg godt det er et mindretal, men når man som jeg har en masse tekniske krav, så er det meget lettere med en synkron kommunikation hvor man hurtigt kan få afklaret spørgsmål, alternativet til det, når man har en masse if-else spørgsmål, er en masse mails, eller nogle meget lange mails, det satte jeg pris på at slippe for, selvom i er hurtige på mailen.
Til sidst vil jeg sige at det med manglende mobil dækning er et reelt problem, min svigerfamilie bor i Grejs, det er lige uden for Vejle, og her er der INTET mobil data, havde vi boet dér, var vi nødt til at køre ind til vejle, for at kunne få net, og sende jer en mail, hvilket utvivlsomt ville lede til en dårlig anmeldelse.
Så behold en eller anden form for telefon :)
TIP: I kunne evt. overveje at man, lige som med strøm og vand, kan melde sig på en drift-forstyrrelses SMS, så man får besked når der er problemer, det spare nok floden af "jeg har ikke net!" opkald. Havde selv ringet den 13. hvis ikke i lige nåede at få opdateret driftstatussen.
Off-topic: Jeg vil gerne sende et 2021 ønske om mulighed for at tilkøbe mere end én IPv4 adresse, det ville gøre mig til en 100% tilfreds kviknet kunde :)
Tak for indlæget!
Så behold en eller anden form for telefon :)
TIP: I kunne evt. overveje at man, lige som med strøm og vand, kan melde sig på en drift-forstyrrelses SMS, så man får besked når der er problemer, det spare nok floden af "jeg har ikke net!" opkald. Havde selv ringet den 13. hvis ikke i lige nåede at få opdateret driftstatussen.
Som jeg læser det, Yoel skriver, så vil det stadig være muligt, at kunne kommunikere telefonisk. Du kan bare ikke ringe til dem. Kviknet ringer til dig.
Dit TIP er jeg meget enig i. Jeg havde også problemer den dag, og jeg havde også værdsat en SMS. Jeg er så heldig, at vi har stabil mobildækning i 3400, så jeg brugte bare min mobil, som hotspot, så det var bare et lille irritationsmoment.
Mvh Bjørn
TIP: I kunne evt. overveje at man, lige som med strøm og vand, kan melde sig på en drift-forstyrrelses SMS, så man får besked når der er problemer, det spare nok floden af "jeg har ikke net!" opkald. Havde selv ringet den 13. hvis ikke i lige nåede at få opdateret driftstatussen.
Jeg kommer nok ind på vores generelle driftsovervågning i et senere blogindlæg, men kort fortalt har vi et system, der automatisk registrerer og publicerer driftsforstyrrelser, der rammer >= 5 kunder i samme område.
I visse tilfælde sender vi en SMS til de berørte kunder. Det er typisk, hvis der er tale om kabel-overgravninger o.l.
Systemet er dog ikke dimensioneret til at udsende tusinder af SMS'er samtidig - beskederne sendes serielt via en ekstern gateway, så det tager for lang tid.
Off-topic: Jeg vil gerne sende et 2021 ønske om mulighed for at tilkøbe mere end én IPv4 adresse, det ville gøre mig til en 100% tilfreds kviknet kunde :)
Det er på vores ønskeliste til vores BNG-projekt. :)
Som en der selv har siddet i kundeservice og besvaret henvendelser via telefon, så er jeg 100 % enig i dine betragtninger Yoel, det kan gå super meget spild tid, især når man i mange tilfælde meget hurtigt kan identificere fejlen til at være kundens, og derefter skal bruge tid og energi på at overbevise stædige Hr. Olsen om at det nu rent faktisk er hans PC den er gal med.
Når det så er sagt, så er der også en ren psykologisk ting ved at skilte med åbningstider. Eks har Stofas tekniske support åbent til 22, og det gør at hvis nettet ryger 21:50 så ved folk at de kan gribe knoglen, og så sidder der nogen i den anden ende som (forhåbentligt) svarer.
I jeres tilfælde er i i stedet gået med at man kan sende jer en besked via jeres kontaktformular, der har i allerede gjort noget smart ved at sætte pre-definerede fejl på, så forhåbentligt bruges disse korrekt af kunderne, så i hurtigere kan sortere i henvendelser og få løst problemerne i den mest kritiske rækkefølge. I sidste ende er det jo dig/dine teknikere der er specialisterne og ikke kunderne (omend de gerne vil lade som om at de er :-))
En anden hjælp-til-selvhjælp jeg ofte mangler hos de større selskaber er hurtigere information om generel nedetid og driftstatus, jeg tror personligt på at en vel vedeligeholdt side med driftstatus evt kombineret med et facebook/twitter opslag om at "Der opleves tekniske udfordringer i dette område" kan afhjælpe mange af de telefon/e-mail henvendelser der ellers vil komme ind.
En anden ting jeg personligt godt kan lide, men som ikke vinder hos alle er chat. Stofa har en flot chatfunktion på deres hjemmeside, men hver gang man åbner den får man at vide at der ikke er nogle i kundeservice tilgænglige, men at man lige skal ringe.. Så kan man jo lige så godt lade være med at have funktionen :-)
En helt anden ting - Ift IPv6 på eget udstyr/egen router, ligger i så inde med noget data for hvilke producenter/modeller det bare spiller på "out-of-the-box"? Jeg ved fra en ven at det ikke spiller på hans Fortigate udstyr :)
Har I nogen tal på, hvor presset TDCs coax-net har været rundt om i landet?
Mange gode betragtninger, og jeg er enig, det handler langt hen ad vejen om psykologi. For selv om man kan "ringe til nogen" en lørdag aften kl. 21:50, er det jo ikke ensbetydende med, at ens problem bliver løst hurtigere af den grund. Normalt holder de enkelte netejeres support til operatørerne også lukket uden for normal arbejdstid, så det vil i de fleste tilfælde kun være selvforskyldte fejl, man kan få øjeblikkelig hjælp til, hvis man ringer i weekenden eller om aftenen.
En helt anden ting - Ift IPv6 på eget udstyr/egen router, ligger i så inde med noget data for hvilke producenter/modeller det bare spiller på "out-of-the-box"? Jeg ved fra en ven at det ikke spiller på hans Fortigate udstyr :)
Vi forsøger løbende at samle info sammen, men nej, vi har ikke nogen generel liste over devices, hvor det bare virker - nok primært fordi, det næsten altid kræver lidt tilpasning, medmindre man bruger routeren fra os.
Vi har dog en side, hvor vi fortæller lidt om, hvad der skal til.
https://support.kviknet.dk/hc/da/articles/360014470198-IPv6-p%C3%A5-egen...
Har I nogen tal på, hvor presset TDCs coax-net har været rundt om i landet?
Både og. Vi holder løbende øje med netkvaliteten på TDC's coax-net, men det er værd at nævne, at alle operatører på TDC's coax-net skal indkøbe kapacitet, som deles af kunderne i et givent område.
Coax er samtidig et delt medie, hvor de samme frekvensrum anvendes af kunder hos forskellige udbydere - og det er op til netejeren løbende at udbygge nettet, så der er kapacitet nok til rådighed.
Så ved højt load kan man både ramme en flaskehals i HF-laget (dvs. selve coax-nettet), hvilket rammer kunder på tværs af udbydere, men man kan også være ude for, at man rammer loftet for den indkøbte kapacitet, hvilket kun rammer kunder hos den specifikke udbyder.
Dertil kommer øvrige fejl, der kan ramme et coax-net - to klassiske fejl er støjfejl i HF-laget, samt lokale strømafbrydelser, der slukker for en forstærker i et teknikskab og derfor tager et helt villakvarter offline, indtil en tilkaldt TDC-tekniker får tændt for strømmen igen.
Coax er hurtigere end DSL, men det er et følsomt medie, og fiber bør til enhver tid være den foretrukne løsning.
eg har løseligt overvejet, om vores kunder automatisk skal være CC på vores kommunikation med netejerne i fejlsøgningsprocessen - men jeg ved ikke, om netejerne er klar til det niveau af transparens.
Det ville da være genialt. Har du overvejet at indfører kommunikationen i en form, således at både netejer, kunde og jer selv, kan deltage, vel og mærke uden at der udveksles kontaktoplysninger? Som en slags board, hvor systemet kender kontaktoplysningerne, men i beskedflowet fremgår man bare med et 'handle' (fornavn på slutkunden, fornavn og firmanavn på kviknet supporteren, firmanavn eller 'nejejer' på 3. parts leverandøren)... Eneste mulighed for kontakt med hinanden er via det fælles system.
Som en slags board, hvor systemet kender kontaktoplysningerne, men i beskedflowet fremgår man bare med et 'handle' (fornavn på slutkunden, fornavn og firmanavn på kviknet supporteren, firmanavn eller 'nejejer' på 3. parts leverandøren)...
Ja, det var sådan ca. det, jeg havde i tankerne - det ville passe godt ind i vores flow med OpenNet, og med en smule API-tilpasning kunne TDC nok også klemmes ind der.
I den perfekte verden sender vi en fejlmelding til en netejer, der efterfølgende svarer tilbage med "Fejlen fundet og løst, kunden er online".
Desværre er svaret i virkelighedens verden lidt for ofte "Vi kan ikke se nogen problemer, sagen lukkes", hvorefter vi så skal bruge tid på at diskutere med netejerens firstline-support. Jeg har ikke helt gjort op med mig selv, om jeg synes, det er en fordel at inkludere kunden i en intern diskussion mellem os og vores underleverandører.
Der er ikke højere jitter på PON end P2P 'bare fordi'. Det var i 3½ år samme som på P2P, ca. 0.07 ms - jeg har smokepings af mange p2p/pon linjer gennem de sidste år, hvor det er tydeligt. Det jeg beskriver nedenfor er lige så tydeligt.
Jitter er betegnelsen for afvigelsen på den tid det tager at sende en pakke fra afsender til modtager, og over flere pakker er det dermed den gennemsnittelige afvigelse pr pakke fra den gennemsnittelige tid pr pakke. Dvs. det bør ligge ret lavt, og gør det typisk også. På PON platformen lå den fin og god som på andre P2P fiberprodukter, fra jeg fik produktet i start 2016 v. Eniig/Norlys, indtil juni 2020; 3½ år med sammenlignelig karakteristika.
På det tidspunkt gav et influx af nye kunder på OpenNET platformen, flere kunder med højere hastighed, og andre ting jeg kun kan gisne om, anledning til at Norlys aktiverede et 'fix' for noget, som de ikke ville forklare hvad bestod i. Det er ikke min gisning at det er sket; det er bekræftet af Norlys, som dog ikke vil fortælle hvad fixet er; jeg fik forklaringen at de 'havde fået det fra leverandøren', og ham jeg talte med kunne ikke forklare hvad det var.
Alle linjer jeg monitorerede gik fra at køre flot, til at køre decideret grimt, på samme dag.
Hastigheden på produktet ændrede sig ikke i Speedtests, men jitter på egress (upstream 1.25Gbps kanalen) eksploderede; fra 0.07ms op til omkring 2.7ms jitter, og dermed RTT a lá '13, 7, 11,12,7,14,6' osv - fremfor tidligere '7.1, 7.1, 7.2, 7.1, 7.1' - altså en forværrelse af jitter x 40, eller 4000% for at være lidt dramatisk.
Til sammenligning er jitter på andre p2p produkter ned til 0.06ms, en xDSL ca. 0.4 ms (altså 6x værre) og på Norlys PON fiber er den ofte 2.7ms, og aldrig under 1.3ms ved mig - igen, det er forskel i tid pr pakke! Det er i sandhed 'Danmarks bedste internet' /s
Til gengæld kører enstrenget TCP markant langsommere for alle; og i et oversubscribed miljø er den store jitter ødelæggende for hastigheden hvormed et tcp rcw window opskaleres. Kombiner det med let pakketab pga oversubscription, ja, så starter vi langsomt forfra. Gentag.
Norlys har effektivt tunet deres L2 til effektivt at køre dårligere til alt der kører enstrenget TCP, eller bruger UDP ifm tidfølsomhed. Men Speedtests! Nu er de gode! Eller, det er de sådanset ikke, for nu er der flere kunder på end dengang, og fixet må være virkningsløst. Alt andet du i praksis skal bruge din forbindelse til; det kører markant ringere end det burde - vel at mærke også når der ikke er belastning på fibersegmentet; jitteren er der døgnet rundt.
I stedet kunne fiberleverandøren splitte PON fibersegmenterne op i mindre klumper, ligesom på p2p, og bruge nogle flere PON porte, men det koster jo småpenge i en allerede billigere platform, puha - så hellere putte nogle grimme udefinerede fix på produktet, der gør det dårligere for alle operatørerne og kunderne - det er nemlig gratis. :-)
Er der en Norlys tekniker der læser med, der kan forklare hvad der blev lavet i PON platformen, der fik det til at gå fra et stabilt produkt der performede glimrende, til - hvis man ser bort fra tophastighed multitrådet - ganske forfærdeligt, med det 'fix', nu det blev lavet med vilje? Jeg kan nemlig kun se ulemper, og ingen effektive fordele, men jeg skal også gætte mig til det hele.
Jeg er en skuffet Norlys kunde, som ønsker fiber-monopoler et sted hen... - eller bare fiber-leverandører (Norlys, Energi Nord osv) der ikke oversælger et produkt ind i helvede, og tramper det i smadder bagefter, og lader indholdsleverandørerne (Kviknet, Fastspeed etc. eks.) hænge med problemerne, for det er jo dem de tekniske (og ikke tekniske) klager til.
2020 var året hvor konsum-fiber virkeligt blev udbredt - og faldt ned af piedestalen det var sat på, som det overlegne produkt det skulle være; fiberleverandørernes platform viste sig for billig; built to a price and oversold.
Jeg kunne ikke helt forstå de trælse historier om forfærdeligt internet access på fiber/coax i USA; det forstår jeg meget bedre nu.
Beklager lang rant og gentagelser.
Jeg havde engang en supportsag på pixelering på TV, og udfald på internet, ved Stofa på Coax.
Jeg fik mange gange at vide at der slet ikke var et problem, det tog vel 4-5 forsøg at komme videre og en del timer i telefonen, men jeg insisterede, ognåede til 2. level support, der igen kunne fortælle mig at alting virkede, og at jeg tog fejl, og at der skam skulle være pakketab tit. Pixelering, det var mit TV der var billigt.
Jeg insisterede på at der var noget galt, og brugte yderligere 2-3 forsøg og flere timer igen, og mails frem og tilbage. Til sidst kom jeg til en 3. level som var blevet fremmanet. Vedkommende kunne se på grafer fra mit Coax modem. Der fik jeg igen at vide, at alting var perfekt - der var kun bølgende signalstyrke upstream; det kunne vedkommende se på grafen, og hold nu fast - det var ikke et problem, for sådan var det rigtig mange steder, hvor alting bare kørte perfekt, det havde han lige kigget rundt og bekræftet, og kunne jeg så forstå, at jeg var en ret træls kunde. Ja, det kunne jeg. Jeg insisterede stadig på der var noget galt.
Jeg fik så truslen med at så ville han sende en tekniker ud, som - med smøret grin i telefonen - jeg selv skulle betale for, hvis jeg blev ved med at belemre dem, og der ikke var fejl i deres, hvilket der absolut ikke var.
Det takkede jeg ja tak til.
På dagen hvor tekniker kom ud havde jeg lavet adgang til tekniker kunne besigte min installation.
Tekniker bankede på døren, men han ville ikke ind; han havde lige målt på øen i et teknikskab, og det var helt åbenlyst at vi havde en defekt repeater i vores ø, og det gav sådan et karakteristisk bølgende signal som han kunne måle med det simpleste apparat, og 'en helvedes masse problemer for alle' som han formulerede det. Dem skiftede de hver gang de så det, for de gik tit i stykker, og var billigere - men de vidste jo ikke hvor de gik i stykker henne, så det var en umulig opgave...
Bagefter kørte linien perfekt. TV kørte uden pixelering. Naboer kommenterede på pixeleringen var væk. Jeg lærte noget om net-ejere der er blevet for store til at vide hvad de ved.
Og nu hedder de Norlys.
Suk.
Det er jo altid en mulighed at bede om at blive ringet op - så udfordringen går primært på at sikre, at kunderne ikke føler, de får en ringere service ved ikke at kunne ringe ind til os, når nu målet faktisk er det modsatte.
Det kan man jo ikke helt vide, når man er rundt at tjekke, og ikke kender firmaet af anden vej. Som her feks.
Uden telefonnummer, ligner det jo parkeringsselskaber og abonnementshajer, som tjener på at være umulige at få fat i.
Jeg undgår også helst at handle dimser på hjemmesider, uden adresse og telefonnummer. Det giver en betragtelig mindre risiko for at komme i kløerne på useriøse firmaer.
På det tidspunkt gav et influx af nye kunder på OpenNET platformen, flere kunder med højere hastighed, og andre ting jeg kun kan gisne om, anledning til at Norlys aktiverede et 'fix' for noget, som de ikke ville forklare hvad bestod i. Det er ikke min gisning at det er sket; det er bekræftet af Norlys, som dog ikke vil fortælle hvad fixet er; jeg fik forklaringen at de 'havde fået det fra leverandøren', og ham jeg talte med kunne ikke forklare hvad det var.
Det såkaldte fix du tænker på er vist det der kaldes dynamisk allokering af timeslots, som varierer med mængden af trafik. Derudover så tildeler man et antal idle timeslots som så varierer med den hastighed man abonnerer på. Hvilket også er grunden til at der er en markant forskel i respons tid ved minimal trafik på PON forbindelser som kun bliver værer når der abonneres på lavere hastigheder.
Dynamic Bandwidth Assignment er vidst termen for det; men det fik jeg at vide ikke var det nævnte 'fix'. Det kan være ham der informerede mig om det ikke var inde i sagerne, men der blev svaret nej til at det var det. Jeg har og havde 'den store' forbindelse, og det ser ud på samme måde på dem med 'de små' forbindelser, så det passer ikke perfekt med det det der opleves; med mindre den tekniske implementation af det varierer så meget ifht til teorien om det.
Blev selv konverteret, til det Eniig kaldte en opgradering, fra P2P til GPON hvilket ikke var en positiv oplevelse af hverken det leverede ellere deres kompetence niveau. I den forbindelse gik jeg igang med at lave nogle målinger på flere af deres GPON forbindelser resultaterne ved 1 Mbit/s TCP upload med iperf gav fra 400 ms jitter på en 20/20 til omkring 60 ms på flere Eniig 500/500 Mbit/s forbindelser. Linien blev opgraderet fra 60 til 100 og sidst 200 Mbit/s over et halvt år og mængden af jitter faldt ved hver ændring. Man kan undre sig over hvor erhversstyrelsen er henne i den her sammenhæng :)
Vi (Gigabit) har en smokeping kørende på udvalgte kunder. Her kan man se at den typiske jitter på vores GPON netværk er omkring 0,1 ms.
Sammenlignet med iperf tænker jeg at forskellen er at smokeping måler linjen med den belastning der nu engang er, hvor iperf målingen starter med en linje der er ubelastet og så bringer den op til max belastning samtidig med at der måles på pakketab og jitter. Jeg har desværre ikke mulighed for at køre en iperf lige nu.
En TCP ramp-up vil altid opleve pakketab. Den skruer op indtil at pakketab opstår, hvilket implicerer at der skal være et lille niveau af tab. Hvis der også er buffers i nettet, så vil testen komme ud med jitter da de første pakker ikke skal i buffers (=lav latency) og de senere vil have fyldt bufferen (=højere latency). Hvis der er dynamisk tildeling af båndbredde, så skal denne mekanisme også lige reagere. Bemærk dog at dynamisk båndbredde kun er en ting i upstream retningen.
Downstream fungerer på eksakt samme måde som et p2p linjekort der er forsynet med en 2,4 Gbps uplink port. Det vil sige det bare er en 2,4 Gbps ethernet port som alle kunderne lytter med på. Hvis vi så siger at hver kunde har et unikt vlan, så er dit GPON modem bare en switch der kun har dit vlan konfigureret, således at den ignorere pakker til alle andre vlans. Der er ikke noget her der giver ekstra latency eller jitter, ud over at i deles om 2,4 Gbps og den buffer der måtte være på GPON linjekortet.
Download bufferen er delt mellem alle kunderne på samme GPON port men det havde været bedre hvis det var en per kunde buffer. Det arbejder jeg på at implementere i vores netværk. Upload buffer er i forvejen "per kunde" da bufferen her sidder i dit gpon modem.
En enkelt kunde får dog ikke lov til at fylde download bufferen i vores netværk, da vi policier trafikken per kunde.
Vi (Gigabit) har en smokeping kørende på udvalgte kunder. Her kan man se at den typiske jitter på vores GPON netværk er omkring 0,1 ms.
Typisk jitter er jo ikke det der er intressant, worst case er og hvad der får det til at opstå.
Hvis der er dynamisk tildeling af båndbredde, så skal denne mekanisme også lige reagere. Bemærk dog at dynamisk båndbredde kun er en ting i upstream retningen.
Problemet er netop at den mekanisme ikke reagerer ved små mængder data, men hvad gør i for at undgå dette?
Super godt skrevet og ekstremt oplysende.
Jeg takker mange gange!
Man kan undre sig over hvor erhversstyrelsen er henne i den her sammenhæng :)
Hvad skulle de have at sige til det ? Erhvervsstyrelsen kan forholde sig til markedssituationen, om nogen er/bliver markedsdominerende.
Det tekniske er stadig op til hver enkelt kabel ejer, om de hedder det ene eller det andet.
Typisk jitter er jo ikke det der er intressant, worst case er og hvad der får det til at opstå.
"Hvis der er dynamisk tildeling af båndbredde, så skal denne mekanisme også lige reagere. Bemærk dog at dynamisk båndbredde kun er en ting i upstream retningen."
Problemet er netop at den mekanisme ikke reagerer ved små mængder data, men hvad gør i for at undgå dette?
Det er langt fra så simpelt. Worst case jitter er minimum lig med størrelse på bufferen. Hvis du eksempelvis har 10 ms buffer, og du definerer jitter som forskellen på det mindste når bufferen er tom og maksimum når bufferen er fuld, så er den forskel naturligvis mindst 10 ms.
Buffer er nødvendig for at TCP fungerer korrekt. I klassisk TCP skal du bruge en buffer der er mindst det samme som TTL, dvs 10 ms buffer hvis kilden er 10 ms væk. Moderne TCP kan gøre det lidt bedre men mine test viser at det ikke er en revolution. 10 ms er afstanden fra København til Stockholm eller Amsterdam.
Nu kan jeg godt se at du klager over jitter i en helt anden størrelsesorden. 400 ms ved 20 Mbps etc. Og at du oplever at jitter falder når din hastighed stiger. Det passer så meget godt med at de har en konstant buffer målt i bytes. Omsat til millisekunder bliver den buffer så mindre jo hurtigere din linje er. Samme buffer er kun 40 ms ved 200 Mbps.
Angående dynamisk båndbredde på GPON, så fungerer det mig bekendt således at hver gang kundemodemet sender en pakke til upstream, så tagger den information om hvor meget mere den skal sende. Den vil få GPON switchen til at kvittere med ekstra timeslots med det samme, så forsinkelsen svarer blot til TTL fra kunde til GPON switch. Med andre ord, det reagerer ekstremt hurtigt. Det er ikke her du har din jitter fra.
Nu kan jeg godt se at du klager over jitter i en helt anden størrelsesorden. 400 ms ved 20 Mbps etc. Og at du oplever at jitter falder når din hastighed stiger
Jeg klager skam ikke, det var bare det jeg målte ved 1 Mbit/s upload med iperf på en 20 Mbit linje. Min pointe var ikke at der er noget galt med at have en buffer eller størrelsen af denne, men at dimensioneringen af antallet af timeslots er helt hen i vejret.
Jeg fik lige at vide af en kollega som fik en router med fra Kviknet til sit abonnement at der er en WAN tilgængelig bruger på som kommer konfigureret med admin/admin credentials. Er det normalt for routeren fra Kviknet?
Jeg fik lige at vide af en kollega som fik en router med fra Kviknet til sit abonnement at der er en WAN tilgængelig bruger på som kommer konfigureret med admin/admin credentials. Er det normalt for routeren fra Kviknet?
Nej - den er ikke tilgængelig fra WAN, medmindre man selv åbner for den (og det bør man naturligvis ikke).
I har haft over en måned til at få fat i flere kundeservice folk ifb. med Norlys situationen, og der er ingen der siger at I skulle gå ind på det marked hvis ikke I var rustet til det. At lukke telefonerne er en underlig form for kollektiv afstraffelse af de allerede eksisterende kunder.
Men ok, efter at have læst årsregnskabet for 2019 forstår jeg det måske godt. Et resultat i 2019 på ca 108.000 efter skat, og en negativ egenkapital på 1,3 millioner, så er der næppe råd til at ansætte flere folk.
Yoel, som professionel netværksspecialist er jeg fuld af beundring for din tekniske viden og evne til at dele den. Men nogen god forretningsmand lader du ikke til at være. Måske tiden er kommet til at finde en adm. direktør udefra.
Og jeres flabede svar på Trustpilot kommer I ingen vegne med.
I har haft over en måned til at få fat i flere kundeservice folk ifb. med Norlys situationen
Vi har hyret flere folk - men der sidder ikke en stor gruppe af ledige, kyndige folk, som man kan hive ind fra gaden og ansætte i tre måneder, hvorefter man sparker dem ud igen, når bølgen er overstået. Det er i øvrigt heller ikke en værdig måde at behandle sine ansatte på.
Vi kunne selvfølgelig have hyret en masse teenagere, som ikke ved noget om noget, og som kunne besvare telefoner og lægge henvendelserne i kø til vores tekniske support. Hvordan det koncept fungerer, kan du se i de seneste dages artikler i Berlingske og EkstraBladet.
Hvis du vil kritisere nogen for manglende forberedelse, kan du spørge Norlys og Konkurrencestyrelsen, hvorfor man melder en opsigelse af mere end 100.000 kunder ud med en måneds varsel, når man har siddet med den viden i et helt år - og hvorfor man ønsker at gennemføre operationen på få måneder.
Som operatør og wholesale-kunde hos Norlys havde vi gerne set, at processen var strakt ud over væsentlig længere tid - det ville gøre spidsbelastningerne på markedet mindre, og det ville først og fremmest gøre, at Norlys kunne nå at følge med. IT-problemer og høje svartider i deres ende er med til at få snebolden til at rulle hos alle involverede operatører.
At lukke telefonerne er en underlig form for kollektiv afstraffelse af de allerede eksisterende kunder.
Jeg troede egentlig, det fremgik tydeligt af mit blogindlæg, men formålet med lukningen af telefonerne er at sikre, at vi kan prioritere i de indgående henvendelser, så vi kan udfylde vores kerneopgave (at holde kunderne online) samtidig med, at vores organisation ikke knækker under presset.
Det er nemt at styre bussen fra bagsædet, men hvis du har et realistisk forslag til en bedre løsning, er jeg lutter øren.
Yoel, som professionel netværksspecialist er jeg fuld af beundring for din tekniske viden og evne til at dele den. Men nogen god forretningsmand lader du ikke til at være. Måske tiden er kommet til at finde en adm. direktør udefra.
Jeg fornemmer en vis frustration fra din side - jeg aner ikke, hvem du er, men jeg kan jo næsten gætte, at du på en eller anden måde føler dig personligt ramt af min beslutning om at ændre indgangen til vores kundeservice.
Jeg vil dog minde dig om, at version2-kommentarer modsat Facebook-kommentarer og indlæg på Nationen! er relativt permanente af natur. Hvis du er interesseret i en reel dialog, tager jeg den gerne, også her på version2.dk, men jeg foreslår, du lige trækker vejret først - resultatet skulle også gerne være noget, vi begge kan leve med at finde på nettet flere år senere.
Jeg takker for din personlige bekymring for min vejrtrækning. Den fejler dog ikke noget :-). Jeg har ikke haft noget kundeforhold til Kviknet, så du må ikke se det som en personlig frustration.
Jeg mener dog at du taler usandt, eller måske ikke har sat dig ordentlig ind i sagen omkring Norlys fusionen når du udtaler at I først i slutningen af august 2020 fik at vide at Eniig kunder skulle tvinges til at vælge ny ISP. Går man på jagt i konkurrencestyrelsen afgørelse som er offentliggjort d. 25. juni 2019 her: https://www.kfst.dk/afgorelser-ruling/konkurrenceomraadet/afgoerelser/20...
Downloader PDF filen og kigger på side 29 under pkt. 3.1.3 og side 36 - Bilag 1, vil du se at Eniig blev pålagt at sende et brev ud til kunderne om at de skulle vælge ny ISP. Så den information har været tilgængelig siden d. 25. juni 2019. Kunderne har dog først skulle informeres fra. d. 26 juni 2020, men det er jo jer uvedkommende.
Jeg savner også svar på om Kviknet overhovedet var forpligtet på nogen måder til at gå ind i et marked som I ikke åbenbart havde kapacitet til?
Og slutteligt mener jeg I selv overtræder jeres egne handelsbetingelser fra 2018 som angiver at jeres produkt indeholder tlf. support. Man kan ikke bare ændre produktet uden også at ændre handelsbetingelserne, og den slags skal varsles til alle kunder.
Jeg forstår selvfølgelig at der kortvarig kan opstå force majoure agtige tilstande, og du har ønsket at beskytte medarbejderne. Men at gøre det i flere måneder mener jeg ikke er ok.
