Den dag i dag husker jeg stadig første gang, min daværende kompagnon og jeg besøgte iværksætterhuset MunkHouse i det sydlige Odense. Vores lille virksomhed var vokset ud af min kælder, og vi var på udkig efter et godt sted at bo.
MunkHouse føltes som det helt rigtige sted.
Lokalerne var pæne, udsigten var god, og ejerens vision var at skabe et sammenhængende iværksætterhus - en rugekasse for nye virksomheder.
Vi flyttede derfor ind på 2. sal i MunkHouse i december 2015 - og selv om der siden har været udskiftning i både virksomheder og kolleger, har vi altid nydt den særlige stemning, der er i huset. Der er jævnligt kommet nye virksomheder til, og over frokosten i kantinen har vi vendt verden med vores gode naboer.
I dag var det så verdens tur til at vende os - MunkHouse og samtlige virksomheder i huset blev disrupted af en brand, der har efterladt bygningen i ruiner.
Jeg var på vej hjem på kontoret ved middagstid, da jeg blev mødt af en stor, hvid røgsky, som omsluttede den ene ende af bygningen. Jeg måtte vende om og køre en anden vej hen til bygningen, og undervejs fik jeg fat i en af vores medarbejdere på telefonen.
Vores folk var netop nået ned ad brandtrappen og gik mig i møde, da jeg ankom - og vi besluttede at redde en palle med spritnye coax-routere i vores lager, som lå i den ende af bygningen, som var længst væk fra røgskyen.
Et minut senere stod vi ude på gaden igen med en palle coax-routere og kunne se, røgskyen blev større og større og mere og mere sort.
Få minutter senere var taget overtændt, og brandvæsenet og politiet ankom. Der var ikke mere, vi kunne gøre på stedet, og nu skulle der lægges en slagplan.
MunkHouse husede vores kundeservice, og heldigvis havde vores folk været så snarrådige, at de tog deres laptops under armen, inden de forlod kontoret. Tre mand blev derfor sendt hjem for at bemande vores kundeservice fra deres hjemmearbejdspladser, og så vidt jeg ved, lykkedes det dem faktisk at holde vores telefoner åbne hele eftermiddagen.
Vi andre fik styr på de coax-routere, vi havde reddet, og kørte dagens læs af pakker ud til det nærliggende GLS-depot, så de kunne blive udsendt til vores kunder.
Resten af eftermiddagen er nu gået med at få styr på de praktiske detaljer, så vores kundeservice kan køre videre. Bygningen er i meget medtaget tilstand, og der kommer til at gå månedsvis, før vi kan flytte ind igen - hvis nogensinde.
Vi er derfor nødt til at finde nogle nye lokaler. Som en midlertidig nødplan kan det være, vi ender med at rydde min kælder, så vi kan arbejde derfra. Det har vi gjort før, så det kan vi nok godt gøre igen - indtil vi finder en permanent løsning.
I dag har det handlet om håndtering af praktiske problemer - men nu hvor dagen er ved at være slut, kommer tankerne om, hvor galt det kunne være gået.
Branden opstod sandsynligvis på vores tagterrasse, hvorfra den bredte sig til taget. En person tilknyttet MunkHouse forsøgte forgæves at slukke branden på terrassen med en skumslukker, men måtte give op, da ilden godt hjulpet af den kraftige vind havde fået for godt fat.
Sammen med ejeren af bygningen var han efterfølgende rundt i samtlige kontorer for at få folk ud - heriblandt flere, der ikke havde opdaget postyret.
Det er deres fortjeneste, at der i dag kun skete materiel skade - der gik kun få minutter, fra ilden fik fat i taget, til bygningen var overtændt, og jeg sidder tilbage med en følelse af lettelse over, at ingen kom noget til. Det kunne være gået grueligt galt.
Kviknet skal nok klare dette bump på vejen - det siges, at modgang gør os stærkere, og en krisehåndtering af denne kaliber er givetvis bedre for sammenholdet end et hvilken som helst teambuilding-kursus, man kunne have stablet på benene.
Men jeg er ked af at se Helge Munks vision om et levende, dynamisk iværksætterhus stå tilbage som en rygende ruin - og jeg håber, MunkHouse som en anden Fugl Føniks genopstår af asken.
Verden ville være et fattigere sted uden.
Lettet over at ingen er kommet til skade. Sig til hvis du skal have hjælp med noget, på den ene eller anden måde.
Håber I kan klare jer igennem og det kun er et lille bump på vejen for dit super firma, Yoel :-)
Jens, Skywire
Lettet over at ingen er kommet til skade. Sig til hvis du skal have hjælp med noget, på den ene eller anden måde.
Tusind tak, Jens - det skal jeg have in mente.
Heldigvis kører alle vores regnskaber m.v. elektronisk på servere uden for huset, og med backup et tredje sted - men episoden giver da anledning til at se vores beredskabsplaner efter i sømmene endnu en gang.
Have i ikke styr på jeres firewall ?
;-)
Og jeg vil også gerne hjælpe, er faktisk blevet kunde i firma... Så det er kun på tanke på mig selv :-)
Men bor nok lidt for langt væk, til at jeg kan være til hjælp, både med husly og hænder ? Vestjyland
Og jeg vil også gerne hjælpe, er faktisk blevet kunde i firma... Så det er kun på tanke på mig selv :-)
Vores kundeservice åbner som normalt i dag, og vores lager kommer til at sende pakker ud som normalt.
Der kan være et issue med pakker, folk sender til os, som bliver returneret til afsender - så vidt jeg kan gennemskue, kan man ikke omdirigere pakker sendt med PostNord - men ellers bør alting køre videre uden nogen mærkbare ændringer for kunderne.
Mener faktisk godt at man kan det.
Kan du ikke prøve at tage kontakt til Postnord?
Evt. overveje en postboks i en periode https://www.postnord.dk/modtag/postboks
Godt det kun blev materel skade, og ja, den slags ryster medarbejderne sammen, som intet andet. For 1½ år siden fik vi vandskadet hele kontor og kantine delen, og og kaos brød ud, men kun i kort tid, for så tog dem med lederegenskaber over, og reddede dagen. I dag har vi ny chef og ny driftsleder :)
Men forvent ikke mirakler, omkring genopbygning, da der garanteret kommer mere end et forsikringsselskab ind over, og det skaber kun forsinkelser (9 måneder her).
Man plejer da at kunne lave både permanent og midlertidig adresseændring.
Det ser ud som om, det ikke kan lade sig gøre for pakker - kun for breve:
https://www.postnord.dk/modtag/flytning
Vi forsøger dog at få hul igennem til deres kundeservice, så vi kan finde ud af, hvad der kan lade sig gøre.
Det ser ud som om, det ikke kan lade sig gøre for pakker - kun for breve:
Øh, og det er vist heller ikke engang muligt:
Midlertidig adresseændring ikke længere en mulighed
Det er desværre ikke længere muligt at melde midlertidig adresseændring og automatisk få videresendt sin post fra sin adresse. Du kan dog stadig modtage post på en anden adresse. Du skal blot sørge for, at posten er adresseret direkte til den adresse, du gerne vil modtage den på.
Øh, og det er vist heller ikke engang muligt:
Midlertidig adresseændring ikke længere en mulighed
Man kan game systemet ved at melde flytning i CVR. Så bliver brevene eftersendt i op til 6 mdr. efter flytningen.
En lille kuriøsitet: Jeg var oppe at tage et kig på bygningen her til morgen, hvor jeg mødte vores postbud. Han ville gerne undersøge sagen, og hans bagland havde følgende løsning: Han kunne tage pakkerne med retur til centralen, skrive en anmeldelse (de der små fuldmagter de lægger i postkassen), og så kunne han køre ud og aflevere den i den i postkassen på brandtomten dagen efter.
Han var selvsagt noget frustreret over dette ;)
Det er vel langt fra første gang at det brander ved virksomheder, postnord burde vel have nogle fleksible løsninger.
Det giver jo ingen mening at skulle tage post/pakker med ud til et sted man ved der er brandt ned.
Det burde vel også rent praktisk og økonomisk være bedre for Postnord at de kan omdirere det.
Det burde vel også rent praktisk og økonomisk være bedre for Postnord at de kan omdirere det.
Vi har nu haft fat i PostNord - og der er ingenting at gøre. Hvis ikke pakken kan afleveres på adressen, bliver den sendt retur, hvis der er angivet en afsender, eller på depot, hvis der ikke er. Her kan den så givetvis findes inden for en eller anden tidsfrist, hvis afsenderen har gemt track & trace-nummeret.
Hos GLS har vi fået omdirigeret vores indgående pakker - det var umiddelbart ikke noget problem.
Så ved vi hvorfor folk flygter fra Postnord. Det her er for mig et nyt lavpunkt i deres service eller mangel på samme. Men godt der ikke skete noget med folk. Nu sidder jeg her som kunde hos Yoel's Kviknet og ønsker man kunne gøre noget for at hjælpe, men desværre kan jeg ikke hjælpe på nogen af de punkter der er nævnt lige nu. Håber i klarer jer i gennem udfordringerne.
Så ved vi hvorfor folk flygter fra Postnord.
Ikke for egentligt at forsvare Postnord, men i et forum, hvor en del må formodes at få omdelt en avis med Bladkompagniet, så skal Postnord have, at brevene som oftest kommer frem.
Derimod virker det som at Bladkompagniet har en nebengeschæft med salg af papir som biobrændsel, istedet for den omdeling, de tager sig betalt for.
I gamle dage kunne man oprette en postbox. Så blev al post til adressen afleveret der, uanset om der stod postbox nr på aresselablen elller ej.
så skal Postnord have, at brevene som oftest kommer frem.
Her er jeg så ikke specielt enig med dig ;-)
Går og venter på en registreringsattest, som afsender først sender med korrekt adresse, men forkert stavet navn. Bliver ikke afleveret, selvom det er åbenlyst at det er korrekt adresse den skal leveres til.
Han sender så igen med korrekt navn, men den er endnu ikke dukket op.
Det er nu 14 dage siden, så tænker ikke at den dukker op. Træls....
Det er vel langt fra første gang at det brander ved virksomheder, postnord burde vel have nogle fleksible løsninger.
Det giver jo ingen mening at skulle tage post/pakker med ud til et sted man ved der er brandt ned.Det burde vel også rent praktisk og økonomisk være bedre for Postnord at de kan omdirere det.
PostNord og "fleksible" løsninger. Glem det....
Der er meget PostNord gør, som ikke giver nogen som helst mening.
F.eks. oplyser at der ikke var nogen at træffe på adressen ved aflevering af en pakke.
De kører ud i en lille bil (den kan der ikke være mange pakker i), smider seddel i postkassen om at pakken ikke kunne afleveres pga. ingen hjemme og den kan afhentes i den anden ende af byen.
På videoovervågning ser man postarbejderen stige ud af bilen og gå direkte til postkassen, for at putte sedlen i og køre igen.
Tja, så er der nok ingen hjemme, men det er jo også lige meget, når man alligevel ikke har pakken med...
I gamle dage kunne man oprette en postbox. Så blev al post til adressen afleveret der, uanset om der stod postbox nr på aresselablen elller ej.
Tak for tippet - det ser ud som om, det stadig kan lade sig gøre.
Men det ser ud som om, postboksen æder samtlige forsendelser til adressen med den løsning:
https://www.postnord.dk/kob-og-bestil/bestil-postboks
Og umiddelbart er det jo kun vores egne forsendelser, der skal ende der - ikke forsendelser til de andre virksomheder (selv om det selvfølgelig kunne være en slags service under de givne omstændigheder).
Der er en glimrende droneoptagelse af den brændte bygning her:
https://www.tv2fyn.dk/artikel/visionen-er-ikke-tabt
Kviknets kontor lå på 2. salen ud til brandtrappen på ydersiden af huset.
Et par foreløbige tanker om brandsikkerhed:
Tagpap brænder helt utrolig godt. Når det varmes op, smelter det, og den flydende, brændende bitumen løber ned i tagrenden og spreder ilden til resten af taget i en rasende fart. Min næste garage skal helt sikkert have tegltag.
Derudover viser droneoptagelserne tydeligt varmens effekt på konstruktionsstål - de kraftige H-bjælker, som bar det buede tag på bygningen, bukkede under for varmen og står forvredne tilbage.
Der var hverken termit eller jetfuel i bygningen - bare helt almindelige byggematerialer, der brændte. Jeg ved godt, der ikke er noget, der overbeviser hardcore konspirationstosser, men billederne taler for sig selv: Blotlagt stål mister sin styrke under en helt almindelig brand.
Der var hverken termit eller jetfuel i bygningen - bare helt almindelige byggematerialer, der brændte. Jeg ved godt, der ikke er noget, der overbeviser hardcore konspirationstosser, men billederne taler for sig selv: Blotlagt stål mister sin styrke under en helt almindelig brand.
En god konspirationsteoretiker lader sig ikke afskrække af noget så mondænt som fakta!
Og stålbjælkerne var garanteret gennem årene blevet svækket af al den Wi-Fi bestråling...
Dejligt at I alle slap godt fra det, og at konsekvenserne for forretningen ser ud til at være minimale.
kan sende en regning på fra København til Helsingør på mellem 13 og 17 dage... Hurtigere at gå derind, hente den, gå hjem, betale den og gå tilbage med kvitteringen i hånden....
Heldigvis kører alle vores regnskaber m.v. elektronisk på servere uden for huset, og med backup et tredje sted - men episoden giver da anledning til at se vores beredskabsplaner efter i sømmene endnu en gang.
Hvor nemt er det for en lille virksomhed at have styr på de ting der foregår udenfor huset? Hvad er jeres mulighed for at sikre systemerne mod single-point-of-failure når I ikke kender samarbejdspartneres løsninger i detaljer. Kender I fx. routning af kabler mellem de forskellige sites?
Hvor nemt er det for en lille virksomhed at have styr på de ting der foregår udenfor huset?
Det er ca. lige så svært, som det er for en stor ;)
Hvad er jeres mulighed for at sikre systemerne mod single-point-of-failure når I ikke kender samarbejdspartneres løsninger i detaljer. Kender I fx. routning af kabler mellem de forskellige sites?
Det er et meget bredt spørgsmål, hvis besvarelse egentlig kunne bære et blogindlæg i sig selv.
Jeg kommer til at tænke på Milton Friedmans glimrende "Lesson of the pencil" - ingen ved, hvordan man fremstiller en blyant fra grunden, da fremstillingen af hvert enkelt element i blyanten forudsætter eksistensen af andre materialer og værktøjer, som igen forudsætter andre materialer og værktøjer, etc. Skal man give en fyldestgørende beskrivelse af samtlige processer og elementer, der ligger til grund for noget så simpelt som en blyant, ender man med noget, der ligner en fraktal.
Det gælder så i endnu større grad for noget så komplekst som en internetforbindelse. Der er ingen - heller ikke store internetudbydere - der ved præcis, hvordan det hele fungerer i dybden. Det handler udelukkende om at lægge snittet, så man ved lige præcis nok til at kunne levere en acceptabel løsning til kunden.
Vi lejer både kapacitet og sort fiber hos vores underleverandører. I visse tilfælde ved vi nogenlunde, hvor de sorte fibre ligger i jorden, men generelt ved vi blot, i hvilket omfang vores leverandør garanterer redundant linieføring samt længden på fibrene.
Når vi lejer kapacitet, aner vi i praksis ikke, hvor de fysiske kabler befinder sig, eller hvor redundant løsningen er, når det kommer til stykket. Der må vi stole på den enkelte leverandør, som igen må stole på sine leverandører.
Det bliver aldrig et perfekt system - the law of leaky abstractions garanterer, at fejl, der opstår i underliggende lag, før eller siden vil manifestere sig i et problem, som går ud over vores leverance til kunden.
I visse tilfælde kan vi dog bruge vores viden om vores leverandørers infrastruktur til at optimere vores fejlsøgning og vedligeholdelse af nettet - det gælder fx TDC's netværk, hvor vi ved, hvilken DSLAM eller CMTS, en given kunde er tilkoblet, samt hvilke knudepunkter i netværket, trafikken skal igennem.
Med tilstrækkelig mange slutbrugere tilkoblet, kan vi danne os et ret præcist billede af, hvor en given fejl i TDC's net skal findes, selv om vores eneste metrik er den tid, der går fra vi sender en ICMP ping-pakke til en kundes router, til vi får svaret retur. Det reducerer fx nedetiden for kunderne drastisk, hvis vi kan melde til TDC, at samtlige kunder på DSLAM ar12 er nede, i stedet for blot at give meldingen "Vi har en masse kunder i Århus, der er offline".
Vi lejer både kapacitet og sort fiber hos vores underleverandører. I visse tilfælde ved vi nogenlunde, hvor de sorte fibre ligger i jorden, men generelt ved vi blot, i hvilket omfang vores leverandør garanterer redundant linieføring samt længden på fibrene.
Med sort fiber mellem telefoncentraler er der er ekstra trick. Vi kender længden på fiberen. Både fordi leverandøren opgiver længden, men også fordi det er nemt at måle. Antag at vi har tre centraler, A, B og C, som er forbundet A til B og B til C. Hvis fiberen fra A til B er kortere end luftlinjeafstanden fra A til C og det samme gælder fiberen fra B til C, så er det fysisk umuligt at de har kørt begge fibre via samme central. Eksempelvis ved vi at de ikke har kørt B til A til C i stedet for den direkte B til C.
Det kan udnyttes til at opbygge en fiberring hvor et enkelt brud er garanteret til maksimalt at afbryde en enkelt central fra ringen. Og det er garanteret ved ting du selv kan måle.
Men så skal du huske at måle efter regelmæssigt.
Det er ikke ualmindeligt at omhyggeligt fremførte redundante linier efter et antal rutinemæssige arbejder er havnet i samme kanal igen.
Det sker lidt implicit eftersom at afstanden mellem centralerne i mange tilfælde er 8-10 km og vi bruger fibermoduler med en rækkevidde af 10 km (*). Udover at de ikke kan omlægge linket uden afbrydelse, så vil det sandsynligvis hellere ikke fungere med et længere link.
Derudover er der realtime måling på dæmpning, hvilket enhver ændring af afstand vil slå ud på.
På GPON er det endnu nemmere: switchen måler afstanden i km som så kan udlæses direkte. Det foregår ved at måle tidsforsinkelsen på signalet.
(*) prøv at tjekke prisen på 100 Gbps moduler med henholdsvis 10 km og 40 km rækkevidde: https://www.fs.com/de-en/c/qsfp28-100g-transceivers-1159
Det kan udnyttes til at opbygge en fiberring hvor et enkelt brud er garanteret til maksimalt at afbryde en enkelt central fra ringen. Og det er garanteret ved ting du selv kan måle.
Til gengæld kan du først måle det, når fiberen er etableret, og der er ingen garanti for, at leverandøren vælger den kortest mulige vej. Jeg mindes en lille historie om en sort fiber mellem to telefoncentraler, der blev routed gennem store dele af København ;)
Det er ca. lige så svært, som det er for en stor ;)
Store virksomheder taler med underleverandører med lidt mere tyngde end små. :-) Hvis man kommer til en hosting provider og skal leje et halv rackskab så er viljen til at diskutere detaljer noget mindre end hvis man vil leje et halv datacenter.
Det er et meget bredt spørgsmål, hvis besvarelse egentlig kunne bære et blogindlæg i sig selv.
Jeg var ikke helt klar i mit spørgsmål. Jeg tænkte ikke så meget på jeres engagement med TDC men mere på det setup I selv har. Du har flere gange snakket om routere og andre services som I driver. Jeg går ud fra at I har hostet disse ting flere forskellige steder.
Umiddelbart gætter jeg på at jeres ønsker om oppetid er noget højere end standard løsninger; folk bliver hurtigt sure når deres internetforbindelse er nede uanset om det er TDCs, jeres eller kommunens skyld. Betaler I bare ekstra for bedre service (måske meget meget dyrt?), eller finder I andre metoder til at nå den nødvendige stabilitet?
Antag at vi har tre centraler, A, B og C, som er forbundet A til B og B til C. Hvis fiberen fra A til B er kortere end luftlinjeafstanden fra A til C og det samme gælder fiberen fra B til C, så er det fysisk umuligt at de har kørt begge fibre via samme central. Eksempelvis ved vi at de ikke har kørt B til A til C i stedet for den direkte B til C.
Er der ikke en mulighed for at fiberne ligger "i samme hul" selvom de ender forskellige steder? Sådan at en gravemaskine kan snuppe begge på samme tid? Et eksempel kunne være at de går ind i bygningen samme sted.
Er der ikke en mulighed for at fiberne ligger "i samme hul" selvom de ender forskellige steder? Sådan at en gravemaskine kan snuppe begge på samme tid? Et eksempel kunne være at de går ind i bygningen samme sted.
Ja, derfor er garantien ikke at ingen central kan afbrydes, men at maksimalt én central kan afbrydes.
Jeg mindes en lille historie om en sort fiber mellem to telefoncentraler, der blev routed gennem store dele af København ;)
Det var til gengæld også kontraktbrud eftersom vi havde et tilbud på en kort fiber. Det var bare nemmere at købe et par 80 km fibermoduler og komme videre. Det var bare et 1 Gbps link uden krav til redundans.
Der var tale om en erhvervskunde i København på Amagersiden, der skulle forbindes med sort fiber til nærmeste central på Sjællandsiden. Afstand mindre end 5 km. Det fungerede ikke, så vi fejlmelder fiberen på grund af for stor dæmpning. Jeg får så et opkald fra en tekniker der står ude i Albertslund og siger at alt er fint. De har så koblet os via Amagermotorvejen på grund af mangel på fiber på den direkte vej. Afstand cirka 50-60 km...
Det siger lidt om hvor svært det er i store organisationer, at de takker nej, da vi tilbød at flytte vores ende til centralen i Albertslund og dermed halvere afstanden. Beskeden var at så skal vi betale fem gange så meget, da der jo er langt fra Albertslund til Amager.
Jeg tænkte ikke så meget på jeres engagement med TDC men mere på det setup I selv har. Du har flere gange snakket om routere og andre services som I driver. Jeg går ud fra at I har hostet disse ting flere forskellige steder.
Vi har to datacentre, vi hoster vores egne services i.
Idealet er, at vi kan slukke 100 % for det ene datacenter og køre videre på det andet.
I praksis er vi ikke helt i mål endnu - vi er rendt ind i nogle hardwaremæssige udfordringer, der skal løses. Dertil kommer, at antallet af kunder og dermed også mængden af trafik er steget, så vi vokser ud af de rammer, vi er i.
Umiddelbart gætter jeg på at jeres ønsker om oppetid er noget højere end standard løsninger
Ja, det er helt korrekt - nedetid koster kunder og omdømme, så det skal undgås.
Betaler I bare ekstra for bedre service (måske meget meget dyrt?), eller finder I andre metoder til at nå den nødvendige stabilitet?
Man skelner normalt mellem ISP-produkter til infrastruktur og access-forbindelser.
Infrastruktur er sådan noget som peering-porte, sort fiber m.v. - de elementer, man bygger backbone-netværk af. Her er standarden døgnservice, typisk med max 4 timers responstid.
Derudover forsøger vi at bygge redundans ind i vores services, men i praksis er det ret svært. Hvis man fx har to routere i samme subnet, og dermed to veje ind og ud af nettet, har man i praksis to fejlkilder og dermed dobbelt så høj sandsynlighed for fejl - også selv om man kan imødegå visse fejltyper med fx VRRP, BFD, OSPF og BGP.
Problemet opstår som regel, når vi oplever defekter, hvor en router eller et link ikke går helt ned, men forbliver semi-oppe.
Det kan fx være ved software-crashes, hvor en router pludselig bliver et sort hul for trafikken, før resten af netværket opdager, at den er nede. Eller hvis man har transceivers, der bliver dårlige og begynder at tabe pakker, uden at linket går helt ned.
Access-forbindelser er de forbindelser, vi sælger til kunderne - her er der kun udvidet service, hvis kunden vil betale for det.
Vi har jo en forretning, der helst skal løbe rundt, så vi forsøger at spare penge, når det kan lade sig gøre uden at gå ud over driften.
Fx bruger vi Linux-servere som Carrier Grade NAT-routere - det er en billig og fleksibel løsning, der fungerer glimrende til vores behov. På visse telefoncentraler bruger vi en kombination af 230 V bystrøm og -48 V batteristrøm med en tilkoblet 230 V inverter. Det giver næsten datacenter-kvalitet, men til en brøkdel af prisen - og det kan bruges til servere, der indgår i nettet, som fx DHCP- eller DNS-servere.
