Sluk for pokker!

FaceBook's lille kvajert er en konkret påmindelse om at folk der ikke regelmæssigt tester deres koldstart procedure ordentligt, tester den uregelmæssigt og kaotisk.

(Den foreløbige rygtedannelse er at man ikke kunne komme i kontakt med de relevante BGP routere fordi adgangskontrollen afhang af at BGP virkede.)

Jeg tror ikke man kan have været i sysadm branchen ret mange år, før man få lavet sin første *deadly-embrace" konfiguration.

Min var to 3B2/600 servere i Luxembourg der mountede hinandens diske med SysV/R2 RFS.

Hvad den unge rødhårede gut ikke havde gennemskuet, var at SysV/R2 først mounter sine filsystemer, inklusive de remote og derefter exporterer de filsystemer der skal exporteres.

Tilmed havde genierne i USL besluttet at "En gang i fremtiden vil der opstå en civilisation der genopfinder citron-duftende papirservietter"[1] var en OK strategi og derfor kunne man ikke kill'e mount(1M) mens den prøvede at finde sin remote maskine.

Jeg var åbenbart ikke den eneste: i SysV/R3 havde USL genopfundet NFS's soft mounts.

Problemet med at teste sin koldstart, er at det kræver at man laver en koldstart.

Der er organisationer som har fod på det, de har allokeret et periodisk service-vindue hvor deres systemer bare ikke svarer, punktum. Hatten af for dem.

Men i langt de fleste organisationer vil en anmodning om et totalt service-vindue, for at teste om ting kommer op igen efter en strømafbrydelse, ikke være velset.

Som et herligt eksempel på hvor dårlige mennesker er til risikovurdering, vil alene det at man fremsætter ønsket, i stedet ofte føre til indkøb af en UPS "så problemet slet ikke opstår", til trods for at erfaringen her i landet er, at man får flere strømafbrydelser hvis man har én[2] UPS end hvis man ingen UPS har.

Hvis Folketinget vil gøre noget konkret og produktivt for at forbedre landets "cyberforsvar", skal de vedtage en lov som slukker for hele det danske elnet fra klokken 10 til klokken 16 på Grundlovsdag[3], så vi får koldstartsproceduren testet regelmæssigt.

Alternativet er uplanlagte, uregelmæssige og kaotiske tests.

Spørg bare FaceBook.

phk

[1] De antog at alle computer-installationer var bygget som telefonsystemer, men det viste sig året efter at deres antagelser om telefonsystemer også var forkerte.

[2] Vores elnet er fantastisk pålideligt: Der skal mindst to UPS'er i serie og en nødgenerator til at hamle op med det.

[3] Seks timer nede på et helt år er 99.93% oppetid, det kan vi godt leve med.

Kommentarer (47)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Søren Pilgård

Og hvorfor er det bedre at alting altid går ned 6 timer en gang om året, end at nogle få ting går ned et par timer en sjælden gang i mellem? Hvad er det du gerne vil vinde? Og tror du virkeligt at det vil få nogen af de store til at teste koldstart, eller bliver det bare den årlige "vi tænder generatoren og brænder diesel af i 6 timer" dag?

  • 10
  • 0
#2 Emil Hempel

Det har jo intet med at starte system forfra hvis man har lavet en config bøf... Prøv at se om det hjælper at slukke og tænde en linux maskien når du har skrevet rm -rf /etc eller rd /s /q c:\windows\system32 på Windows... (Kan ikke anbefales ;-))

Tænker lidt det er samme problematik - udfordringen for Facebook er de ikke havde tænkt scenariet at deres globale netværk kunne blive lagt ned at en config fejl - lidt lige som Cloudflare og mange andre gode mennesker før har oplevet...

  • 5
  • 2
#3 Malthe Høj-Sunesen

Hvis Folketinget vil gøre noget konkret og produktivt for at forbedre landets "cyberforsvar", skal de vedtage en lov som slukker for hele det danske elnet fra klokken 10 til klokken 16 på Grundlovsdag[3], så vi får koldstartsproceduren testet regelmæssigt.

Arh. Mit køleskab og min fryser vil ikke se helt fint på at vi slukker for strømmen midt på sommeren.

  • 8
  • 3
#6 Povl H. Pedersen

6 timer planlagt nedetid betyder at alle planlægger at tingene er nede, og laver andre planer. Så er det ikke længere en uventet paniksituation.

Hvis du spørger dem der driver løsninger til Black Friday om de helst vil være nede 2 timer fra kl. 00:01 - 02:01 eller 12 timer om torsdagen - så har du dit svar på hvorfor en planlagt afbrydelse/test er bedst.

NFS og remote maskiner der var nede husker jeg også som noget slemt fra engang i 80'erne eller ca. deromkring.

Der har været lavet meget skidt gennem tiderne. Synkrone DNS opslag på Windows var altid problematisk i gamle dage. Alt var frosset indtil timeout.

  • 10
  • 0
#10 Morten Fordsmand

Hvis man vil være sikker på at det hele hænger sammen er det en god ide at lukke sine datacentre.

Det er væsentligt nemmere at teste de enkelte dele , men jeg tror faktisk at dyrere hvis man vil hele raden rundt. Lige som at man ofte ikke finder afhængigheder mellem flere systemer, der forventes at arbejde sammen,

Jeg har deltaget i et par testprogrammer, hvor man har arbejdet frem i mod at kunne lave den slags tests med fokus på datacentrene (jeg er trods alt en D/R mand) Men da de samlede øvelser kan blive ret omfangsrige (100 + personer på arbejde midt om natten) er det ofte svært at få backing og funding - surt men sandt.

Der hvor jeg ser problemet er at identificere hvilke scenarier man vil afprøve fordi de vil følge vidt forskellige opretningsprocedurer, hvorfor en afprøvning skla designes forskelligt, nogen af de scenarier jeg kunne forestille mig er: 1) kold opstart af et eller flere forbundne systemer (som PHKs eksempler) 2) Tab af datacenter, hva enten det skyldes strømfejl, oversvømmelse, brand eller ildspårudlende drager. 3) Massiv data korrumpering på tværs af systemer

Bemærk at jeg ikke nævner noget om specifikke risici men fokuserer på konsekvensen.

  • 8
  • 0
#14 Baldur Norddahl

Det er lidt kostbart, det vil være ideelt hvis man kunne skaffe et identisk sæt hardware, servere, diske, switche der er ukonfigueret. Og så starte alt op fra backupen fra igår.

Det er ikke nok. Jeg har faktisk en minikopi af vores netværk i laboratoriet. Identisk ned til samme servere etc. Men jeg kan ikke simulere tusindvis af kunder og alt det udstyr de har sat til inklusiv alle de fejlopsætninger, botnets med videre. Jeg kan heller ikke simulere alle mulige fejl, eksempelvis at en switch er ramt af en ukendt firmware bug samtidig med at et bestemt link går ned et andet sted i netværket.

Det er også svært at simulere et DDoS angreb og hvordan det vil interagere med vores netværk under belastning. Det er et ikke trivielt problem at forudsige hvor trafikken flytter hen hvis et link bryder ned, specielt hvis det er på grund af overbelastning.

Og så er der udefrakommende hændelser og andre aktører. Eksempelvis da Danmark går videre i fodbold og en stor del af trafikken pludselig flyttes til en bestemt peer i stedet for af være spredt ud på mange kilder som sædvanligt.

Det er faktisk ikke nemt at teste alting på forhånd. Nogle gange må man falde tilbage på ens design og satse på at det holder når det gælder.

  • 5
  • 0
#15 Chris Bagge

Poul Henning har helt klart en pointe her, men der vil være et stort problem udenfor IT-verden, noget som jeg oplevede første gang på kollegiet i min studietid og senest i denne uge. Et (forsøg på) opstart af en masse enheder samtidigt vil "smække sikringerne" hos rigtigt mange mennesker, så mange at sikringer vil blive en mangelvare.

I min studietid havde vi "suppleret" køkkenet på kollegiet med et par ekstra køleskabe. Det gik fint indtil der var et længerevarende strømafbrud. Det betød at alle køleskabe nu var nået dertil at der var overtemperatur. Da køleskabe har en en startstrøm der er mere end ti gange så stor som driftstrømmen, så smækkedes den fælles sikring når strømmen kom tilbage.

Så sent som tidligere på ugen havde vi en lignende oplevelse på arbejdet. Et væltet glas vand i en kontakt på et hæve/sænkebord trak HPFI relæet. Ikke noget problem, men da man slog HPFI relæet ind igen så smækkede det de fire sikringsgrupper der var påvirket. Der stod en masse skærme og docking stationer der var "i dvale". Normalt ikke noget problem. Det er rigeligt med strøm til, men når så strømmen kommer tilbage forsøger de alle sammen samtidigt at få ladet deres kondensatorer i switch-konverterne op. Det er der ikke strøm til.

Hvis vi laver sådan en "øvelse" vil der være rigtigt mange helt almindelige husholdninger ikke teknologiske der vil blive påvirket i en uønsket grad, og de har næppe mulighed for at vide hvordan dette håndteres fornuftigt.

  • 12
  • 0
#17 Michael Deichmann

Morten, vi har jo været i samme organisation en gang, og der havde vi faktisk fast en årlig "shutdown" time om efteråret ved overgang til normaltid. Det var oprindeligt kun mainframesystemerne der blev lukket ned, men det var fordi der var usikkerhed om hvordan databasesystemer ville håndtere at tiden blev skruet tilbage ). Så man lukkede dem ned til kl. 03:00 DST og ventede så til kl. blev 03:00 igen hvor man så startede op. Selv et luftfartsselskab kunne leve med det, da de bare skrev alle boarding passene ud i forvejen og delte dem ud som folk mødte op. I den time tog vi også kniven til NESA for at se at UPSen og dieselgeneratorerne virkede. Og der galt det jo også midrangeserberne der kunne risikere at ryge ned hvis UPSen svigtede, så de kunder havde valget at lukke ned kontrolleret. Det fremgik at standard servicevinduerne. På et tidspunkt var der nogle sælgere og ledere der ikke forstod at sælge dette netop som et kvalitetstiltag, så det stoppede.

*) Da mainframe OS fik 2 timere - en HW timer og en OS timer og hvor man angav et offset imellem de to, der kunne ændres i drift, var der ikke teknisk behov for at lukke ned, men i flere år gjorde vi det alligevel netop på grund af de fordele der var ved det.

  • 3
  • 0
#19 Gorm Friborg

Lidt fra en anden verden, hvor det var godt der blev slukket for strømmen.

I en af min tidligere beskæftigelser, var jeg teaterteknisk konsulent og projekterede og rådgav om tekniske indretninger i teater og kulturhuse (scenemekanik, beslysningsanlæg - design af publikums og scenerum m.m.).

I denne egnskab, havde jeg stået for den sceneteknsike indretning af en sal på en højskole - og her skulle også skiftes og nyinstalleres en del nye el-installationer. Herunder nødbelysningsanlægget.

Der er nemlig regler for at man skal kunne komme ud af et rum ved brand og/eller hvis den almindelige belysning svigter - defor skal der være et nødbelysningsanlæg, der kan tænde en minimal separat beslysning, hvis de primære belysningskilder svigter.

Al erfaring der er opsamlet på området (havarikommission (brandvæsenet - beredskabet)) - viser at, hvis folk skal evakuerer sig fra en fare og det sker i mørke, vil det give at mange ikke kommer væk fra faren eller bliver trampet ihjel. Derfor er der lavet regler, kontrol og regler om autoriseret personale.

Jeg var så tilfældigt til stede, da det nyinstallere nødbelysningsanlæg skulle testes og godkendes under opsyn af beredeskabet (brandmyndigheden).

Den autoriserede el- installatør skulle vise for brandchefen fra beredskabet, at det nyinstallerede nødbelysninganlæg tændte for nødbelysningen, hvis den primære strømkilde svigtede og den almindelige belysning derfor slukkede.

Den flinke elinstallatør trykkede derfor på testkanappen på nødbelysningsanlægget - og straks tændte al nødbelysning.

Hertil bemærkede brandchefen tørt "at det da var fint at knappen virkede" - hvorefter han resolut vendte sig om og slukkede for hovedkniven i tavlen bag ham, så han lukkede for hele strømforsyning til bygningen!

OG DER BLEV MØRKT! Kulravende sort mørkt - og ingen nødbelysning tændte!!!

Den flinke brandchef tændte sin lygte og sagde til el installatøren: " jeg kommer igen om en uge, så virker nødbelysningsanlægget vel som det skal når strømmen går. Og så behøver jeg ikke skrive til sikkerhedsstyrelsen omkring din autorisation, den er jeg sikker på du gerne vil beholde!

Han lyste sig selv ud - og vi stor i tavlerummet i bulder mørke!! Men en uge efter virkede det perfekt - efter forskrifterne :-)

Det er en god ide at taste worstcase så realistisk som muligt - specielt hvis der er penge involveret - tænk på Titanic.

  • 30
  • 0
#20 Nis Schmidt

@15: Anbefaler at installationen regnes efter af en fagperson.

Et væltet glas vand i en kontakt på et hæve/sænkebord trak HPFI relæet. Ikke noget problem ...

Men det var det! Det er derfor vi ved elektronik-ingeniører har betydning!

Ikke ret mange har en seriøs forståelse af strømforsyninger mere.

Anekdote:

En gang i begyndelsen af firserne (1982) blev DGU[1]s VAX/VMS (V2.0) til en 'yo-yo'[+]; den gik ned - kom op igen efter få minutter, folk restorede de tekstfiler de havde åbne og fortsatte derfra. Et par minutter senere gik den ned igen og samme forløb gentog sig. Tredie gang rejste en studentermedhjælp sig op og gik over gangen mellem "skrivesstue" og "maskinstue", gennem printerrummet vadede han lige ind til operatør, system-ing. og edb-sektionschefen og spurgte: "Hvad sker der?".

Operatøren sagde; "Den går ned og kommer selv op igen efter et par minutter; vi har ringet efter fieldservice, de kommer om er par timer!"

Studenten gik over "konsollen", for at se på loggen; så sagde han: "power ok går i nul, der er noget galt med strømmen!"

"Nej" sagde de tre 'pinger'[2], "for lyset gik ikke ud". "Nå" sagde studenten, "så må det være en løs forbindelse"! Ved disse ord 'vågnede' sektionschefen: "jeg var elektrikker før jeg blev geolog og jeg har personlig tilsluttet strømmen!"

Nu blandede system-ingeniøren sig og efter kort tid efter gik sektionbossen (for at "lukke flaben" på studenten) med til at lave eksperiment: "elektrikkeren" skulle trække i strømkablet, der kom ud af el-skabet (han slukkede ikke for strømmen) og "studenten" skulle prøve at trække i samme kabel - bag på VAXen. Han talte ned (helt overflødigt) så de kunne trække samtidigt.

Der lød et højt grin fra systemingeniøren "elektrikkeren" stod med den halvt smeltede ende af kablet, operatør sagde: "nu kan jeg vel afbestille fieldservice...".; studenten gik ind til de to piger, det stod for systemprogrammeringen for at hente sig en frisk kop the, mems elektrikkeren klippede den smeltede ende og skruede de fire ledninger fast.

[1] Danmarks Geologiske Undersøgelse, EDB-center for Miljøstyrelsen med brugere ude i byen. [+} Hvis du ikke ved hvad en 'yo-yo' er, kan du prøve af oplysning på nettet. [2] Gammelt ord, man dengang brugte om vigtige personer.

  • 4
  • 0
#22 Morten Fordsmand

Det er lidt kostbart, det vil være ideelt hvis man kunne skaffe et identisk sæt hardware, servere, diske, switche der er ukonfigueret. Og så starte alt op fra backupen fra igår.

Problemet er så hvordan du vil teste over for resten af verden herunder dine brugere?

Problemet er at for at lave en perfekt afprøvning skal du bruge et parallelt univers.

(måske kan man klare sig med en jord version 2, som man vel kan bestille på Magrathea)

  • 6
  • 0
#23 Morten Fordsmand

For lidt over 6 år siden var noget dansk kritisk infrastruktur ramt af et relativt langt nedbrud.

Nu er det at finde en root cause jo altid en lidt filosofisk diskusion, men et væsentligt led på kæden var at noget netværksudstyr efter nogle års drift ikke kunne tåle at blive slukket og tændt igen, og i dette tilfælde gjaldt det så for alle fire interfacekort.

  • 0
  • 0
#24 Martin Dahl

Gad vide om der ikke er en sammenhæng i mellem sandsynligheden for et nedbrud per sekund, og sandsynligheden for at kunne finde en fagperson per sekund, der kan fikse problemet?

p_crash =ish p_hands * k

Hvor k angiver forholdet mellem udbud og efterspørgsel, sikkert er tæt på 1, og desuden også kunne hævdes at være propertionalt med den samlede forsyningssikkerhed.

Hvorledes påvirker det markedet at for t = t_crash, der er p_crash = 100% * antal installationer / sekund.

Er der hænder nok?

Er nettogevinsten på makroskala positiv, ved at skulle sørge for hænder nok til t_crash og gennemføre det store årlige reboot?

  • 0
  • 0
#25 Klavs Klavsen

er efter min mening super vigtigt og bedst at lave som en "recovery test som almindelig drift".

Vi fokuserer på at frit kunne migrere services imellem 2 lokationer - så vi som en del af 6-måneders major upgrades (af Kubernetes miljøer f.ex.) - simpelthen sletter den ene lokation - og laver fuld recovery og funktionalitetstests (på den nye major version vi vil opgradere til i produktion), før vi så indfaser den i aktiv drift igen (hvor vi har fallback mulighed hvis der skulle vise sig et problem tests ikke afslørede).

Det fordrer at man automatiserer sin recovery/ny-installation (og begge ting gøres med samme scripts - 99% samme kodestier) og så man faktisk sparer tid løbende, og anvender sine recovery kode, som en del af hverdagens arbejde (med nye setups etc.) - så økonomien hænger sammen.

Dermed på ingen måde sagt at det "er bare lige" - men hvis ikke man sætter sig et mål og sikrer at man løbende kommer det nærmere, lykkedes man ihvertfald aldrig med det :)

Nu laver vi drift - for mange virksomheder - så for os er rentabiliteten af automatisering af installation/recovery - ganske tydelig selvfølgelig. Ligeså bør den være for større virksomheder der har mange systemer og ny-udvikling. For mindre virksomheder er det selvfølgelig svært, hvis man vil klare det hele selv - når man ikke har de daglige opgaver, der gør det kan betale sig.

  • 2
  • 0
#26 Klavs Klavsen

Har alle tider også været god praktik.. Når man lige have ny-installeret et system, eller lavede en større OS opdatering - så genstartede man lige boksen - for at sikre at der ikke var gået noget i stykker..

Typisk som en del af det service vindue man alligevel havde fast til at systemet automatisk installerede OS opdateringer og selv rebootede.

Man inddeler selvf. så sine servere i grupperinger, så et sæt opdateringer kommer på de "mindst vigtige" servere først.. og når der ikke var nogen problemer der (eller dem der var er rettet) - sætter man næste gruppe til at få de samme opdateringer i næste uge osv. - og lige efter et service vindue skal der selvf. være nogen der er FRISKE til stede - så for alt andet end produktion, foretrækker jeg at have det kl. 6 om morgenen f.ex. - og så sikre at nogen møder kl. 7 - så alt er rimelig grundigt testet, før det bliver den sidste halvdel af produktionsudstyret, der får turen :)

  • 0
  • 0
#27 Morten Fordsmand

er efter min mening super vigtigt og bedst at lave som en "recovery test som almindelig drift".

Det er da en udemærket test men den er bestemt ikke fyldestgørende på alle dimmensioner:

1) I afprøver planlagt failover, hvilket ikke er det samme som at strømmen går i datacentret, da det vil påvirke diverse "cluster services" til at agere anderledes. 2) I afprøver ikke hele datacentrets infrastruktur altså slukker switche fjerner infrastruktur services (DNS, AD,......)?

Men jeres test beviser dog at den enkelte service kan køre fra begge centre, hvilket er en god start.

  • 0
  • 0
#28 Klavs Klavsen

Det er da en udemærket test men den er bestemt ikke fyldestgørende på alle dimmensioner:

Fyldestgørende er tæt på umuligt vil jeg mene.. Men at vide at man KAN installere sine ting indenfor den ønskede tidsramme for Full Site recovery (og så pege dns derover, hvis ikke man har sit eget AS og routing der kan gå i skoven :) er stadig noget der giver ro i maven.

Der vil stadig være problemer der rammer i rigtig drift og så må man løbende forsøge at inkorporere tests og procedurer der giver værdi ifht. at imødegå at fejl gentager sig, uden at de bliver så tunge så ingen faktisk anvender dem :)

  • 0
  • 0
#29 Klavs Klavsen

I afprøver ikke hele datacentrets infrastruktur altså slukker switche fjerner infrastruktur services (DNS, AD,......)?

Heldigvis har vi den luksus at vi IKKE hoster noget som helst - det lader vi kunderne om at vælge hvor de gør. Havde vi ansvar for den del også, skal det klart også tænkes ind i dagligdagen.. f.ex. køre en række tests der slukker for strømmen til X udstyr etc. - når de aktive services er flyttet.

Igen er det umuligt at forsøge at teste for "alt der kunne ske" - især når det helst skal være en procedure man også GIDER følge, i ens normale arbejde - så den skal altså kunne automatiseres i en grad, hvor det kan betale sig at arbejde sådan.

  • 0
  • 0
#30 Morten Fordsmand

Er nettogevinsten på makroskala positiv, ved at skulle sørge for hænder nok til t_crash og gennemføre det store årlige reboot?

Problemet er her at markedskræfterne er sat ud af spil.

Vi taler (endnu) om ganske lave sandsynligheder for katastrofale udfald, kombineret med potentielt altødelæggende konsekvenser for forretningen, og det er noget som ikke håndteres godt af normal risk management.

Derudover er det nok ikke alle organisationer, der har tid til at rette vedkommende melder sig på "markedet"

  • 0
  • 0
#31 Morten Fordsmand

Der vil stadig være problemer der rammer i rigtig drift og så må man løbende forsøge at inkorporere tests og procedurer der giver værdi ifht. at imødegå at fejl gentager sig, uden at de bliver så tunge så ingen faktisk anvender dem :)

Enig, man skal bare sørge for at være klar over hvad begrænsningerne i ens testprogram er, og huske at fortælle det til sine kunder.

Minder mig i øvrigt om nogen, der havde et HACMP/AIX cluster kørende hen over to datacentre. Når de skulle patche lukkede de applikation og database ned på den ene side og verificerede at det flyttede pænt over på B-siden og at applikationen kørte, så pathced de A-siden med nødvendige boots. Flyttede applikation og database tilbage til A-siden og patchede B-siden. Problemet var selvfølgelig bare at der var forskel på etc\services mellem A og B, så da man en dag afprøvede det virkede applikationen ikke helt som man havde forestillet sig :(

  • 0
  • 0
#34 Bjarne Nielsen

Sejt. Det vidste jeg ikke at man kunne :)

Det er ret nemt, og sker flere steder. Hvis man griber direkte ind prisdannelsen, så kan det føre til overefterspørgsel/underudbud (og f.eks. penge under bordet) eller overudbud/underefterspørgsel (og f.eks. mælkesøer). Der er også kartel- og monopoldannelse, som ofte er motiveret af et ønske om markedsmanipulation, og der er f.eks. rationing.

Der er også afgifter og subsidier (som f.eks. tobaksafgifter og landbrugsstøtte). I en særlig kategori er korrektioner for markedsfejl, som når de samlede omkostninger ikke er synlige for markedsaktørerne.

  • 0
  • 0
#35 Thomas Hansen

Hej PHK, du skriver "Vores elnet er fantastisk pålideligt: Der skal mindst to UPS'er i serie og en nødgenerator til at hamle op med det."

Er det bare et slag på tasken eller er der et sted hvor jeg kan læse om dette? Eller er der mon andre herinde der lige ved hvor man skal lede efter lign. info?

  • 0
  • 0
#36 Rune Mosbacher

Disse rapporter fra Energinet - hvor jeg selv arbejder - er et sted at starte:

https://energinet.dk/-/media/480ED137F0884FDE918563DB04171FEA.pdf

https://energinet.dk/-/media/F737881B1E724E15B0EA64CC8410232E.pdf

Helt overordnet er stort set alt i vores transmissionsnet dimensioneret til at kunne håndtere udfald af 1-2 centrale komponenter uden at den almene forbruger oplever afbrydelser. Jeg antager at det giver anledning til sammenligningen med 2 UPS'er.

  • 1
  • 0
#37 Poul-Henning Kamp Blogger

Er det bare et slag på tasken eller er der et sted hvor jeg kan læse om dette? Eller er der mon andre herinde der lige ved hvor man skal lede efter lign. info?

USA's elnet langt flere afbrydelser og transienter end det danske og derfor er det næsten per definition altid en forbedring at have en UPS derovre, næsten uanset hvor billig og elendig den er.

Den mentale model er naturligvis dybt indbygget i meget af den kommunikation vi modtager og derfor er der ikke noget at sige til at også danske beslutningstagere tror at "so ein ding..."[1]

Men "the dirty secret everbody knows" i nødstrømsbranchen er at det danske elnet er meget pålideligt og dermed svært at konkurrere med.

Jeg er sikker på at der er sælgertyper som vil himle op om hvor gode og pålidelige deres UPS'er er, men desuagtet er det high-performance effektelektronik og det er aldrig ufejlbarligt og skal der laves vedligehold, service og test - også på UPS'er.

Det går ikke altid godt, og fejlfrekvensen er ikke helt ulig den energinet.dk + det lokale distributionsselskab præsterer, hvilket rejser valide spørgsmål om hvor god en investering det faktisk er.

Hvis man gør det rigtigt, to UPS'er, med hver sin diesel generator, to separate distributioner, alle maskiner har redundante PSU'er, en på hver UPS og man tager det hele fantastisk seriøst, er der ingen tvivl om at man kan slå energinet.dk.

Problemet er at det naturligvis er meget stokastisk, det afhænger af præcis hvor i elnettet du befinder dig, hvor mange idioter og gravemaskiner der er i samme nabolag og hvor godt dit udstyr håndterer meget korte afbrydelser.

Men der mig bekendt endnu ingen normale danske virksomheder der nogensinde har dokumenteret at de fik lavere driftsudgifter ved at købe én UPS.

[1] Medarbejdere i en danske virksomhed med USAnske ejere har derfor også oplevet at firmajulegaven var en "Surgeprotector" til hjemmekontoret, fordi et USAnsk management-blad havde påpeget at det var en god investering at beskytte firma-laptop'en hjemme hos medarbejderne :-)

  • 4
  • 0
#38 Henning Svane

Mange tak for linksene til energinet.dk Interessant læsning. Specielt at man i fremtiden skal vende sig til et nyt begreb at der kan vær omend korte perioder hvor der ikke er strøm nok.

Nu arbejder jeg primært med IT mod pharma industrien hvor et udfald kan medfører et batch skal smides ud. Her ser man UPS, som altid sidder på alle faser, som en forsikring, da et batch kan svare til et forløb på 3 måneder der er tabt og tilsvarende stort tab. Der nævnese de kan sætte i serie, her tænker jeg det må være en skrivefejl, da jeg ikke kan se hvad det skulle tjene. Det man ser oftes er at det er indgangstrinet der brænder af. Det kan skyldes at der kan være betydelige ripler i et industriområde, når større elmotorer kobles ind og ud. Det skal her siges at jeg kun gennem årene har benyttet on-line UPS'er og kun har erfaringer med disse.

Netop i dette lys finder jeg det interessant at man nu forventer at der kan være knaphed på nettet hvilket netop kan give ripler.

Endvidere skrives der også at der er en tæt forbindelse mellem andre landes forsyningsnet, men samtidig at Danmarks stabilitet er meget høj sammelignet med resten af Europa, men jeg læser ikke eller overså det, hvordan vi beskytter vores indlanske net hvis der skulle komme knaphed i udlandet. Lidt lige som da Sverige faldt ud for en del år siden.

  • 2
  • 0
#39 Baldur Norddahl

Men der mig bekendt endnu ingen normale danske virksomheder der nogensinde har dokumenteret at de fik lavere driftsudgifter ved at købe én UPS.

En lidt overset mulighed er at have UPS på den ene strømforsyning og den anden er sat direkte til elnettet. Dermed har du ikke indsat en ekstra ting der kan fejle og der er gode chancer for at UPS'en sparer mindst 1-2 genstarter over en årerække :-)

Da jeg startede som internetudbyder lærte jeg at der skal være UPS på udstyret på centralerne. Strømafbrydelser er ikke så sjældne igen når man har mange lokationer. Til gengæld er de ofte meget lokale og kunderne er ikke nødvendigvis påvirket af en strømafbrydelse på centralen. Så hvis man ikke vil have ry for at være ustabil, så er det en god lille investering.

  • 1
  • 0
#40 Poul-Henning Kamp Blogger

Der nævnese de kan sætte i serie, her tænker jeg det må være en skrivefejl,

Nej, det er en meget almindelig konfiguration i mellemstore installationer.

Den primære UPS har store batterier og sidder nærmest belastningen.

Den sekundære UPS har små batterier og sidder mellem Diesel/Net og den primære UPS.

Ideen er (bla.) at sikre sig imod strømafbrydelser under service (=bypass) på den primære UPS.

  • 1
  • 0
#41 Poul-Henning Kamp Blogger

En lidt overset mulighed er at have UPS på den ene strømforsyning og den anden er sat direkte til elnettet. Dermed har du ikke indsat en ekstra ting der kan fejle og der er gode chancer for at UPS'en sparer mindst 1-2 genstarter over en årerække :-)

Ja, hvis alt dit udstyr har redundant PSU er det bestemt det klogeste, men det koster en dobbelt elinstallation, hvilket kan være en stor udskrivning, specielt som retrofit.

Min egen personlige preference er Google-modellen: Et VRLA batteri i hver enkelt server og en diesel generator.

  • 1
  • 0
#42 Hans Erik Wennerberg

Jeg flyttede til DK i 2007 efter en del år i Afrika og solgte der familiens UPS'er inden afrejsen. Selv i det relativt tætbefolkede Nordsjælland har jeg efterfølgende haft nok afbrydelser til at jeg nu igen har UPS på min og fruens stationære maskiner...

  • 3
  • 0
#43 Henning Svane

Ja det at splitte forsyningen mellem bystrøm og en ups er god løsning, som jeg bruger meget på netværksudstyr, da det som ofte er redundant. Nu når vi taler om det der oftest glemmes er det at man sætter et fælles hpfi relæ op. Når det brydes ryger alt strøm. Derfor er det bedre at sætte combi relæer (1 fase sikring med hpfi) på forsyninger så brydes kun den fase hvor fejlen ligger på. Ja det koster lidt mere, men at slukke alle sit udstyr pga en lokal fejl er ærlig.

  • 0
  • 0
#44 Henning Svane

Jeg har læst om Google modellen før og har set Supermicro har lavet psu'er med indbygget ups, men hvordan har du løst det selv. Et batteri er på 12v og et motherboard bruger flere spændinger i dag, har du lavet din egen forsyning? Ville være smart hvis en psu havde en aux indgang til 12 v.

  • 0
  • 0
#47 Jesper Reinhold

Super god historie!!!, det minder mig om en tilsvarende jeg havde for mange år side i USA.

Vi var et lille Dansk firma som skulle installere et specielt nøglefærdigt forbrændingsanlæg hos en kunde i USA. Alt var nyt. nye bygninger, anlæg strøm. vand.. you name it.

Vi haved fået anlæget op at køre, og nu var tiden kommet til at teste om nødstrømsanlægget virkede, samt nødbelysning.

Myndighederne forlangte at strømmen blev taget i transformatorstationen uden for matrikklen for at simulerer værst tænkelige situation. El selskabet gik i gang, og slam... der røg alt strømmen. få sekunder efter kunne vi hører at nødgeneratoren startede ( en caterpillar selvfølgelig ) og anlæget startede op om det skulle YES. nødbelysningen som den skulle YES. Vi Danskere var sku lidt stolte at kunne vise de yankier at vi kunne noget.

ok. Vi havde glemt nødbelysning på toialettet. Der manglede lys på værkstedet. Der var heller ikke lys ved læsserampen. Det kunne armerikanerne dog leve med. Pludselig hørte vi en del larm og brok. inden fra cantinen. Der havde de en cola maskine og slik automat. De var IKKE sat til nødstrøm. Nu kunne armikanerne ikke få cola og slik!! sådan en flok danske amartører! Det røg til højeste sted, og vi måtte undskylde mange gange.

  • 3
  • 0
Log ind eller Opret konto for at kommentere