DSB-nedbrud: NNIT var midt i oppetids-certificering, da fejl sendte datacenteret i sort

Det var flere fejl under en demonstration i forbindelse med en certificeringsproces, der sendte NNIT's datacenter til tælling og DSB's systemer i sort.

Trods flere redundante nødstrømsløsninger blev NNIT's datacenter 26. april klokken 14.40 ramt af et større strømsvigt, der sendte serverne i sort. Nedbruddet bevirkede blandt andet, at hjemmesider, apps og billetautomater hos DSB - der er kunde hos NNIT - bragede ned.

Men hvordan kan det være, at diverse backup-strømkilder fejlede i forhold til at holde datacenteret i luften?

Det forklarer vice president i NNIT Hans-Henrik Langsted. Virksomheden var op til nedbruddet midt i en datacenter-certificeringsproces hos Uptime Institute i forhold til netop at kunne håndtere sådan noget som strømnedbrud.

»I den proces kører vi over nogle dage med forskellige slags demonstrationer. Vi er faktisk 90 procent henne i demonstrationen om onsdagen, hvor vi skal lave et scenarie, hvor vi tager en generator ud for at lave maintenance, og så skal bystrømmen falde bort,« siger han.

En kæde af begivenheder ledte op til nedbruddet i NNIT's datacenter. Der er tre kredsløb, der leverer strøm til centeret, som kan køre på to kredsløb. 1: Under en demonstration i forbindelse med en certificeringsproces blev kredsløb A koblet ud. 2: En fejlimplementering bevirker, at generatoren i kredsløb C ikke starter op. 3: Der viser sig at være for lidt strøm på batteriet i kredsløb C til at kunne opretholde strømleveringen. 4: Generatoren i kredsløb B kan ikke klare strømleveringen alene, og datacenteret brager ned. Illustration: NNIT

Strømforsyningen I NNIT's datacenter er indrettet med tre individuelle kredsløb, A, B og C. Hvert kredsløb er udgjort af en bylinje med strøm fra elnettet, en generator og en UPS (uninterruptible power supply).

I udgangspunktet fungerer det sådan, at hvis bystrømmen forsvinder, så bliver der sendt en besked til generatoren om at starte op og overtage strømleverancen, og mens det sker, sørger batterier via UPS’en for at levere strøm, så der ikke kommer nogen udfald i datacenteret.

Læs også: Se galleri over indmaden i NNITs datacenter

Certificerings-processen

I forbindelse med certificeringsprocessen skulle NNIT teste et scenarie, hvor en generator er taget ud til vedligehold, og hvor et af kredsløbene i den forbindelse bliver koblet ud. Det er i udgangspunktet helt fint, fordi datacenteret kan køre på de to resterende kredsløb.

»Det er faktisk meget normalt; det er ikke noget ekstremt scenarie på nogen måde. Det er en helt normal vedligeholdelsesdemonstration, vi skal vise her,« siger Hans-Henrik Langsted.

Han fortæller, at det sker flere gange om året, at et kredsløb på den måde bliver koblet ud af systemet i forhold til vedligehold af en generator.

Da NNIT i forbindelse med demonstrationen kobler det ene kredsløb (A) ud for at simulere vedligehold, så bliver der også slukket for bystrømmen til de to øvrige kredsløb B og C. Det sker for at simulere en situation, hvor bystrømmen forsvinder, mens en generator er taget ud til vedligehold.

Det burde der som sådan ikke være noget problem med, da der jo både er batterier og generatorer til at sikre strømmen i de to resterende kredsløb.

Når bystrømmen forsvinder fra de to øvrige kredsløb (B og C), er det således meningen, at UPS'erne skal tage over og levere uafbrudt strøm med deres batteribanker, indtil generatorerne i kredsløbene kommer op at køre.

Her hører det med til historien, at NNIT har opgraderet sine datacenter-UPS'er for nyligt. I den forbindelse er UPS’en i kredsløb C ikke blevet ordentligt implementeret. Og det bevirker, at generatoren i kredsløb c aldrig kommer op at køre.

Det er i sig selv ikke et problem, fordi der burde være strøm nok i batteribanken i kredsløb C til at holde systemet kørende, til NNIT’s teknikere kan få koblet bystrømmen ind i kredsløbet igen. Det er der imidlertid ikke.

Normalt er det meningen, at batterierne i systemet skal lades op for fuld kraft, når bystrømmen er koblet til i systemet. Men som følge af en konfigurationsfejl er batterierne kun blevet opladet med 25 pct. af den strømtilførsel, det var meningen, det skulle foregå med. Og derfor er der ikke meget strøm tilbage i batterierne, der er blevet brugt i forbindelse med de foregående dages certificeringsproces.

Så da generatoren i C fejler, kan batterierne ikke holde kredsløbet kørende i lang nok tid til, at teknikerne når at koble bystrømmen til.

Tilbage er B-kredsløbet, hvor generatoren godt nok kommer op at køre, men det går hurtigt galt, da det ikke er meningen, at kredsløbet skal trække hele datacenteret uden et af de andre kredsløb. Og desuden er der heller ikke her tilstrækkeligt med strøm på batteriet, der ligesom i C-kredsløbet ikke er blevet ordentligt opladet.

Og så går strømmen i datacenteret.

»En opringning, som jeg sent vil glemme«

På det tidspunkt, 14:40 den 26. april, befinder han sig i NNIT's hovedkvarter i Søborg.

»Jeg står i vores hovedkontor og får en opringning, som jeg sent vil glemme,« siger Hans-Henrik Langsted.

»Jeg får at vide, at 1P er tabt. Det er vores datacenter.«

Herefter kører han med det samme ud til datacenteret, hvor en datacenter manager sammen med diverse teknikere er i gang med at få strømmen genetableret i det mørklagte center. Det foregår ved at genetablere bystrømmen, men det er mere kompliceret end bare at trykke på en knap, da tingene skal starte op i en bestemt rækkefølge, forklarer Hans-Henrik Langsted.

Strømmen bliver genetableret inden for en time. Men det tager længere tid at få alle systemer som storage og netværk op at køre, da disse systemer også skal startes i en bestemt rækkefølge.

Ved midnat er 80 pct. af systemerne oppe igen, og 95 pct. af systemerne er oppe dagen efter nedbruddet. Fredag kommer de sidste systemer hos en enkelt kunde tilbage til normal drift.

»Det er en ret kompliceret real-life disaster-øvelse,« som Hans-Henrik Langsted udtrykker det.

Som nogle vil vide, så kan hardware og data lide overlast, hvis strømmen pludselig forsvinder. Men ifølge Hans-Henrik Langsted har skaderne, hvad det angår, begrænset sig til enkelte diske i et storagesystem.

»Vi udskiftede, jeg tror, under en håndfuld hardware-ting,« siger han.

Hvad gør I for at sikre for, at sådan noget her ikke gentager sig?
»Der er altid noget at lære. Det er der også i forhold til vores kontrol og vores processer. Dem kommer vi til at kigge meget nøje igennem,« siger Hans-Henrik Langsted.

Han kalder episoden for et hul i kvaliteten.

»Det er jo en mavepuster til vores kunder - vi skal forsikre dem om, at vi kan det her. Det gør man jo kun ved at vise, at vi nu kan køre det stabilt. Vi har jo en kæmpe opgave i forhold til vores kunder,« siger Hans-Henrik Langsted.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (24)

Anne-Marie Krogsbøll

... til NNIT for denne uventede åbenhed. Det gør det langt lettere at tilgive.

At det så ikke undskylder DSB´s dårlige håndtering af information til chauffører og deres fastholden af midt i kaos alligevel at ville kontrollere billetter "med konduite" og mulighed for refusion ved fejl i opkrævningerne - det er jo så en anden sag.

Det faglige indhold i NNIT's forklaring kan jeg ikke vurdere - men det lyder for en ukyndig som er ok forklaring på et hændeligt uheld - som bare ikke burde kunne ske.

Bjarke Jørgensen

Dejligt at se dybdegående journalistik der bliver ført til dørs - man kan nemt komme til at hate-bashe når noget går så galt som det gjorde, og så er det rart at blive klogere og vide hvorfor.

Tommes op.

Ivo Santos

Og hvem har så ansvaret for batteri niveauet i de tre UPS'er er i orden?
Og har NNIT tænkt sig at ændre i deres procedurer således at sådan et uheld ikke sker et gang til?

Det er de to spørgsmål jeg kan komme i tanke om efter jeg har læst hele artiklen.

Jesper Louis Andersen

Jeg hæfter mig umiddelbart ved at "systemerne skal startes op i en bestemt rækkefølge"

Det plejer at være udtryk for at det system man har bygget ikke er designet ordentligt. Har du (dybe) afhængigheder mellem delsystemer, så kan du ikke tåle at visse komponenter sætter ud fordi resten så skal igennem en bestemt startrækkefølge med manuel indgriben. Det går ud over ens oppetid, fordi mennesker med forstand på systemet er begrænset og de ikke kan arbejde hurtigere end "fornuftig hastighed hvor hovedet holdes køligt undervejs". Hvis du vil have bedre oppetid skal den slags ske automatisk. Det kræver typisk at systemet er designet hertil.

Tommelfingerregel: hvis du vil have et ekstra nital, i.e., 99.9 til 99.99% oppetid, så koster det i omegnen af 50-100 gange så stor en økonomisk investering.

Mads Bendixen

Har du (dybe) afhængigheder mellem delsystemer, så kan du ikke tåle at visse komponenter sætter ud fordi resten så skal igennem en bestemt startrækkefølge med manuel indgriben.


Der er forskel på "enkelte komponenter sætter ud" og så opstart fra 0, når alt har været slukket. I et Windows miljø er det f.eks. rarest at få domain controllerne i luften først, så man ikke er begrænset af de lokale brugere. Og database-servere vil oftest gerne have fat i noget storage når de startes.

Michael Deichmann

Selv ved automatisk opstart tar ting tid. Som Mads er inde på er der komponenter det er smart er kørende når du starter resten.
Hatten af for NNITs åbenhed, men hændeligt uheld er det ikke! Lidt yderligere rettidig omhu omkring UPSerne er nok på sin plads.

Kim Hjortholm

Fuldstændig normalt med en bestemt opstartssekvens som kan være mere eller mindre automatisk.

Selvfølgelig bør fejl som denne ikke ske, men som altid når et system med indbygget redundans/failover alligevel går i hegnet er det kombinationen af flere faktorer på samme tid. Kritiske faktor virker her til at være manglende monitorering af UPS batteri tilstand.

Anne-Marie Krogsbøll

Mange gode - og garanteret rigtige - bud på, at det alligevel ikke bare var hændeligt uheld.

Men hvad siger dette om certificeringsinstituttet? For en certificering bør vel ikke kun dreje sig om, om man kan kæmpe sig igennem en konkret situation, mens instituttet kigger over skulderen. Bør det ikke være en del af certificeringen, at instituttet vurderer procedurerne i sig selv - som de er planlagt på papiret?

Burde instituttet ikke på forhånd have udpeget disse svagheder i strukturen ud fra de beskrivelser, som jeg går ud fra, de må være blevet forelagt?

Ellers indebærer det jo, at NNIT kunne være blevet certificeret, hvis blot alt var gået godt - mens det underliggende system stadig var lige sårbart.

Er det på den måde øvrige offentlige institutioner certificeres - at fejl kun opdages, hvis de lige indtræffer, mens certificeringsprocessen står på?

Poul-Henning Kamp Blogger

og alligevel er det ikke blevet opdaget, at der stort set ikke er strøm på UPS'erne

Blybatterier i UPSer er ret trælse på den måde.

Fundamentalt set har vi ikke er nogen pålidelig metode til at forudsige om de vil holde til den mishandling UPS'en udsætter dem for når strømmen går.

Vi har nogle målemetoder der kan tilbagevise de mest elementære batterifejl, men ingen der kan forudsige om mange nok af de seriekoblede batterier vil holde til den massive afladestrøm længe nok og om få nok af dem fejler med en afbrydelse.

Problematikken er netop den store afladestrøm der designes med: UPSen skal kun holde belastningen 10-15 minutter indtil generatoren "helt sikkert" kører og ingen er interesseret i at betale for flere/større batterier end absolut nødvendigt.

Konsekvensen af den designstrategi, er at batterierne ikke overlever ret mange strømudfald, hvilket igen gør kunder/leverandører meget sparsomme med at foretage den eneste test der kan give nogen form for tillidsærklæring til batterierne: Prøv om de kan tage belastningen.

Korrekt batteridimensionering for ordentlig behandling af blybatterier, er mindst to parallelle batteristrenge der hver kan holde fuldlast i mindst fem timer.

Når man ikke mishandler batterierne kan man i fred og ro teste hver batteristreng med fuld belastning en gang om måneden, uden at det afkorter levetiden af batterierne og skulle en af dem fejle er man med meget stor sandsynlighed stadig dækket ind af den anden streng.

De fem timer giver også rigelig tid til at sparke liv i dieselgeneratoren manuelt.

Dette brok er ikke specielt rettet imod NNIT: Det er hele IT branchen der er så fedtede med blybatterier, at det er helt almindeligt at se flere strømsvigt på den kritiske belastning efter man har installeret UPS end man havde før.

Chresten Christensen

Jeg synes det er flot at der komme så mange oplysninger fra NNIT. Men hvad vi kan lære af dette er nok ikke helt klart, ikke desto mindre vil jeg give mit besyv; Det syne klart at deres kompliceret backup system, er skyld i fejlen, For mig at se, er det indlysende at jo mere kompliceret backup system man laver, jo større er risikoen for fejl. Hvis vi foretage et lille tanke eksperiment, hvor vi vil lave et sikker data-center, så vil kompleksiteten gå mod uendeligt, men inden vi kommer dertil vil fejle muligheder, begynde at have en negative bidrag, og stoppe denne teroretiske løsning på problemet. Hvornår det sker er selvfødelig afhængig af en række parameter og variable, men det er slet ikke nødvendigt at lave en stor og kompliceret beregning, da den praktiske løsning, også har fejle muligheder indbygget. Men da vi har et praktisk eksempel, på dette fra NNIT, kan man bruge dette som et eksempel på en praktisk løsning, hvor vi nok(måske) har ramt denne begrænsning på kompleksitet.
Så hvad er løsningen så? ,det er ikke sikker data-center, de findes ikke. Men en smart backup løsning som eksempelvis RRDNS.

REF :: https://en.wikipedia.org/wiki/Round-robin_DNS

Jens Åge Holm
Bente Hansen

Som hvis man har 2 fly, i stedet for et holdende. Det koster næsten det dobbelte.
Eller med lidt DJØF, mere end det dobbelte.

Men nu tager du en pris på 1000,- ved nogen tons, er den nok nærmere 1/3 .
Eller mindre, det har jo lidt betydning for prisen, hvor meget man køber.

Men noget som har stor betydning, er hvor længe de holder. Hvis man aldrig tester dem, så holder de evigt*. Noget de godt kan lide i økonomiafdelingen.
Hvor sådant valg nogle gange foretages, i stedet for der, hvor man lover oppetid.

  • De kan også holde ganske længe, hvis man passer på dem, og løbende udskifter dem med defekte celler. 20-30 år vil jeg mene.
    Men det kræver jo at de der afsættes viden og mandekraft til vedligeholdelse.
    Prøv at se på hospitaler.
Baldur Norddahl

Det er naturligvis "best current practice" de kører hos NNIT. Derfor undrer det mig at det betragtes som acceptabelt at man med vilje går ned til "ingen redundans" i et testforløb midt på dagen. Systemer er designet som N+1, N+2 eller mere, hvor tallet angiver antallet af fejl man kan tåle. Her slukker man en generator (én fejl) og tager bystrømmen (fejl nummer to) og derfor kan systemet ikke overleve lavt batteriniveau (fejl nummer tre).

Når jeg tester redundans i vores netværk, så gøres det i et servicevindue om natten af samme årsag.

Bente Hansen

i et testforløb midt på dagen


Igen økonomi, det er dyrt at betale overarbejde. Samt nok en generel holdning til at man er dygtigt nok, eller at der er styr på det. Det er så et ledelsesproblem.

Hvad økonomien jo også er i bund og grund. Det er jo ledelse, der tager ansvar for at prioritere.

Men igen, hvorfor også det, hvis ikke DSB sender regningen for en dags manglende billettering videre, eller ikke ser efter andre udbyder, for at flytte deres tjenester. Så har det jo ikke kostet NNIT, men kun deres kunder noget, at de har sparet. Man kan også spørge DSB, da de tilsyneladende kun har deres service på et datacenter, og ikke evner at skifte eller har et backup system.
Hvad de gør den dag, det bliver oversvømmet. eller bryder i brand. Klare sig uden kommunikation og betaling i en en månede eller 2 ?

Synes det er mange æg, at lægge i EN kurv, hvis man er stor, samt det er så forretningskritisk.

Bente Hansen

De kan også holde ganske længe, hvis man passer på dem, og løbende udskifter dem med defekte celler. 20-30 år vil jeg mene.

Det afhænger 100% af alt muligt: Typen af batterier, kvaliteten af batterierne, kvaliteten af laderen, omhyggeligheden af vedligeholdet, osv. osv.

Ja men det er jo en del af det at passe på dem, og lave en løbende udskiftning.
Så bør der jo være styr på ladning, vedligeholdes og de typer kvaliteten af de batterier man indkøber.


Men det bliver under alle omstændig nemmere og billigere i fremtiden, med Musk op hans sats på batteripakker til hjemmet, så får vi alle, nemt en eller anden form for backup.

Med den nuværende teknologi, kan de fleste mindre boligen hvor der ikke bruges EL til opvarmning, skifte rentable helt til Ø-Drift om 5-10 år*. Når man kun bruger maximal 1500-3000 Kw om året, så er EL nettet med de nuværende afgifter alt for dyrt. Om 4-6 år og når de nuværende gamle regler for solceller render ud. Så kan et delvis skift til Ø-drift med større eller mindre batterie pakker være en god idee for økonomien. Ikke for økologien, men sådan har afgifter i Danmark jo heller aldrig været tænkt ind.

En mindre generator eller måske brændselsceller(?) til billigt gas henter i Tyskland, kan nemt levere strøm i vintermåneder. Og med brug af spildvarmen til opvarmning, er det en god forretning for den enkelte.
Hvis man ser helt bort for afgifter og regler, så kan den køre på bioolie enten lavet ved en selv, eller hentet ved naboen til 3-4 kr literen. Det kan man også hælde i tanken (50%) i varmt vejr, hvis man ikke er glad for sin bil. man bliver så lidt småsulten, når man starter den. De små møller er jo også gode, men så skal man nok have jordvarme, da de laver alt for meget til en husstand uden ELVarme. Med de "fragtpriser" der er på el, kan vi måske også se nye private mindre elnet, hvor en vej eller mindre by deler elproduktion, på egen nyetableret net. Også har et biogasanlæg og fælles mølle/solceller/batterier med til El. Selv med de nuværende afgifter og regler, begynder der at være ide i at tænke ud af boksen. Når man ser at strøm kun koster 20 øre, og prisen for transport er mindst det dobbelte.
Hvis man f.eks. får et gaskomfur og ovn, og kun vasker og tørre tøj når der er "EL i ledningen", så vil et moderne hus, med nye hvidevarer . led. pc, tablet ikke bruge ret meget strøm. Måske helt ned til 300-600 kw om året per person. SÅ er et dyrt EL-net, hvor det skal betales for forbindelser til England, og til Vindmøller samt til investeringer i TV, Internet samt til ansvarlige sikkerhedsansvarligt fra familjen. Alt for dyrt.

UPS. Lidt off. trop.

Baldur Norddahl

Igen økonomi, det er dyrt at betale overarbejde. Samt nok en generel holdning til at man er dygtigt nok, eller at der er styr på det. Det er så et ledelsesproblem.

Jeg mener ikke at svaret er så enkelt. NNIT har genvundet noget tillid med denne artikel, da de ikke har gjort noget anderledes end hvad alle andre med samme certificering ville have gjort.

Problemet er med selve certificeringen. Der stilles krav om at redundansen skal demonstreres men ikke om at dette skal foregå i et servicevindue. Som jeg ser det, burde der enten ikke være krav om at udføre denne specifikke test, eller der burde være krav om at det sker i et servicevindue, eller der burde være krav om et fjerde generatorsæt, således at man på intet tidspunkt går ned på ingen redundans i drift.

Hvis man jagter "five nines" (99.999% oppetid) så kan man ikke have perioder uden redundans. Det andet er ikke seriøst. Det specifikke NNIT datacenter har nu ikke 99.999% oppetid, medmindre man måler over rigtig mange år og det ikke sker igen.

Men de får nok en certificering på det alligevel ud fra argumentet om at man skal se det som et gennemsnit over alle datacentre med certificeringen. Og her tæller nedbruddet slet ikke med i statistikken, hvis ikke de allerede var certificeret på nedbrudstidspunktet... forudsat at nogen overhovedet laver den statistik.

Poul-Henning Kamp Blogger

Siden du skrev det indlæg er litium batterier kommet frem til backup til solcelleanlæg og på systemniveau. Eksempelvis Tesla Powerwall.

Jep, men det er en cyklisk applikation, lithium er, så vidt man har erfaret indtil videre, ikke egnet til standby applikationer.

(Eller rettere: Du må kun oplade dem ca. halvt i den slags applikationer)

Martin Zacho

For øjeblikket deployerer vi (1) litium batterier til UPS brug - Vi leverer typisk LMO moduler i rack med 34kWh / rack (streng).
Cellerne i disse rack er brugbare til UPS applikationer og garanteres som standard i 3 år, men man kan tilkøbe op til 10 år garanti (80%SOH) i normalt standby forbrug.
Vi benytter moduler fra Samsung SDI (ingen Note 7 vittigheder, tak) af samme type som indtil 2016H2 også sad i BMW's i3.
Vi startede certificering / test i 2012, hvor også de første UPS installationer i vores regi fandt sted.
På økonomisiden koster den løsning vi tilbyder cirka det dobbelte af en tilsvarende VRLA (AGM) løsning uden monitorering mht. CAPEX.
Når vi ser på en fuld monitoreret åben celle bly løsning, så er den tilsvarende litium løsning billigere mht CAPEX. Dog skal siges at en åben celle bly løsning, som monitoreres og vedligeholdes kan holde længere end litiumløsningen, som dog er "vedligeholdelsesfri".
Designlevetiden for "vores" litiumløsning er 15 år ved 20 grader og "sparsomt" UPS brug - sparsomt = en månedlig <1 minuts afladning og 1 årlig fuld afladning.
Kan ikke udtale mig specifikt om NNIT's installation, da de er kunder i biksen, men jeg kan da kun nikke anerkendende til deres åbenhed om dette load drop - det er sjældent at vi ser den slags i vores branche.
Når det er sagt, så er det svært at tage ved lære af denne type scenarier, da der altid er mere end en ting, der skal gå galt før læsset vælter. Det eneste man kan lære er at virkeligheden er en bitch, som har en kedelig tendens til at finde huller i selv de bedste løsninger.
Mit bedste råd er som regel at holde tingene så enkle som muligt og gerne med 2N redundans, hvis man har råd :)

(1) Jeg arbejder ved Schneider Electric i Kolding, hvor vi designer 3 fasede UPS'er fra 10kW - 1.6MW.

Mogens Lysemose

"Blybatterier i UPSer er ret trælse". Der må have været elektronik og logik til at styre batterierne; de var jo konfigureret forkert til kun at lade langsomt op.
Den styring må da kunne lave et hæderligt estimat over opladninggrad som kunne have været aflæst af teknikeren inden testen så den blev udsat.
Derudover undrer det man ikke har testet konfigurationen af ups'en, så man verificerer den starter generatoren. I stedet opdager man fejlen når det er for sent. De to uopdagede konfigurstionsfejl, den ene i alle 3 ups'er, ser jeg som den reele årsag.
Men det er jo nemt at være bagklog... Imponerende at de er åbne om det!

benny nielsen

Når batterierne nu er så problematiske, så kunne man vel bare ha de 2 andre generatorer til at køre, før man tager den tredje ud for vedligehold? Det behøver jo ikke at være det store gamble med batterierne, når man nu har 2 generatorer og situationen er en simuleret vedligeholdelse. Ville selv have valgt at gøre det jeg med sikkerhed vidste var ensbetydende med oppetid!
Ærgerligt at man ikke kan monitorere batteriernes tilstand, da man ellers måtte kunne forhindre en generator i at blive taget ud uden at der enten var nok batterikapacitet eller de 2 andre generatorer kørte. Ellers god artikel og godt at alle bliver klogere.

Log ind eller opret en konto for at skrive kommentarer

Pressemeddelelser

Affecto Denmark reaches highest Microsoft Partner level

Affecto Denmark, a leading provider of data-driven solutions, has reached the highest level in the Microsoft partner ecosystem: Managed Partner.
22. jun 13:45

Innovate your business with Affecto's IoT Explorer Kit

Are you unsure if Internet of Things fits your business strategy?
31. maj 2017

Big Data Lake Summit: Fast and Trusted Insights

If you want to outpace, outsmart and outperform your competition in a digital world, you need trusted data that can be turned into actionable business insights at speed.
24. apr 2017