Bloatware fra én Lenovo lammede netværk: 10.000 studerende uden internet i halvanden dag

En dansk læreanstalt fik netværket lagt ned af medfølgende software på én Lenovo-computer. Tjenesten oversvømmede netværket og DDoS’ede firewallen indefra.

Den ekstra software, som pc-producenterne tilføjer til deres computere som standard - også kendt som bloatware - har ofte været udskældt. Nu er en tjeneste, som Lenovo har installeret på selskabets computere, endt med at være direkte skadelig.

I Danmark gik problemet ud over cirka 10.000 studerende og flere tusinde ansatte på en uddannelsesinstitution, som i begyndelsen af april ikke havde adgang til internettet i halvanden dag. Det erfarer Version2 efter et tip til redaktionen, som redaktionen efter aftale holder anonymt.

Synderen er det lille program Lenovo EMC Storage Connector, som kommer præinstalleret på almindelige bærbare Lenovo-computere og er aktivt som standard. Softwaren kører i en proces med navnet Discovery.exe og holder øje med, om computeren bliver tilsluttet et netværk med en Lenovo/EMC storage-løsning.

Desværre er softwaren så dårligt skruet sammen, at den kan begynde at sende forespørgsler af sted i et omfang, der ligner et forsøg på DDoS-angreb. I det danske eksempel blev en kraftig, dubleret firewall således lagt ned af netværkstrafikken fra denne ene bærbare computer, hvilket altså lukkede internetadgangen ned for alle.

I stedet for normalt 50.000 aktive forbindelser skulle firewallen håndtere seks millioner forbindelser, og på grund af det dublerede setup, blev disse forbindelser spejlet mellem de to firewalls. Det kunne forbindelsen mellem de to firewalls ikke holde til, så begge firewalls tror, at de er ene om opgaven og bliver aktive - med fatale følger for netværkstrafikken.

Løsningen på problemet er at stoppe Discovery.exe-processen og afinstallere Lenovo EMC Storage Connector fra computeren. Men da enhver Lenovo-computer med den fejlbehæftede standardsoftware kan udløse problemet, kan det i princippet ske igen på det danske uddannelsessted, som i sagens natur ikke kan kontrollere alle de studerendes computere, før de kobler på netværket.

Problemet har også ramt andre, fremgår det af en diskussionstråd i Lenovos supportforum. Her skriver it-folk om, hvordan deres netværk og internetforbindelse går i knæ, og jagten på malware sættes ind, før de opdager, at det er Lenovos egen software, der er gået amok.

I en detaljeret gennemgang viser en amerikansk it-mand mere præcist, hvad der sker, og han er lamslået over, at Lenovo kunne lade den slags software slippe igennem kvalitetskontrollen.

I tråden svarer Lenovo fredag den 4. april også officielt, at der nu bliver arbejdet på problemet. I mellemtiden lyder anbefalingen at afinstallere softwaren. En anden Lenovo-talsmand beklager balladen og skriver, at softwaren dels bruger en dårlig metode til at lede efter storage-enheder, dels at metoden også er blevet implementeret helt forkert.

Følg med i døgnets vigtigste it-nyheder, og bliv del af Danmarks mest vidende læserskare. Tilmeld dig Version2s daglige nyhedsbrev? her.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (24)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Lars Borup Jensen

.. sagsøges langt ind i helvede, alene så de kan lære at de skal lade være med at installere bloatware een gang for alle.. Så vi kan blive fri for det skidt. Alternativt burde man, hvis der ikke står oplyst på købsspecifikationen at program x er installeret, sende dem en stor fed regning for den tid man har brugt på at fjerne deres lort..

(ja, er en kende harm over nogle af de ting, producenterne kan finde på at bloate deres HW med, har engang fået en bærbar med en fuld SQL server, alene med 30 dages licens, pre-installeret.. Stort set umuligt at få det skidt skrabet af skoen (pc'en) igen)

Brian Hansen

Har oplevet noget lignende fra vores Trend Micro antivirus vi kører i firmaet. De skubbede engang en opdatering ud, der gjorde klienterne spammede vores netværk så hårdt med broadcast traffik at det var praktisk talt umuligt at bruge.
Wireshark afslørede synderen, og jeg kontaktede Trend Micro: "Nææ nej, det kender vi ikke noget til!" men en times tid senere stoppede det :-)

Dennis Ladefoged

I skal altså rette artiklen. Som førnævnt kan "angrebet" ikke være distributed med kun én PC.
Uden at kende alle detaljer vil jeg mene at en del af det lange nedbrud skyldes en dårlig implementering af firewall clusteret. Udledt af artiklen lyder det som om at de to firewall´s mistede deres syncnet og blev derfor headless. Undskyld mig, men alle ved da at et syncnet skal være out of bound og ikke en del af den alm. topologi.
Jeg har i mit daglige arbejde set flere af disse "angreb" fra dårligt skrevet software. Men heldigvis har der været implementeret safeguards i netværket som har inddæmmet det (såsom storm/flood control).

Dennis Ladefoged

I skal altså rette artiklen. Som førnævnt kan "angrebet" ikke være distributed med kun én PC.
Uden at kende alle detaljer vil jeg mene at en del af det lange nedbrud skyldes en dårlig implementering af firewall clusteret. Udledt af artiklen lyder det som om at de to firewall´s mistede deres syncnet og blev derfor headless. Undskyld mig, men alle ved da at et syncnet skal være out of bound og ikke en del af den alm. topologi.
Jeg har i mit daglige arbejde set flere af disse "angreb" fra dårligt skrevet software. Men heldigvis har der været implementeret safeguards i netværket som har inddæmmet det (såsom storm/flood control).

Carsten Olsen

Traceroutes to external IP's where even worse, DNS requests forwarded off their network to their ISP's DNS servers never where sent or recieved. To them it was the network is down, and we can't get to the internet.

Jeg tror også at Fullrate var ramt af dette. For ca 2 måneder siden. (De har måske nogle kunder der kører med Lenovo maskiner). Symptomet var at min maskine sagde at jeg ikke var forbundet til internettet. Efter reset af alt udstyr på min adresse, virkede det stadig ikke, samme fejl. Så prøvede jeg at pinge fra min maskine. Ok på maskinens egen internal-ip. Jo længere jeg kom ud hos ISPen,jo længere svartider (ca 200ms). Til sidst prøvede jeg at kontakte webserveren ved at indtaste ip adressen direkte. viola nu fik jeg en side der sagde "webhotel xxxxx", altså webseveren svarede. ??

Carsten Olsen

http://www.version2.dk/artikel/ibm-switchen-gik-amok-6967

Fra denne artikel:

Lars Mikkelgaard-Jensen forklarer til Børsen, at IBM endnu ikke har været nede i de tekniske detaljer for at se, hvad der lå bag årsagerne til nedbruddet.

»Vi mangler stadig fuldt ud at forstå, hvorfor en fejl omkring en switch kunne få ultimativ betydning for to af vores systemer,« siger Lars Mikkelgaard-Jensen til Børsen.

Alligevel tør han godt love, at det ikke sker igen.

»Vi har fundet fejlen og rettet fejlen, så det sker ikke igen,« siger han.

En masse selvmodsigende undskyldninger, drop det, samt jeres dyre "management tools" , brug TCP-dump/Wireshark. (Nej ikke slukke. Trace medens fejl stadig er der)

Kjeld Flarup Christensen

Det viser blot hvor svært det er at lave redundante løsninger.
Hele ideen med automatisk switch over er god, men den skal testes som bare...

Og når det kommer til stykket, så kan det vise sig at nedetiden på grund af fejl i automatikken, er større end nedetiden ved at lave et manuelt skifte.

Knud Høgh Knudsen

Ganske rigtigt. Min PC har idelige problemer med WiFi kontakt og dermed kontakt til mintrådløse printer og også til Internet.
Konflikt mellem Lenovo BW installeret Access Connections radio del og den oprindelige i Win7 installerede.
Har nu været til rep hos Lenovo 3 gange. Sidste gang med resultat at man "fandt en fejl i Win7 installation" og geninstallerede Win 7 igen og returnerede PC'en. Flere timers arbejde med at geninstallere programmer og SAMME resultat. Selvfølgelig havde Lenovo gensinstalleret den samme BW Win 7 SW ige. Hjalp det: - Nej.
Konmtakt til Lenovo igen. Nu var meldingen at Lenovo ikke supporterer SW men kun deres HW. Altså man smyger sig udenom den mængde af BW man har installeret i Win versionen.
Tilfreds med Lenovo: NEJ. Jeg har stadig en PC der ikke fungerer.

Thomas Vestergaard

Konflikt mellem Lenovo BW installeret Access Connections radio del og den oprindelige i Win7 installerede.


Off-topic: Hvis det er samme problem som jeg oplevede, så bunder det i, at Access Connections er en "erstatning" for Microsofts administration af trådløse netværk, så hvis man forsøger at bruge begge dele, så fucker det op, men hvis man enten afinstallerer Access Connections, eller ignorere Windows' indstillingerne, så fungerer det udemærket.

Jacob Hansen

Riv hovedet af Lenovo og skid i hullet! Duns dem ihjel med en kogt tysk spegepølse! Tving dem til at æde sig selv ihjel med dåseravioli! Og tving dem til at læse samtlige udgaver af 50 Shades of Grey baglæns (med tilsat dåselatter)!

SÅ! Nu har vi vist fået aggressionerne over Lenovos bloatware af banen.

Men løser det noget? Med 1000 PCer på et netværk, og med 100+ leverandører af slamware, så VIL der næsten med sikkerhed være et eller andet program, der taber småkagerne og giver gas med at spamme netværket.

At gøre intet og vente på at det går galt, og så håne leverandøren på nettet er måske lidt bagvendt. Hvordan kan man sikre netværket fremadrettet? Bør man begrænse antallet af connections en klient kan have flyvende og evt. kyle klienten af nettet i så fald?

PS: Bloatware burde dø! ;)

Mickey Rasmussen

Bloatware er så dumt, og kan slet ikke forholde mig til at der overhovedet er tilladt at overspamme nye maskiner med ubrugeligt software.

For alm. Forbrugere betyder det at de oplever en langsom pc out of the box.

Nu kender jeg ikke deres infrastruktur, men mon ikke det er muligt at rulle eb patch ud til maskinerne som dræber processen? En patch som lenovo iøvrigt burde udvikle uden beregning

Michael Peters

Ofte har jeg undret mig over det præinstallerede, der samtidig ofte er en form for reklame.

I dette tilfælde må Levono så sande, at man bør lytte til brugerne, der ikke ønsker alt mulig installeret.

Tillykke Levono med den fine reklame, det er så ikke en Levono jeg skal have om 2 måneder.

Jacob Christian Munch-Andersen

Eller hvis man ønsker at bruge Windows overskrive den eksisterende installation med en ren. Det er ikke så svært, 90% af arbejdet i en geninstallation er programinstallation og personlig tilpasning. Det skal man alligevel igennem med en ny computer, så man skal bare lade være med at spilde tid på det før man har en fornuftig basisinstallation.

Heine Sørensen

.. sagsøges langt ind i helvede, alene så de kan lære at de skal lade være med at installere bloatware een gang for alle.. Så vi kan blive fri for det skidt.

Det kommer ikke til at ske. Fortjenesten for salg af PC'er er så lille at hvis de fjernede bloatvaren ville de sælge med underskud. Et alternativ kunne dog være at de satte priserne op.
Den gennemsnitlige profit for en solgt PC ligger i nærheden af $15 og det er faldende.

Mark Holle

Dennis Ladefoged - Min Thinkpad Yoga tog vores virksomheds netværk for en uge og et halvt så godt som mit hjemmenetværk. Jeg er en af dem, der konteres på Lenovo forum, og jeg kan fortælle, at vi havde flere folk arbejder på problemet i flere dage. Endelig er en af de IT-ansatte, at min computer var "inficeret". Jeg har kørt flere scans med Norton, Microsoft ondsindet fil detektor og fordrejet Bot. Ingen resultater. Jeg så så jeg en post på Lenovo fora om dette utroligt dårlig software og lukke det ned. Vores virksomheds problemer og mit hjemmenetværk straks tilbage til normal.

Jeg er en amerikaner, der ikke taler dansk. Jeg forstår dig skepsis men jeg kan forsikre dem om, at dette problem var reel. Derfor er jeg tilmeldt et dansk site til kommentar.

Log ind eller Opret konto for at kommentere
Brugerundersøgelse Version2
maximize minimize