Internet Explorer er det bedste malwareskjold

Microsofts Internet Explorer er langt foran konkurrenterne når det gælder modstandsdygtighed over for ondsindet software på nettet.

Hvis du vil have et forspring i kampen mod malware, kunne det måske være en ide at vælge Internet Explorer 8 eller 9 som din browser. En ny undersøgelse fra NSS Labs viser nemlig, at de to versioner af browseren er langt foran konkurrerende browsere, når det gælder om at holde malware, der er målrettet mod europæiske brugere, ude af systemet.

Ifølge undersøgelsen fangede Internet Explorer 9 hele 92 procent af malwaresoftwaren, som den blev udsat for i testen. Den forrige udgave, IE8, fangede kun to procentpoint mindre end sin efterfølger, nemlig 90 procent.

Til sammenligning fangede både Chrome 10, Firefox 4 og Safari 5 kun 13 procent af malwaretruslerne, hvor Opera 11 lå på sidstepladsen med kun 5 procent.

En stor del af ansvaret for det imponerende forspring ligger i det såkaldte SmartScreen Filter, som både er repræsenteret i IE8 og IE9 - dog i en reduceret udgave i den ældre version af IE.

Beskyttelsen ligger i to komponenter: Det ene er URL Reputation, som er den eneste del af SmartScreen Filter, der er inkluderet i EI8. Den anden er Application Reputation, som udelukkende findes på IE9.

Førstnævnte sammenligner de hjemmesider, som brugeren besøger med en database over hjemmesider, der tidligere har indeholdt skadeligt programmel som for eksempel malware. Hvis den aktuelle side er i databasen, vil systemet automatisk blokere siden og give brugeren en advarsel.

Den nyere Application Reputation i IE9 fungerer på samme måde som URL Reputation, men er blot en database over kendte eksekverbare filer, der tidligere har indeholdt malware.

Undersøgelsen konkluderer, at den overordnede lavere beskyttelsesgrad i Safari, Firefox, Chrome og Opera er foruroligende, og man anbefaler alle brugere bør sikre sig, at de har opdateret deres browsere til den seneste version, og anbefaler særligt at Internet Explorer-brugere opgraderer til version 9 så snart det er muligt.

Læs flere detaljer i undersøgelsen her (pdf).

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (55)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Morten Bulskov

Så vidt det kan ses - Microsoft. Det forklarer måske den markante forskel mellem IE og dens konkurrenter. Jeg er rimeligt indifferent i browservalg og bruger alle 3 "store", dog kun IE hvis det ikke kan undgås :) Jvf debatten på Computerworld så er der før stillet spørgsmålstegn ved NSS upartiskhed.
http://www.thetechherald.com/article.php/200912/3268/Can-you-trust-the-N...
og
http://www.pcmag.com/article2/0,2817,2374344,00.asp

Synes måske de danske tesch sites burde være en smule mere kritiske og researche lidt om hvordan og under hvilke præmisser sådan en test er foretaget.
/Morten

  • 19
  • 5
Thomas Watts

Det handler om Social Engineering, ikke direkte malware beskyttelse i browseren.

Man kan argumentere for, at resultatet er det samme, når folk lader sig snyde til at downloade ting, men der ER altså forskel på, om man hjælper brugerne til at blive opmærksomme på farlige downloads og så til at isolere browserbaserede angreb!

Det er super, at MS virkelig gør noget på denne front, og de andre browsere bør følge trop, men debatten bør liiige nuanceres når denne specifikke trussel (social engineering) bliver til det brede "IE8+9 er bedst til at beskytte mod malware" hvilket næppe er korrekt (har dog ikke lige tid til at grave efter tests...)

  • 8
  • 0
Adam Tulinius

altså ikke være en simpel mikrofonholder

Det er det Version2 er blevet til. Men det er jo heller ikke lang tid siden at Microsoft sponsorerede en række interviews/artikler til version2.dk -- det kan jo være det gør Version2 lidt mindre kritiske over for Microsoft-positive nyheder. Men det er nok mere sandsynligt at niveauet bare ikke er højere. :P

  • 16
  • 3
Daniel Udsen

er der her tale om real blokering af vilkårlig ondsindet kode fra at forlade sandboxen, eller er der bare tale om at MS's liste af blokerede URL'er er større end f.eks. firefox's

Hvis undersøgelse tager udgangspunkt i i hvor høj grad en browser "blokere" for URL's fundet på en liste af onsindede URL's leveret af MS så er det lidt en undersøgelse der siger absolut 0% om de forskellige browseres sikkerheds nivou.

  • 4
  • 0
Thomas Watts

IE9 scorer 100%

Sådan som vira og social engineering fungerer ude på det vilde internet, er sådan en score lidet troværdig.

Det lugter for mig (uden at have andet end skepsis at have det i) af, at testen er lavet baseret på præmisser, der lægger sig op ad de, som MS lægger til grund for deres filtrering. Dette er i min optik nok den eneste måde at få sådanne scores på idag.

Stadigvæk - al ære og respekt for, at MS slår et slag for at bekæmpe dette fænomen, men jeg savner som andre her i kommentarerne en kritisk stillingtagen fra Version2's side til en artikel, der kommer med et på overfladen så overraskende resultat.

Ikke god journalistik.

  • 8
  • 1
Peter Hansen

Ja, nu bliver jeg nok lagt for had af mange, men hvis man bruger lidt tid på at sætte IE (8 og 9) op, så er der faktisk mange måder, hvorpå man kan sikre sig imod misbrug.
Lignende muligheder gives også i Firefox, etc. men som regel som plugins.
Som jeg forstår det er der tale om "naked" installs af browserne.

@Baldur Norddahl : I rapporten skrives der, at det er NSS Labs egne testprocedurer - hvor har du det fra, at det er IE9s unit-test ?

  • 6
  • 3
Baldur Norddahl

@Baldur Norddahl : I rapporten skrives der, at det er NSS Labs egne testprocedurer - hvor har du det fra, at det er IE9s unit-test ?


Jovist - men hvor har de deres testprocedurer fra?

unit-test var en karl-smart kommentar baseret på at det må være den eneste måde de får 100% dækning på. De påstår simpelthen at deres database over "malware-domæner" er komplet - og det er utænkeligt.

Når man opnår resultater der åbenlyst er forkerte, bør man afholde sig fra at publicere dem, eller i det mindste komme med en meget god forklaring.

  • 9
  • 4
Venligst Slet Min Bruger

Baldur:

Et par citater fra rapporten:
"Ultimately, 650 URLs
passed our post-validation process and are included in the results, providing a margin of error of
3.84% with a confidence interval of 95%."

og

"This report was produced as part of NSS Labs’ independent testing information services.
Leading vendors were invited to participate fully at no cost, and NSS Labs received no
vendor funding to produce this report."

Det er værd at bemærke, at der ikke er tale om virus, der udnytter exploits osv., men social-engineering malware ("klik her for at se porno" og sådan).

I øvrigt skal man vel passe på med at kalde deres resultater for "åbenlyst forkerte", uden at påpege hvor de er forkerte.

Jeg tror i øvrigt heller ikke på, at IE9 blokerer 100% af alle malware-urls - men det er vel heller ikke det de har testet, så vidt jeg kan se.

  • 4
  • 1
Baldur Norddahl

I øvrigt skal man vel passe på med at kalde deres resultater for "åbenlyst forkerte", uden at påpege hvor de er forkerte.

Jeg gentager: Deres resultater er åbenlyst forkerte fordi de kommer frem til at en browser kan filtrere 100% af malware-domæner.

Man kan så spekulere i hvor fejlen ligger. En mulighed er at de jo skal indsamle kandidat domæner på en eller anden måde. Deres kilde kan være den samme som Microsoft har brugt.

  • 7
  • 1
Venligst Slet Min Bruger

Hvis ret skal være ret, så har de vel "kun" udtalt, at i deres test af 650 adresser blokerede IE9 100% af dem. Som de skriver, så er der dog en fejlmargen på 3,84%, så det kan ligeså vel være 96,16% den fanger, groft sagt.

Men om NSS er blevet "bestukket" af MS eller ej, ved jeg ikke. Uanset hvad, så skal man altid tage disse undersøgelser med et kilo salt :)

  • 4
  • 1
Jesper Hedemann

IE9 kan score 100% hvis man slår de 2 app til?
hvad hvis man slå de 2 apps fra, hvad så er det så 0% ?

Hvad så når de andre browser også får slået et pr apps til?
fx. firefox med Adblock plus og NoScripts?

Score de så også 100% ?

Der er ikke noget ved og lave en test når man slår nogen ting til i en browser og ikke i den anden.

  • 2
  • 1
Morten Abildgaard

Det er jo fantastisk at browsersikkerheden er i fokus, men at sammenligne seneste udgave af IE med ikke helt-så-nye versioner af Firefox og Chrome er vel lidt som at sammenligne æbler og pærer.
Så sent som i marts kunne jeg læse at Chrome, modsat IE og Safari, ikke kunne hackes:
http://arstechnica.com/security/news/2011/03/pwn2own-day-one-safari-ie8-...
Så længe alle er i samme båd og ror mod en mere sikker internet-oplevelse er vi alle vel bedre stillet.

  • 7
  • 0
Thomas Watts

Det handler ikke om versioner...

Der er to ting der er værd at bemærke her:

1) Overskriften misrepræsenterer undersøgelsen. Der er tale om en undersøgelse omkring social engineering, men det præsenteres som om, IE8+9 generelt er bedst til malware bredt.

2) Ingen scorer sgu 100% +/- en lille usikkerhed i at blokke hverken social engineering eller malware generelt. Eneste måde det sker på, er hvis der er et heftigt bias i testmaterialet/metoden.

...og det burde Version2 have gravet i.

  • 4
  • 0
Jesper Stein Sandal

...og det burde Version2 have gravet i.

Det var ikke lige formålet med denne korte nyhedsartikel, hvor vi netop linker til kilden, så læserne selv kan grave videre, hvis de vil vide mere. Men nu har jeg gravet lidt i rapporten. :)

Mulige fejlkilder:
1) NSS' algoritme til indsamling af ondsindede URL'er. Vi ved ikke, hvordan de indsamler de ondsindede links, og derfor kan vi ikke vide, om metoden favoriserer konstruktioner, der let kan detekteres af IE9.

2) Tidsfaktoren. NSS hævder at bruge links, der er så nye som mulige, altså lige er dukket op. Det kan favorisere IE9's teknik i forhold til de browsere, som først blokerer, når en specifik trussel er rapporteret af et vist antal brugere.

Bemærkninger:
"NSS har kun set på social engineering": Korrekt, men det spiller også en væsentlig rolle i dag. Vi ser det på Facebook (likejacking), og vi ser det med fupantivirus (som også er dukket op til Mac). Der er derfor ikke umiddelbart noget galt med at se på en delmængde af malwareteknikker. Specielt ikke når testen tod udgangspunkt i, at brugeren brugte en opdateret browser. Det kunne måske have fremgået tydeligere af artiklen, at drive-by exploits ikke var en del af testen.

"Testen favoriserer IE": Det er på sin vis korrekt, idet det er den eneste browser, der har implementeret teknikken til URL-blokering på denne måde. Men Chrome og de øvrige browsere har også en reputation-baseret blokering mod f.eks. phishing, som dog tilsyneladende har en højere tærskel for, hvornår en side kategoriseres som ondsindet.

"100% er urealistisk": Med en afgrænset mængde testobjekter er det bestemt ikke urealistisk. Specielt ikke set i forhold til, at der er tale om indsamlede URL'er, som allerede er genkendt af ét filter, nemlig NSS' egen honeypot. Men det er klart, at der er tale om, at IE9 blokerede for 100% af de sider som NSS havde fundet. Det er ikke ensbetydende med, at IE9 blokerer for 100% af alle de social engineering-baserede malware-sider, der findes derude på et givet tidspunkt.

Som Lasse skriver i artiklen: "Ifølge undersøgelsen fangede Internet Explorer 9 hele 92 procent af malwaresoftwaren, som den blev udsat for i testen."

Nu skriver vi journalister jo af gode grunde i et andet sprog, end man vil gøre i en testrapport, så derfor kan man som læser nogle gange lige springe lidt for hurtigt hen over formuleringer som "som den blev udsat for i testen", der opsummerer det væsentligste forbehold ved testmetoden. :)

Det er også værd at bemærke, at det ikke er en beskyttelsesteknik, som Microsoft har opfundet ud af det blå. Antivirusfirmaer som McAfee, Trend Micro og Symantec har alle implementeret URL- og filbaseret beskyttelse ud fra reputation. Se for eksempel: http://www.version2.dk/artikel/symantec-genkend-muteret-malware-paa-omdo...

Mvh.
Jesper Stein Sandal
Version2

  • 3
  • 0
Baldur Norddahl

Det der holder ikke. Der er åbenlyst et sammenfald mellem NSS metode til at indsamle malware URL'er og IE's algoritme. Hvis nu NSS i stedet havde brugt den metode som f.eks. Chrome bruger ville den browser score 100% - og de andre browsere variere.

Konklusionen er at NSS' metode er utilstrækkelig. Resultatet er ubrugeligt for det siger formodentligt intet om hvor god eller dårlig IE er i forhold til de andre browsere. Kun hvor gode browserne er til at fange de samme URL'er som NSS' egen skanner.

Man kunne fristis til at tro at Microsoft og NSS har været ude og købe scanner af den samme underleverandør...

Det kan godt være at deres undersøgelse er spændende alligevel. Men konklusionen og overskriften på nærværende artikel er forkert.

  • 0
  • 0
Jesper Stein Sandal

Der er åbenlyst et sammenfald mellem NSS metode til at indsamle malware URL'er og IE's algoritme.

Det bliver du nødt til at uddybe. Du skal selvfølgelig være velkommen til at kritisere undersøgelsen - den har vi ikke lavet - vi fortæller jer blot, at den er lavet, og hvad den konkluderer, men hvis du vil kritisere vores behandling af den, så må du dokumentere, hvorfor du mener, der er et sammenfald.

  • 0
  • 0
Baldur Norddahl

Dokumentere?! Der er åbenlyst sammenfald fordi undersøgelse og artiklen(!) konstatere at IE dækker 100%. Det betyder, rent matematisk, at NSS scanner har indsamlet en delmængde af de URL'er som IE genkender.

Der er vel ikke noget galt med Version 2's behandling (det er en anden der har sagt det). Andet end at i forsømmer at være kritiske overfor resultatet, men om man forventer at i skal være det, må være op til den enkelte læser.

  • 0
  • 0
Jesper Stein Sandal

Det betyder, rent matematisk, at NSS scanner har indsamlet en delmængde af de URL'er som IE genkender.

A = Mængden af ondsindede URL'er på internettet.

B delmængde af A = Mængden af ondsindede URL'er, som genkendes af IE9.

C delmængde af A = Mængden af ondsindede URL'er, som indsamles af NSS.

Du siger altså, at fordi B = C, så må C være defineret som en delmængde af B?

Lad os tage den på en anden måde:

A = {1,2,3,4,5,6,7}

B = delmængden af A givet ved elementer større end 2, der er et primtal.

C = delmængden af B givet ved elementer større end 2, der er et ulige tal.

B = {3,5,7}

C = {3,5,7}

(her kan vi ganske vist sige, at alle primtal større end 2 også er ulige tal, men det vil betyde, at B er en delmængde af C, og ikke nødvendigvis omvendt)

At to delmængder er sammenfaldende er ikke matematisk ensbetydende med, at de er defineret ens, selvom den ene er en komplet delmængde af den anden. Man kan så argumentere for, at de to definitioner er to definitioner på den samme delmængde, men det kræver vist mere at bevise, at de er matematisk ens.

Ellers må en matematiker med den abstrakte algebra mere frisk i hukommelsen gerne hjælpe mig med at forstå dit udsagn. :)

  • 1
  • 1
Baldur Norddahl

Du siger altså, at fordi B = C, så må C være defineret som en delmængde af B?


Defineret? Nej jeg siger at C er en delmængde. Det er den fordi vi har testet alle elementer i C op imod B. Vi har ikke lavet den omvendte, altså testet alle elementer i B op imod C så vi ved intet om hvor stor B er i forhold til C. Men at C er en delmængde af B er altså et faktum. Og om A ved vi faktisk intet om overhovedet.

Og udelukkende ud fra at C er en delmængde af B konkluderer man at B indeholder en betydende mængde af elementer fra A. Det er jo rent vrøvl.

  • 1
  • 1
Daniel Udsen

Det bliver du nødt til at uddybe. Du skal selvfølgelig være velkommen til at kritisere undersøgelsen - den har vi ikke lavet - vi fortæller jer blot, at den er lavet, og hvad den konkluderer, men hvis du vil kritisere vores behandling af den, så må du dokumentere, hvorfor du mener, der er et sammenfald.

hvad der ikke fortælles er hvor og hvordan de identificere malware, eftersom vi her ikke taler om en "teknisk" eller heuristisk beskyttelse men om blacklists af specifikke URI'er, er det interesante her at undersøge om der er sammenfald mellem den kilde IE basere deres blacklist på og den liste af kendte "phishing sider" NSS tester imod.

  • 0
  • 0
Baldur Norddahl

Vi kan tage mængde tanken et skridt videre.

Mængderne A, B og C er som beskrevet af Jesper: B er en delmængde af A. C er en delmængde af A. Et eksperiment har vist at 100% af elementerne i C findes i B (altså er C en delmængde af B).

Herudover har vi mængden D som er en delmængde af A. Et eksperiment har vist at 13% af elementerne i C findes i D.

Det eneste vi ved herudover er at antal elementer i C (650) må formodes at være meget få i forhold til antal elementer i A.

Og ud fra disse oplysninger konkluderer vi at "B har flere elementer fra A end D har" (overskriften af denne artikel omskrevet).

At denne konklusion er søgt er naturligvis sandt uanset hvor mange elementer B og C har fælles. Der mangler at vise at man har testet noget meningsfyldt.

Jeg vil ikke kritisere v2 for konklusionen kommer fra rapporten. Jeg vil bare tillade mig at være kritisk overfor rapporten. Ikke hermed sagt at NSS er købt eller noget i den stil. Det er bare dårligt håndarbejde.

  • 1
  • 0
Baldur Norddahl

Og lige det sidste:

Hvad betyder det at C er en delmængde af B?

Vi har en ide om at B umuligt kan være lig med A. C burde være en uafhængig udtrukket delmængde fra A. Derfor burde der være elementer fra C som ikke findes i B. At det ikke er tilfældet tyder på at C ikke indeholder uafhængige elementer og at C ikke kan siges at indeholde elementer der svarer til en tilfældig trækning fra A.

Og det fører os til konklusionen at C ikke er brugbar til at teste B og D.

NSS har sikkert gjort alt andet rigtigt, men det er ikke lykkedes dem at finde et repræsentativt udvalg af malware URL'er.

  • 1
  • 0
Jesper Stein Sandal

Defineret? Nej jeg siger at C er en delmængde. Det er den fordi vi har testet alle elementer i C op imod B. Vi har ikke lavet den omvendte, altså testet alle elementer i B op imod C så vi ved intet om hvor stor B er i forhold til C. Men at C er en delmængde af B er altså et faktum. Og om A ved vi faktisk intet om overhovedet.

Det, du prøver at sige, er, at fællesmængden af B (IE9) og C (NSS) er lig C. Der kan være flere elementer i B end der er elementer i C, men vi ved, at alle elementer i C findes i B. Ud fra det kan vi imidlertid intet sige om, hvad definitionerne på de to delmængder B og C af A er, og derfor kan vi heller intet konkludere rent matematisk om testens gyldighed. Det er det, jeg prøver at sige.

Men det, du i virkeligheden vil sige, er, at IE9 opnåede 100%, fordi NSS testede på et sæt, hvor kriterierne svarede til, at alle udvalgte URL'er blev genkendt af IE9. Det er der sådan set heller ikke noget galt i. Det kan jo være, at IE9's teknik er god, eller NSS' teknik er dårlig. Men vi kan ikke alene ud fra undersøgelsens resultater konkludere, at Microsoft har betalt NSS for at opnå dette resultat. Hvis det er det, du mener, så skriv det.

Vi kan godt blive enige om, at vi ville være meget klogere, hvis vi kunne se, hvordan henholdsvis Microsoft og NSS finder frem til de ondsindede websteder. Men det kan vi ikke.

I næste uge kommer der så sikkert en ny undersøgelse fra et af antivirusfirmaerne som konkluderer, at browsernes indbyggede sikkerhed kun fanger 10% af alle ondsindede websteder, og man derfor skal købe deres antivirus med webbeskyttelse.

  • 0
  • 0
Baldur Norddahl

Ud fra det kan vi imidlertid intet sige om, hvad definitionerne på de to delmængder B og C af A er, og derfor kan vi heller intet konkludere rent matematisk om testens gyldighed


Det er nok at vi antager at A og B ikke er ens. Så kan vi vise rent matematisk at undersøgelsen er råden, se mit sidste indlæg herom.

Og så hverken siger jeg eller vil jeg sige noget om hvorfor. Det er spekulation. Jeg har på intet tidspunkt skrevet noget at Microsoft skulle have bestukket nogen. "Hvis det er det, du mener, så skriv det" - hvad vil du så at jeg skal skrive når jeg ikke mener det? Jeg har allerede direkte skrevet det modsatte!

  • 0
  • 0
Baldur Norddahl

Hvis jeg alligevel skal spekulere i hvorfor så er mit bedste bud at NSS har gjort det bedste de ved. Deres metode har så bare fejlet. Det er dårligt håndværk at de ikke selv bemærker at 100% er et rødt flag. Men det kan skyldes at de er udsat for et pres til at udgive det de nu engang har uanset om de godt selv kan se at kvaliteten er tvivlsom.

  • 0
  • 0
Jesper Stein Sandal

Godt, så er vi nogenlunde enige. Det springende punkt er så, hvor repræsentative de 650 udvalgte websteder er i forhold til samtlige social engineering-baserede trusler.

(jeg mener stadig ikke, vi kan sige, at vi matematisk kan konkludere, at undersøgelsen er rådden, medmindre vi opsætter som kriterium, at NSS skulle have brugt A for at give det rigtige resultat og ikke blot C. Undersøgelsen gik af praktiske grunde ud på at finde fællesmængden mellem B og C, men det retvisende resultat ville have været at finde frem til, hvor stor en procentdel af elementerne i A, der også fandtes i B. Det, du siger, er, at C ikke er godt nok udvalgt, og det, siger jeg, kan vi ikke vide)

  • 0
  • 0
Venligst Slet Min Bruger

bedste de ved. Deres metode har så bare fejlet. Det er dårligt håndværk at de ikke selv bemærker at 100% er et rødt flag. Men det kan skyldes at de er udsat for et pres til at udgive det de nu engang har uanset om de godt selv kan se at kvaliteten er tvivlsom.

Eller alternativt, at de mener deres tal er korrekte. Hvis du mener, de er blevet bestukket/betalt/truet/presset af MS til at udgive rapporten, så må du føre bevis for det. Det klinger en smule hult at komme med slet skjulte hentydninger til NSS' integritet (eller mangel på samme), når man i bedste fald har indicier, der kan bakke ens sag op.

  • 0
  • 0
Baldur Norddahl

Hvis du mener, de er blevet bestukket/betalt/truet/presset af MS til at udgive rapporten, så må du føre bevis for det.


Hvad går der galt for den her tråd med folk der bliver ved med at antage at jeg har meninger jeg overhovedet ikke har givet udtryk for?

Jeg mener at NSS' egen organisation udfører et pres for at få udgivet noget. Det er jo ingen chef der finder sig at betale sine folk for at lave en masse arbejde hvorefter de kommer tilbage og meddeler at de ikke kunne finde ud af det.

Med hensyn til matematisk bevis så mangler der rigtigt nok lidt flere forudsætninger: A skal være "stor" og forskellen mellem A og B må ikke være "ubetydelig". Herefter kan man konstruere et decideret bevis.

Den første forudsætning kan vi vist roligt antage er korrekt.

Det springende punkt er så om man tror - eller ikke tror - på at IE virkelig kan fange 100% eller næsten 100% af samtlige malware URL'er der eksisterer. Jeg vælger at være skeptisk. Ekstraordinære påstande kræver ekstraordinære beviser og det mener jeg ikke er blevet leveret her.

Under alle omstændigheder mangler de helt at vise hvorfor de mener deres URL'er er repræsentative. De beskriver en masse ting de gør, men de fortæller ikke hvorfor eller hvad de ønsker at opnå. Det må formodes at være umuligt at være helt sikker på at man har et repræsentativt udsnit af URL'er og derfor skal en sådan rapport indeholde tekst om hvor tæt på de mener at være. Den mangel er i sig selv kritisabel.

  • 1
  • 0
Venligst Slet Min Bruger

Hvad går der galt for den her tråd med folk der bliver ved med at antage at jeg har meninger jeg overhovedet ikke har givet udtryk for?

Beklager - så misforstod jeg dig. Det var bare det indtryk jeg fik.

Det springende punkt er så om man tror - eller ikke tror - på at IE virkelig kan fange 100% eller næsten 100% af samtlige malware URL'er der eksisterer. Jeg vælger at være skeptisk. Ekstraordinære påstande kræver ekstraordinære beviser og det mener jeg ikke er blevet leveret her.

Men de har jo aldrig påstået, at det er 100% af samtlige malware URL's, der bliver fanget. Det er 100% af de 654 social-engineering sites, de har testet, der er blevet snuppet.

Der er en væsentlig forskel på de to udtryk.

  • 1
  • 0
James Avery

Baldur har altså fuldstændig ret. Lad M være mængden af alle Malware sites, T være en tilfældig udvalgt delmængde af M, og F være delmængden af malware sites, som Fanges af IE (eller en anden browser). Hvis den totale mængde M af malware sites er meget større end den fangede F, vil udsagnet "fælles(F,T) = T" have ekstrem lille sandsynlighed, men det er præcis, hvad de har målt i rapporten.

Antag, at F dækker 10% af M, og lad |T| = 650 som i rapporten. For |M| tilstrækkelig stor har hvert element i testmængden |T| 10% chance for at ligge i F, og chancen for at alle elementer i |T| også er indeholdt i F er altså 10^(-650): nul komma 650 nuller og et ettal, i praksis umuligt.

Men OK, lad os være mere large over for IE: Antag at de dækker 95% af alle malwaresites. Hvis de 650 test-sites er tilfældig udvalgte, er sandsynlighed for 100% dækning så 0.95^650 eller 0.000000000000033% sandsynlighed.

For at komme op på 10% sandsynlighed for at alle test-sites i T også er i F, skal F dække 99.7% af alle malware sites i mængden, hvorfra T udtrækkes. 99% er ikke nok: Det giver kun en promilles sandsynlighed for udfaldet.

Der er altså kun to muligheder:

  1. IE kan reelt fange over 99% af alle social engineering malware sites.
  2. Der er et kraftigt selektionsbias i udvalget af de 650 test sites, som overvældende favoriserer IE.

Ikke bare de udvalgte sites, men hele den mængde, hvorfra NSS udvalgte dem, må nødvendigvis være en delmængde af de sites, som IE fanger (eller i hvert fald over 99% af den).

De to mest åbentlyse forklaringer er:

2.1 IE og NSS får deres data samme sted fra eller med utrolig nærliggende metoder (IE ved i praksis alt, hvad NSS ved), eller

2.2 Der er snydt på vægtskålen.

I begge af disse tilfælde gælder helt åbentlyst: Den udvalgte testmængde kan ikke være repræsentativ for den totale mængde social engineering malware sites. Om det så skyldes, at det er svært at finde en repræsentativ mængde, eller om det er dovenhed, eller i værste fald ond vilje og bestikkelse, så står dette dog fast.

Og et sådant resultat burde have affyret store blinkende advarselslamper for enhver journalist, som burde have påpeget det ekstremt overraskende resultat og ikke bare refereret det ukritisk.

  • 1
  • 0
James Avery

Men de har jo aldrig påstået, at det er 100% af samtlige malware URL's, der bliver fanget. Det er 100% af de 654 social-engineering sites, de har testet, der er blevet snuppet.

Der er en væsentlig forskel på de to udtryk.

Hvis de 654 sites er tilnærmelsesvist tilfældig udvalgt fra den totale mængde social engineering sites, er der ingen væsentlig forskel på de to udtryk: Sandsynligheden for at 654 tilfældig udvalgte sites alle fanges er absurd lille, med mindre dækningen er mindst 99%. Problemet er selvfølgelig, af de 654 sites ikke er repræsentative, og det er det, som giver det overraskende resultat.

  • 0
  • 0
Jesper Stein Sandal

Hvis de 654 sites er tilnærmelsesvist tilfældig udvalgt fra den totale mængde social engineering sites, er der ingen væsentlig forskel på de to udtryk: Sandsynligheden for at 654 tilfældig udvalgte sites alle fanges er absurd lille, med mindre dækningen er mindst 99%. Problemet er selvfølgelig, af de 654 sites ikke er repræsentative, og det er det, som giver det overraskende resultat.

Du glemmer dog én detalje, nemlig at de 650 elementer ikke er unikke størrelser (derfor kan du ikke blot bruge sandsynlighedsregning på den måde). Alle social engineering-sites'ne kan have egenskaber til fælles, og det kan være de egenskaber, der skaber overensstemmelsen mellem NSS' sample og IE9's detection.

Der er altså også den mulighed, at NSS har fundet 650 sites, der alle er lavet efter stort set den samme opskrift, og så er det ikke underligt, at IE9 finder dem alle.

Da vi, som du rigtigt siger, ikke har fået redegjort for, at NSS' 650 sites er statistisk repræsentative for grundmængden af social-engineering-sites in the wild, så kan vi heller ikke sige, om IE9 virkelig er effektiv over for en betydelig del af grundmængden.

Du kan også vende dit sandsynlighedsregnskab om og antage, at de 650 sites virkelig er repræsentative for grundmængden, og IE9 virkelig er effektiv. Altså kan vi ikke konkludere noget som helst, så længe vi ikke kender forudsætningerne.

Min pointe er ikke at forsvare undersøgelsen, for der er ganske rigtigt nogle problemer. Min pointe er derimod, at man skal lade være med at sige, at vi har matematisk bevis for, at konklusionen er ubrugelig, når vi ikke kender forudsætningerne, men er nødt til at gøre antagelser (som gør os mindst lige så skyldige som NSS). Så hvis Baldur blot havde undladt at bruge M-ordet... :)

  • 0
  • 0
Baldur Norddahl

Du kan også vende dit sandsynlighedsregnskab om og antage, at de 650 sites virkelig er repræsentative for grundmængden, og IE9 virkelig er effektiv. Altså kan vi ikke konkludere noget som helst, så længe vi ikke kender forudsætningerne.


Det er dét der er blevet bevist. Enten er IE9 100% effektiv, i whatever det er man mener denne undersøgelse egentlig går ud på. Ellers også er undersøgelsen rådden.

Og hvad kan man egentlig bruge en undersøgelse til, hvis man ikke kan konkludere noget som helst på baggrund af den?

Jeg har ingen holdning til om IE er den bedste browser eller ej. Min pointe har hele tiden været at denne undersøgelse tilsyneladende er ubrugelig. Derfor kan det godt være at "Internet Explorer er det bedste malwareskjold" men man kan ikke konkludere det på baggrund af undersøgelsen fordi den er rådden.

  • 1
  • 0
Jesper Stein Sandal

Det er dét der er blevet bevist. Enten er IE9 100% effektiv, i whatever det er man mener denne undersøgelse egentlig går ud på. Ellers også er undersøgelsen rådden.

Og min pointe er, at når du har (mindst) to muligheder (IE9 er 100% effektiv eller undersøgelsen er lavet på forkert grundlag), så har man ikke et matematisk bevis.

Du har måske sandsynliggjort én mulighed frem for en anden, men det er ikke det samme. :)

  • 0
  • 0
Baldur Norddahl

Du har måske sandsynliggjort én mulighed frem for en anden, men det er ikke det samme. :)


Nej jeg har ikke sandsynliggjort den ene mulighed frem for den anden. Det matematiske bevis er at der kun er de to muligheder. Lad endnu engang for prins Knud opridse de to muligheder:

1) 100% dækning er korrekt
2) undersøgelsen er rådden.

Hvis du tror på 1) er alt fint. Så er det sikkert en god undersøgelse. Altså bortset fra de andre mangler.

Hvis du ikke tror på 1) så er der tale om 2). Det er blevet vist.

Og jeg vælger ikke at tro på 1). Jeg har det fint hvis du vælger at tro på 1) men jeg tillader mig at grine lidt bag din ryg :-).

  • 1
  • 0
Jesper Stein Sandal

Nej jeg har ikke sandsynliggjort den ene mulighed frem for den anden. Det matematiske bevis er at der kun er de to muligheder. Lad endnu engang for prins Knud opridse de to muligheder:

Og jeg vil fastholde, at der ikke er tale om et matematisk bevis, medmindre man accepterer nogle bestemte antagelser om de tre mængder, som vi ikke kan validere.

Hvis du ikke tror på 1) så er der tale om 2). Det er blevet vist.

Jeg siger også blot, at det kan vi ikke bruge til noget. Du er kun nået frem til at opstille forudsætningerne for at bevise/modbevise undersøgelsens resultat. At vise, at en lampe enten er tændt eller slukket, er ikke et bevis for, at den er slukket.

Jeg er som sagt ikke uenig i, at der nok er noget galt med enten NSS' datasæt, eller at IE9 fanger mange falske positiver. Jeg er bare uenig i, at der skulle være et bestemt resultat, der er matematisk bevist. Det er retorikken, jeg går efter, ikke budskabet. :)

  • 0
  • 0
James Avery

Der er altså også den mulighed, at NSS har fundet 650 sites, der alle er lavet efter stort set den samme opskrift, og så er det ikke underligt, at IE9 finder dem alle.

Men det er det samme som at sige, at test-sites'ne ikke er repræsentative, hvilket er præcis, hvad Baldur og jeg siger.

Da vi, som du rigtigt siger, ikke har fået redegjort for, at NSS' 650 sites er statistisk repræsentative for grundmængden af social-engineering-sites in the wild, så kan vi heller ikke sige, om IE9 virkelig er effektiv over for en betydelig del af grundmængden.

Du kan også vende dit sandsynlighedsregnskab om og antage, at de 650 sites virkelig er repræsentative for grundmængden, og IE9 virkelig er effektiv.

Hvis du læser mit første indlæg, kan du se at det netop er pointen. Der er som sagt præcis to muligheder:

  1. Test-sites'ne er repræsentative for social-engineering sites in the wild, hvilket medfører at IE fanger mindst 99.7% af alle social-engineering sites; et overraskende resultat som kræver stærke beviser.
  2. Der er en kraftig bias i udvalget af test-sites, som gør at netop IE fanger allesammen. Der er flere mulige forklaringer i varierende grad af uskyldighed, men fælles er, at rapportens resultat ikke rigtig kan bruges.

Altså kan vi ikke konkludere noget som helst, så længe vi ikke kender forudsætningerne.

Jo: Vi kan med overvældende sikkerhed konkludere, at der er tale om een af de to ovennævnte situationer, begge af hvilke bør få journalisten op af stolen. Vi kan også let kvantificere, hvorfor det nødvendigvis må være tilfældet. Ganske enkelt fordi p^650 er meget lille, hvis ikke p er utrolig tæt på 1.

  • 0
  • 0
James Avery

er, at når du har (mindst) to muligheder (IE9 er 100% effektiv eller undersøgelsen er lavet på forkert grundlag), så har man ikke et matematisk bevis.

Jo da: Det statistiske bevis er for, at mindst een af de to ting gælder. Og den ene mulighed (IE fanger mindst 99.7% af alle social engineering sites, hvilket er konklusionen af at 100% af 650 repræsentative test-sites fanges) er så utrolig overraskende, at den med det samme bør skabe stor skepsis.

  • 0
  • 0
Jesper Stein Sandal
  • 0
  • 0
James Avery

Og jeg vil fastholde, at der ikke er tale om et matematisk bevis, medmindre man accepterer nogle bestemte antagelser om de tre mængder, som vi ikke kan validere.

Lad os ridse disse antagelser præcist op:

  1. Den totale mængde M af social engineering sites er meget stor.

That's it! Så længe M er meget større end testmængden T kan vi regne udvalged af elementer af T som uafhængige hændelser, og så følger resten uden ekstra antagelser. Jeg tror bestemt på, at den totale mængde phishing sites er meget større end 654. :)

  • 0
  • 0
James Avery

Og det er jeg enig i. Men sandsynlighed er ikke det samme som et matematisk bevis. Det er blot, hvad jeg prøver at sige. Kald det gerne et statistisk bevis, den er jeg helt med på. :)

OK. Men det er dog, i god gammeldags rigid forstand, et bonafide matematisk bevis for at at sandsynlighededn for andet end de to opridsede konklusioner er helt absurd lille: hvis testen var repræsentativ, taler vi 10^-28 procents sandsynlighed for det målte udfald, selv hvis IE havde 90% dækning af den totale mængde. Og så er det altså ikke meget misbrug af sproget, som skal til for at kalde det en "matematisk umulighed". :)

  • 0
  • 0
Log ind eller Opret konto for at kommentere