Juleopgave del 3: En retvisende hastighedstest

Da vi begyndte at levere hastigheder over 100 Mbit/s fandt jeg hurtigt ud af, hvor mange speedtest servere der reelt slet ikke kan levere.
Lige meget hvor ny PC og hvor hurtig forbindelse jeg sad på, kunne jeg mange gange ikke få presset mere data igennem end et par hundrede Mbit/s.
For at teste lavede jeg derfor en speedtest server på eget lokal net og testede op i mod. De viste sig derfor tydeligt, at min PC godt kunne følge med. Den havde en ren Windows 10 installation og Intel netkort med nyeste drivere.
Det var andre steder fra PC og mod testserveren, som var et problem...

Man skal derfor som kunde kun benytte speedtest som en retningsvisende test, der indikerer om der i kæden fra kunden til serveren kunne være noget galt.

Jeg fandt også ud af, at især "firewall" fra Antivirus producenter har det med at sløve PC'ens forbindelse til Internet helt betragteligt ned i hastighed....

Interessant at se at store udbydere som SE og Waoo har så "sløve" testservere. De burde da om nogen ha' fart over feltet....

Hej

Interessant information.

Er kurverne en sp-line over én dag eller har i målt over flere dage og midlet ? Hvis I har data fra flere dage/uger, kunne det være interessant at set alle målingerne oven- i-hinanden. Så man kan danne sig et billede over, om kurven gentager sig hver dag/uge og derfor afspejler forbrugsmønstret.

Jeg har tidligere prøvet at måle ind- og udgående trafik på mit arbejde, hvor resultaterne blev plottet, som dots hen over ugen, men med alle uger oven-i-hinanden. Og efter nogle uger kunne man tydeligt se mønstret.

Hold da op en rutsjebane!

Jeg oplever at også valg af browser har betydning for resultatet

Kunne man ikke lave en hastighedstest der benytter sig af torrent netværket, på den måde kan man have flere servere og i hele landet, hvor folk forbinder og henter fra.

Over tid er jeg enig i at BitTorrent kan udnytte ens forbindelse maksimalt, men det er primært i begyndelsen, det går langsomt med at downloade.

Så hvis du vil have et retvisende billede, vil jeg tro du skal kigge på hvor hurtig hastigheden er efter 5 minutter.

Det kræver til gengæld at man kan downloade en passende stor fil, hvis formålet er at se om man virkelig har en 1 Gbps forbindelse.

Lidt matematik siger mig at testfilen skal i så fald fylde minimum 35 GB.

Jeg ved ikke om man kan tweake BitTorrent til at komme op på maksimal båndbredde hurtigere?

Det kommer helt an på hvad man henter, og dermed hvem der seeder.

Hent f.eks. nyeste Centos-Everything DVD .iso på ca. 8 GB - der plejer jeg at være max 2 sekunder om at maxe min linie ud og finde en ny flaskehals,

Du kan godt optimere BitTorrent drastisk. Standard-værdierne er typisk tilpasset beskedent hardware og ganske små forbindelser. Du skal typisk 1) hæve antallet af forbindelser der må være i brug, 2) hæve antallet af samtidige halv-åbne forbindelser og 3) reducere delay mellem nye forbindelser forsøges oprettet.

På den måde får du langt hurtigere afsøgt den swarm der er om en Torrent, får fat i seeds og peers, og går fra waiting slots til upload slots.

Som en sidebemærkning får du også testet din routers håndtering af mange åbne forbindelser, især indenfor UDP, og hvis din linie er hurtig, din maskines storage subsystem.

en minimal browser-kodet iperf3 implementering vil nok være et bedre bud til Hr. og Fru standard-kunde. :-)

Som en sidebemærkning får du også testet din routers håndtering af mange åbne forbindelser, især indenfor UDP, og hvis din linie er hurtig, din maskines storage subsystem.

Uhh... har vi en flaskehals her...?

Har dårlige erfaringer med UDP, når jeg skal igennem min udbyders Carrier Grade NAT.

F.eks. kører jeg VPN via TCP mere af nød end af lyst...

Jeg har med konsum routere oplevet enheder der havde en mærkelig tilgang til UDP states, så ting der afsøgte med UDP, f.eks. discovery af spilservere - hvor BT var mest udslagsgivende, fik andet UDP til at timeoute/faile. Det gav f.eks. udslag i DNS opslag der fejlede eller var meget langsomme, så internet - oplevelsen blev ødelagt.

Jeg har ikke prøvet UDP* gennem CGN, men det gør jo sikkert ikke noget godt for noget.

I bund og grund, så er UDP vel den optimale måde at teste båndbredde på.. TCP's venten på svar mellem hver x pakke kan give ret store udfordringer - i hvert fald ved enkelte streams.. Så spilder man heller ikke tid/data på for mange ack's sendt til afsenderen.

• Personligt bruger jeg kun ooklas beta da jeg har ret dårlige performancemæssige erfaringer med den flash baserede.. men kan sagtens være det blot er mig?

Selve testen udføres med wget, og her støder vi ind i en begrænsning: Wget henter kun data med 1 TCP-forbindelse, og derved ender trafikken på en enkelt CPU i vores probe-server, som agerer flaskehals.

Alternativt kan "aria2" på en debian-like maskine kan installeres med:

# apt install aria2

Ex for download med 16 forbindelser:

$ aria2c -x 16 http://mirrors.dotsrc.org/speedtest/10GiB

Fra mirrors.dotsrc.org burde der være ret god forbindelse. Vi har 10G netkort i serveren, og 10G forbindelse til DeiC's router der burde være godt forbundet til DIX'en:
https://info.net.deic.dk/traffic/1e6421ce053562956073f92eae75caf7.html

Derudover bruger vi Google's BBR algoritme til congestion control, der giver højre thrughput på forbindelser med lidt pakketab. Det har jeg skrevet lidt mere om her: http://anderstrier.dk/2017/09/07/using-googles-bbr-congestion-control-on...

Derudover bruger vi Google's BBR algoritme til congestion control, der giver højre thrughput på forbindelser med lidt pakketab. Det har jeg skrevet lidt mere om her: http://anderstrier.dk/2017/09/07/using-googles-bbr-congestion-control-on...

Anders, dit blog indlæg viser med alt tydelighed, at en standard opsætning af netværksenheder, aldrig vil performe optimalt.

Jeg har en Stofa fiber hjemme, og er altid blevet downvotet af fiberfanatikerne, som tror at fiber er den hellige gral.
Faktisk har jeg længe været irriteret over at kunder på vores trådløse forbindelse har bedre svartider og mere konstant download end jeg har på Stofa fiberen.
Jeg satte mig derfor for at se om jeg kunne tune både min Windows, men også min forbindelse, så det kørte lidt bedre.
Min EdgeRouter har med SmartQueue (Som i bund og grund er FQ QDISK i Linux, som du også benytter (FQ = FQ_CODEL læs mere her: https://www.bufferbloat.net/projects/)) aktiveret, fået løftet min forbindelse en anelse. Resten er uden tvivl længere ude i systemerne.

Som kunde skal man desværre ikke forvente at ens Internetforbindelse er optimeret, så man får det bedste ud af den. Man skal også kigge på eget udstyr, som f.eks. router osv.
Nyeste drivere på netkortet og tuning af parametre på det, kan også gøre en stor forskel.

Det er desværre ikke "bare lige".....

Denne hastighedstest giver dig i øvrigt en Buffer Bloat score....
http://www.dslreports.com/speedtest

Den er ekstrem CPU krævende, så den er uinteressant på en ældre enhed....

Hvis udsvingene i målingerne på de "ustabile" servere er størst om aftenen, indikerer det en flaskehals i et peering-link

Det er jo bla. et af mange problemer med hastighedstest. For at udføre en troværdig test, så skal man som kunde, som du iøvrigt også nævner, teste på ens udbyders egen server.
Når først trafikken har forladt ens udbyders net, så er det jo ude af kontrol (ihvertfald for udbyderen), hvad der reelt sker med pakkerne.

Det fandt jeg for alvor ud af, da jeg skulle lave VPN der forbinder et satellitkonto ude i verden, med hovedkontoret i DK.
Jeg har i sin tid lavet det for et par selskaber med flere lokationer ude i verden. Faktisk var tommelfingerreglen, at man ikke skulle bruge det lokale statsselskab, der var blevet privatiseret. Den bedste forbindelse og hul videre ud i verden, fik man stort set altid hos "den frække dreng i klassen".
Forskellen kunne være så stor som 200% i båndbredde. Det kunne prisen i øvrigt også....

Hvor mange hops er der fra de forskellige? På siden skriver i: "Målingerne skal læses med forbehold for, at det er den målte hastighed mellem en server hos Kviknet og den pågældende server hos Speedtest.net." - Er det så ikke hastigheden mellem en server på jeres net og en server på jeres net? Det er de andre vel ikke?

Når vi nu begynder at nærme os halve og hele gigabit internet forbindelser.

Det kræver vel, at der er optimeret i afsender/modtager ende for at få den fulde udnyttelse, jævnfør Henrik Kramshøjs gode blog indlæg om tcp tuning her på Version2.

Jeg ville ikke forvente en eller anden random budget Acer consumer bærbar fra Elgiganten med standard Windows + bloatware image performer maksimalt, på et gennemsnitlig dansk wifi netværk.

Efter at jeg ramte 800+ Mbps på en speedtest server første tænkte jeg også, hvordan kan jeg teste det i daglig brug. Så fandt jeg ud af at Steam leverer spil op til 1 Gbps, hvilket også hurtigt viste sig at være det sted der bedst udnytter båndbredden hos mig. OBS, andre spilplatforme som UPlay allokerer ikke alt harddiskpladsen først, hvilket ser ud til at sætte en begrænsning af den effektive download hastighed selv med ssd.

Hvor mange hops er der fra de forskellige? På siden skriver i: "Målingerne skal læses med forbehold for, at det er den målte hastighed mellem en server hos Kviknet og den pågældende server hos Speedtest.net." - Er det så ikke hastigheden mellem en server på jeres net og en server på jeres net? Det er de andre vel ikke?

Det er jo så meget forskelligt, afhængigt af fra hvilken udbyder du tester og til hvilken udbyder speedtest serveren er hostet.

Jeg har sagt det før og gentager gerne. En speedtest er retningsgivende test, ikke en retvisende test....

Kviknet, Gigabit og mange andre er medlem af NLNOG Ring netværket. Man kan derfor gentage testen men målt fra mange forskellige udbyderes netværk. Ikke at jeg tror resultatet bliver meget anderledes.

Man vil naturligvis være nødt til at frasortere resultater fra ring noder der ikke har 10G.

Mikrotik har i deres routere direkte indbygget en del testværktøjer, og modsvarende server-komponenter, så man kan teste mod WAN-IF på routeren, fra et centralt punkt. Man kan så scripte at nedlukke/begrænse LAN siden, så det ikke påvirker, og for øvrigt ikke spiller ind med wifi, hubs, power-line extenders oma; resultaterne er fra et kendt fixpunkt.

Måske man skal se hvad Jeres routere kan?

Så burde vi have styr på Fiberby delen.

Vi har haft lidt andre ting at se til, artiklen fik os lige sparket videre.

Så vidt jeg kan forstå fra vores super dygtige netværks specialist, var der ingen problemer på vores eget netværk.

Men han talte om en opgradering af cores og for små filer

Cool :-) Hvad var problemet?

Har blot opgraderet Linux kernen. Vores testserver er en Atom C2758 med 10G netkort. Den kunne sagtens trække 10G før, men var lidt sløv til skalere TCP window, ved test med små filer.

Evt. kan der testes med større filer: http://speed.fiberby.dk/#HTTP

Jeres ringnode er ligesom vores kun 1G, jeg kan derfor ikke teste derfra.

Ah, der var han jo

Men som sagt, vi har ikke rigtigt oplevet problemer på vores netværk fra de fleste kunders side, når det kommer til speedtest på 200/200

Der kan være nogle problemer med 500/500, men det viser sig altid at være en computer eller router hos kunden der er problemet

Jeg vil lige tilføje, at det kan være utroligt svært at få en helt normal bruger til at forstå hastighedstest, specielt når man kommer over fast ethernet

Det ser dog ud til at der er en anden holdning efter 100/100

Vi havde flere der havde noget at sige omkring en 95/95 test med lovet 100/100 (gamle fastethenet switche) end kunder der kan måle ~150/150 på en 200/200 forbindelse (eller 400/400 på en 500/500)

I det første tilfælde er der en hurtig forklaring.
Den ældste del af vores netværk kan ikke sættes til mere end 100/100 og der er noget tab.

Vi sætte alle andre op hastigheder med ~20% for at kundernes oplevelse er bedre når de laver en speedtest.

Men i de fleste tilfælde er kunderne forstående når de kan måle mindre på de højere "hastigheder".

Jeg føler også at der ikke er forståelse for hvad man rent faktisk har brug for, som en helt almindelig familie der bare streamer og har et par enkelte downloads af større filer.

Glæder mig til at vi alle rammer 1 Gbit som standard

Kan man få aria2 til at hente den samme fil flere gange, i stedet for at hente forskellige segmenter af filen?

Tvivler ud fra manpage. Men kan du ikke bare lave noget simpelt shell scripting, noget a la:

for i in {1..10}; do  
        (curl -sSf -o /dev/null -w "%{speed_download}\n" "http://ookla1.kviknet.dk:8080/download?nocache=x&size=50000000" >> speed) &  
done  
wait  
awk -F , '{i+=$1} END {print i}' speed

speed_download er "speed_download The average download speed that curl measured for the complete download. Bytes per second." per curl manpage.

Men hvad sker der, hvis de starter forskudt, eller henter med forskellig hastighed, og derved afslutter forskudt? Så bliver resultatet vel misvisende?

Der må jeg nok give dit ret.

Alternativt skulle man måle afviklingstiden for hele løkken og derigennem beregne den samlede båndbredde, da den hentede datamængde er kendt.

Det burde kunne fungere uden at være misvisende.

Noget a la det her, som giver bytes/s. Bemærk skift fra speed_download til size_download.

START="$(date +%s)"  
for i in {1..10}; do  
        (curl -sSf -o /dev/null -w "%{size_download}\n" "http://ookla1.kviknet.dk:8080/download?nocache=x&size=50000000" >> downloaded) &  
done  
wait  
END="$(date +%s)"  
TOTAL="$(awk -F , '{i+=$1} END {print i}' downloaded)"  
echo "${TOTAL} / ( ${END} - ${START} )" | bc

Jeg har lavet et lille speedtest script i Ammonite:

https://pastebin.com/YiLuzvd8

Eksempel:

baldur@jump1:~/scripts$ ./speedtest.sc -- --periods 10  
Downloading from http://ookla1.kviknet.dk:8080/download?nocache=x&size=500000000 using 4 threads.  
Downloaded 1759502977 bytes in 15453 ms = 910 Mbps.  
Period 1 downloaded 156591844 bytes in 1545 ms = 810 Mbps.  
Period 2 downloaded 180636552 bytes in 1545 ms = 935 Mbps.  
Period 3 downloaded 180711848 bytes in 1545 ms = 935 Mbps.  
Period 4 downloaded 181014480 bytes in 1545 ms = 937 Mbps.  
Period 5 downloaded 180591664 bytes in 1545 ms = 935 Mbps.  
Period 6 downloaded 180774112 bytes in 1545 ms = 936 Mbps.  
Period 7 downloaded 180991312 bytes in 1545 ms = 937 Mbps.  
Period 8 downloaded 180748048 bytes in 1545 ms = 935 Mbps.  
Period 9 downloaded 180761080 bytes in 1545 ms = 935 Mbps.  
Period 10 downloaded 156680881 bytes in 1545 ms = 811 Mbps.

Jeg føler også at der ikke er forståelse for hvad man rent faktisk har brug for, som en helt almindelig familie der bare streamer og har et par enkelte downloads af større filer.

Folk har nok desværre en forkert opfattelse af hvor meget båndbredde streaming egentlig kræver, muligvis kombineret med noget ringe WiFi. Så de ender med en forkert konklusion, at når de streamer så bliver nettet langsom, hvilket må skyldes en langsom forbindelse. Tror nu heller ikke at alle internetudbyderes kundeservice er helt skarpe på det her område, men de har jo også en interesse i at sælge den dyreste forbindelse.

Der er også de gamere der mener at en forbindelse på flere hundrede megabit er nødvendig for en lavere ping-tid. Svare lidt til at mene at man kommer hurtigere frem på en tom 5-sporet motorvej fremfor en tom 2-sporet motorvej.

Har egentlig bare svært ved at se hvad man skal bruge over 100 megabit til, er min opfattelse at det er de færreste familier der regelmæssigt downloader/uploader store filer. I hvert fald regelmæssigt nok til at de ødede udgifter står mål med den sparede tid.

Har egentlig bare svært ved at se hvad man skal bruge over 100 megabit til, er min opfattelse at det er de færreste familier der regelmæssigt downloader/uploader store filer. I hvert fald regelmæssigt nok til at de ødede udgifter står mål med den sparede tid.

Pas på hvad du siger, der er nogen der mener noget andet. Men jeg giver dig helt ret.
Har meget svært ved at se, hvad man skal bruge > 100 Mbit/s til. Dem der vil købe og betale for det, skal dog være velkommen. Jeg skal ikke forhindre dem....
Problematikken er at der ikke findes nogen som helst tjeneste, som har behov for at levere den hastighed til dig over længere tid.
Der hvor jeg oplever at man kan få > 100 Mbit/s igennem, er Steam spil, Bittorrent (nogen gange) og store ISO download, f.eks. hos Microsoft.
Men igen, skulle man have det kørende konstant, var problemet nok snarere at man ikke har en stor nok harddisk...

På en messe kørte vi 6 x 4K stream fra Netflix på en 100 Mbit/s forbindelse uden problemer. Der blev brugt ca. 70 Mbit/s i peak, men ikke konstant, så selv en stor familie kan sagtens streame løs....