Netflix fyrer op for 1 million containere i Amazons sky om ugen

Virtuelle maskiner var ikke den mest effektive måde at afvikle eksempelvis oplæring af machine learning-modeller, så Netflix har taget Docker-containere til sig på stor skala.

Bag kataloget af Adam Sandler-film ligger en enorm infrastruktur hos Netflix, som ikke blot skal sørge for at streame video til brugerne, men også finde frem til anbefalinger, der får kunderne til at blive siddende i sofaen.

Og hver gang en ny serie eller film tilføjes, så skal den konverteres til forskellige formater. Det betyder, at Netflix bag kulissen har brug for at køre tusindvis af batchkørsler, og det gør den konventionelle virtuelle maskine mindre effektiv.

En batchkørsel er som regel forskellig fra gang til gang, fordi den eksempelvis afvikler et tilpasset script på et nyt datasæt. Derfor går der forholdsmæssigt meget tid med at sætte en ny virtuel maskine op med styresystem og middleware for at kunne køre et batch. Der er containere nemmere, fordi det ikke er nødvendigt med det fulde styresystem og øvrige software, som skal til for at afvikle batchkørslen.

Læs også: Netflix vil fjerne streaming-støj ved at komprimere alle film individuelt

Netflix kører størstedelen af sin infrastruktur på Amazons EC2-sky, men når man kører hundrede eller tusindvis af virtuelle maskiner, hvor forbruget afregnes pr. time, så er der meget at spare ved at udnytte kapaciteten bedst muligt.

Her kommer containere ind i billedet. Netflix er i løbet af det seneste år gået fra at køre små tusind containere om ugen til nu én million, skriver et hold af Netflix-teknikere på selskabets blog.

Læs også: Fra monolit til microservice: Sådan genbyggede Netflix sig selv i skyen

Containerne, baseret på Docker, kan køre på større virtuelle maskiner, hvor Netflix' egen administrationsplatform Titus så kan fordele containerne på den ledige kapacitet. Det betyder også, at de afdelinger, som har brug at afvikle en batchkørsel, ikke skal vælge, hvor stor en EC2-instans de har behov for.

Containere klar på få minutter

En virtuel maskine kan tage 20 minutter eller længere at gøre klar og få startet op. En container kan være klar på et par minutter. Det gør det muligt for Netflix at få afviklet batchkørsler mere effektivt, hvilket blandt andet kan bruges til oplæring af en machine learning-model.

Læs også: Sådan ved Netflix, hvad du skal se næste gang

Disse batchkørsler kører nu på op mod 500 af Amazons r3.8xl-instanser suppleret med et skiftende antal af virtuelle maskiner, der kører på servere med grafikprocessorer.

Backenden hos Netflix bygger også på en række services, der blandt andet understøtter selve streamingen. Netflix har 10.000 service-containere kørende over længere tid, som afvikles på tusindvis af Amazons større servere.

Næste skridt for Netflix, bliver ifølge teknikerne at begynde at bruge containere til de dele af Netflix, som direkte forsyner kunderne. Udfordringen er, at infrastrukturen også indeholder en række funktioner, der skal forhindre, imødekomme og afhjælpe nedbrud og driftsproblemer, og de funktioner skal altså kunne håndtere en infrastruktur bygget på containere og services frem for virtuelle maskiner.

Sådan en overvågning af infrastrukturens tilstand er bygget ind i Titus til Netflix' interne tjenester, men kommer altså i næste omgang til at skulle afprøves, hvorvidt det kan klare de systemer, som sørger for at forsyne slutbrugerne med serier og film.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (0)
Log ind eller Opret konto for at kommentere
Pressemeddelelser

Silicom i Søborg har fået stærk vind i sejlene…

Silicom Denmark arbejder med cutting-edge teknologier og er helt fremme hvad angår FPGA teknologien, som har eksisteret i over 20 år.
22. sep 2017

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017

Affecto has the solution and the tools you need

According to GDPR, you are required to be in control of all of your personally identifiable and sensitive data. There are only a few software tools on the market to support this requirement today.
13. sep 2017