LinkedIn gør Apache Kafka-automatisering til open source

30. august 2017 kl. 11:374
Cruise Control holder styr på klyngerne i store kø-systemer.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Kø-serveren Apache Kafka får nu autopilot - Cruise Control - som open source.

Kafka er en kø-server, som løser det problem, der opstår, når en stor mængde delsystemer skal kommunikere med hinanden. I stedet for, at de enkelte delsystemer smider meddelelser rundt med løs hånd, fungerer Kafka som et slags transportbånd, der opfanger og videresender meddelelser rundt fra og til systemets komponenter.

Apache Kafka er udviklet af det sociale netværk LinkedIn, men blev i 2011 sat i verden som open source i Apache-organisationens regi.

Selv om systemet er ganske stabilt, er der dog stadig udfordringer i forbindelse med drift, skriver LinkedIn i et blogindlæg.

Artiklen fortsætter efter annoncen

De såkaldte broker-servere, som er delkomponenter i systemet, har en tendens til at fejle dagligt, hvilket medfører ubalance i arbejdsbyrden på server-klyngerne. Derfor går der en del tid med manuelt at få balancen tilbage i systemet. Det gælder især i store systemer, såsom LinkedIns eget, der bygger på 1.800 brokers.

Det kritiske komponent i den forbindelse er intelligent automatisering, og derfor har LinkedIn skrevet softwaren Cruise Control, som løbende overvåger klyngerne og justerer resurserne, der er allokeret til den enkelte klynge.

I mandags lagde LinkedIn Cruise Control ud på kodeserveren Github under en open source-licens.

Kafka er populært i enterprise-verdenen, men benyttes også af mindre virksomheder. Det er blandt andet systemets evne til at garantere, at en meddelelse modtages i hvert fald én gang, der gør det attraktivt.

4 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
4
30. august 2017 kl. 21:12

Yep, for ganske nyligt, men jeg vil til enhver tid mene at Kafka blev attraktiv FØR KIP-98 og KIP-129. At den så måske er blevet endnu mere attraktiv, det er en anden historie ;-)

2
Journalist -
30. august 2017 kl. 15:36
Journalist

Det er rigtigt - vi retter. Tak.

Mvh Tania Andersen. Journalist, Version2

1
30. august 2017 kl. 15:23

Kafka guarantees at-least -once delivery. Muligheden for exactly once arbejdes der på i KIP-98

Så det er nok ikke helt korrekt at sige at det er "exactly once " som gør kafka attraktivt.