LinkedIn gør Apache Kafka-automatisering til open source

kø server
Cruise Control holder styr på klyngerne i store kø-systemer.

Kø-serveren Apache Kafka får nu autopilot - Cruise Control - som open source.

Kafka er en kø-server, som løser det problem, der opstår, når en stor mængde delsystemer skal kommunikere med hinanden. I stedet for, at de enkelte delsystemer smider meddelelser rundt med løs hånd, fungerer Kafka som et slags transportbånd, der opfanger og videresender meddelelser rundt fra og til systemets komponenter.

Læs også: Tjep køkultur med Apache Kafka

Apache Kafka er udviklet af det sociale netværk LinkedIn, men blev i 2011 sat i verden som open source i Apache-organisationens regi.

Selv om systemet er ganske stabilt, er der dog stadig udfordringer i forbindelse med drift, skriver LinkedIn i et blogindlæg.

De såkaldte broker-servere, som er delkomponenter i systemet, har en tendens til at fejle dagligt, hvilket medfører ubalance i arbejdsbyrden på server-klyngerne. Derfor går der en del tid med manuelt at få balancen tilbage i systemet. Det gælder især i store systemer, såsom LinkedIns eget, der bygger på 1.800 brokers.

Det kritiske komponent i den forbindelse er intelligent automatisering, og derfor har LinkedIn skrevet softwaren Cruise Control, som løbende overvåger klyngerne og justerer resurserne, der er allokeret til den enkelte klynge.

I mandags lagde LinkedIn Cruise Control ud på kodeserveren Github under en open source-licens.

Kafka er populært i enterprise-verdenen, men benyttes også af mindre virksomheder. Det er blandt andet systemets evne til at garantere, at en meddelelse modtages i hvert fald én gang, der gør det attraktivt.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (4)

Kommentarer (4)
Thomas Elsgaard

Yep, for ganske nyligt, men jeg vil til enhver tid mene at Kafka blev attraktiv FØR KIP-98 og KIP-129. At den så måske er blevet endnu mere attraktiv, det er en anden historie ;-)

Log ind eller opret en konto for at skrive kommentarer

Pressemeddelelser

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017

Affecto has the solution and the tools you need

According to GDPR, you are required to be in control of all of your personally identifiable and sensitive data. There are only a few software tools on the market to support this requirement today.
13. sep 2017

Xena - an innovative force in testing next-generation communications technology

22. aug 2017