LinkedIn gør Apache Kafka-automatisering til open source

Cruise Control holder styr på klyngerne i store kø-systemer.

Kø-serveren Apache Kafka får nu autopilot - Cruise Control - som open source.

Kafka er en kø-server, som løser det problem, der opstår, når en stor mængde delsystemer skal kommunikere med hinanden. I stedet for, at de enkelte delsystemer smider meddelelser rundt med løs hånd, fungerer Kafka som et slags transportbånd, der opfanger og videresender meddelelser rundt fra og til systemets komponenter.

Læs også: Tjep køkultur med Apache Kafka

Apache Kafka er udviklet af det sociale netværk LinkedIn, men blev i 2011 sat i verden som open source i Apache-organisationens regi.

Selv om systemet er ganske stabilt, er der dog stadig udfordringer i forbindelse med drift, skriver LinkedIn i et blogindlæg.

De såkaldte broker-servere, som er delkomponenter i systemet, har en tendens til at fejle dagligt, hvilket medfører ubalance i arbejdsbyrden på server-klyngerne. Derfor går der en del tid med manuelt at få balancen tilbage i systemet. Det gælder især i store systemer, såsom LinkedIns eget, der bygger på 1.800 brokers.

Det kritiske komponent i den forbindelse er intelligent automatisering, og derfor har LinkedIn skrevet softwaren Cruise Control, som løbende overvåger klyngerne og justerer resurserne, der er allokeret til den enkelte klynge.

I mandags lagde LinkedIn Cruise Control ud på kodeserveren Github under en open source-licens.

Kafka er populært i enterprise-verdenen, men benyttes også af mindre virksomheder. Det er blandt andet systemets evne til at garantere, at en meddelelse modtages i hvert fald én gang, der gør det attraktivt.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (4)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Thomas Elsgaard

Yep, for ganske nyligt, men jeg vil til enhver tid mene at Kafka blev attraktiv FØR KIP-98 og KIP-129. At den så måske er blevet endnu mere attraktiv, det er en anden historie ;-)

  • 1
  • 0
Log ind eller Opret konto for at kommentere