Kaizen Gaming

Optimierung der Infrastruktur von Kaizen Gaming mithilfe von Cloudflare Durable Objects

Kaizen Gaming gehört zu den größten und bekanntesten Unternehmen für Gaming-Technologie der Welt. Es wurde 2012 in Athen gegründet, bietet jedes Jahr 1,5 Millionen Events und überträgt per Livestream mehr als 400.000 Veranstaltungen in 19 Märkten. Außerdem ist es offizieller Sponsor der Copa América, der UEFA Conference League und der Europa League.

Kaizen ist Eigentümer von Betano, einer Premium-Marke für Online-Sportwetten und Gaming, die mit ihrer eigenen Technologie über 13 Millionen Kunden weltweit ein benutzerfreundliches Interface für ein angenehmes Wett- und Casino-Erlebnis bietet.

Die Plattform von Betano liefert aktuelle Updates in Echtzeit aus einem Live-Wettdatenstrom zu Sportergebnissen. Während großer Sportereignisse kann das eine Herausforderung sein, weil dann Hunderttausende von Geräten gleichzeitig auf Kaizen-Anwendungen zugreifen. Das Unternehmen war deshalb auf der Suche nach technischen Möglichkeiten zum Live-Streaming mit optimaler Effizienz und Skalierbarkeit.

Die Herausforderung: ineffizientes Traffic-Routing und eine übermäßig hohe Zahl von Verbindungen

Die Datenverteilung ist für Kaizen besonders herausfordernd und gleichzeitig von maßgeblicher Bedeutung. Denn wenn ein Kunde eine Wette platzieren möchte, muss er ohne nennenswerte Verzögerungen über den aktuellen Stand des betreffenden Ereignis im Bilde sein.

Kostas Stefanopoulos, Principal Site Reliability Engineer bei Kaizen, erklärt: „Wenn Sie sehen, dass ein Tor erzielt wird und Sie eine Wette abschließen möchten, ist keine Zeit zu verlieren. Deshalb muss alles in Echtzeit ablaufen. Das heißt, dass unsere Software große Mengen an Traffic bewältigen muss.“

Die bisherige Infrastruktur von Kaizen hatte erhebliche Schwierigkeiten, diesen Anforderungen gerecht zu werden. Zur Bereitstellung von Echtzeitdaten für Kunden auf der ganzen Welt nutzte das Unternehmen ein benutzerdefiniertes Backend, das auf Microsoft SignalR basierte, um WebSocket-Verbindungen verarbeiten zu können.

Das Hauptproblem waren Effizienz und Skalierbarkeit: Jedes Endnutzergerät stellte eine eigens dafür vorgesehene, dauerhafte WebSocket-Verbindung zu den Kaizen-Ursprungsservern in Europa her. Wenn es bei einem Spiel etwas Neues gab, also beispielsweise ein Tor gefallen war, wurden die jeweiligen Daten vervielfacht und über den Ozean an Hunderttausende Einzelgeräte übermittelt.

Diese Art der Architektur verursachte drei kritische Probleme:

• Übermäßige Beanspruchung und Kosten: Zu Spitzenzeiten mussten über 600.000 Client-Verbindungen gleichzeitig unterstützt werden. Da jeder benutzerdefinierte Backend-Pod nur rund 2.000 SignalR-Verbindungen bewältigen konnte, benötigte Kaizen allein für diese eine Funktion etwa 300 benutzerdefinierte Server . Die daraus entstandene Konfiguration war schwerfällig und ressourcenintensiv.
• Unnötige Beanspruchung von Bandbreite: Durch die ständige und vervielfältigte Datenübertragung wurde das Netzwerk stark beansprucht, was mit hohen Kosten verbunden war.
• Hohe Latenz und Umsatzeinbußen: Das Zurückleiten des Datenverkehrs aus anderen Weltregionen (z. B. Brasilien) nach Europa brachte eine hohe Latenz – häufig von etwa einer Sekunde – mit sich. Doch bei Sportwetten ist Geschwindigkeit das A und O. Versucht ein Kunde, eine Wette auf Grundlage eines nicht mehr aktuellen Spielstands abzuschließen, kann schon eine Verzögerung von 10 Sekunden dazu führen, dass die Wette storniert oder abgelehnt wird . Das wirkt sich direkt auf das Kundenerlebnis und das Kerngeschäft von Kaizen aus.

Doch für Kaizen gab es keine Alternative. „Wir mussten auf das Schlimmste vorbereitet sein“, so Stefanopoulos. „Stellen Sie sich vor, die Hälfte von Brasilien beschließt, sich zur gleichen Zeit einzuloggen. Da gibt es keinen Spielraum für automatische Skalierung.“

Die Lösung: Cloudflare hilft Kaizen bei der Effizienzsteigerung und Skalierung zur Erfüllung der Nutzererwartungen

Ursprünglich war Cloudflare von Kaizen zur DDoS-Abwehr implementiert worden. Als das Unternehmen sich eine Lösung für seine Konnektivitätsprobleme wünschte, wandte es sich auf der Suche nach einer smarten Möglichkeit zur Auslagerung seines Ursprungsservers, zur Optimierung der Datenübertragung und zu drastischen Kosteneinsparungen an Cloudflare.

Zunächst setzte Kaizen Cloudflare Workers und Durable Objects als Reverse-Proxy an der Edge ein. Bei dieser neuen Architektur werden zahlreiche Client-Verbindungen in der Nähe des Nutzers von Cloudflare zu einer einzigen, optimierten WebSocket-Verbindung mit dem europäischen Backend gebündelt, wodurch eine allzu große Vervielfältigung der Verbindungen vermieden wird.

Im Wesentlichen bewältigt Durable Objects diese Aufgabe auf zweierlei Weise:

1. Zusammenführung von Verbindungen : Jedes Durable Object fasst Tausende von einzelnen Nutzerverbindungen zusammen. So werden zu Spitzenzeiten nicht mehr ca. 600.000 Verbindungen mit dem Ursprungsserver von Kaizen hergestellt, sondern nur noch etwa 1.000 . Durable Objects federt die gewaltigen Traffic-Spitzen ab und schultert für die Kaizen-Infrastruktur die mit der Skalierung einhergehende Last.
2. Edge-basierte Auffächerung : Jedes Durable Object fungiert als abonnementbasierter Knotenpunkt. Wenn 10.000 Nutzer denselben Livestream abonnieren, ruft Durable Object jedes Update nur einmal vom Ursprungsserver ab und verteilt es dann sofort von dem Cloudflare-Edge-Standort, der ihnen am nächsten ist, an alle Abonnenten.

Laut Stefanopoulos stellt diese neue Edge-Architektur einen großen Gewinn dar.

„Durable Objects reagieren näher am Endnutzer, sodass Nachrichten seltener den Ozean durchqueren müssen und dann tatsächlich in größerer Nähe zu den Kunden aufgefächert werden können.“

Aus Sicht von Kaizen sprechen vor allem Systemstabilität und Skalierbarkeit für Cloudflare. Durch die Entlastung seiner Backend-Infrastruktur ist das Unternehmen jetzt in der Lage, ein gewaltiges Traffic-Aufkommen mühelos zu bewältigen. Statt ca. 600.000 erreichen zu Spitzenzeiten nun nur noch rund 1.000 gleichzeitige Verbindungsanfragen das Backend von Kaizen.

Auch die Latenz wurde durch die Lösung reduziert, was Kaizen als „glücklichen Zufall“ bezeichnet. Für Nutzer in Lateinamerika, die sich mit europäischen Servern verbinden, hat sie sich von rund 1 s auf 800–900 ms verringert. Das hat dazu beigetragen, die Zahl der verworfenen Wetten zu senken.

Das Ergebnis: Systemstabilität, Kosteneinsparungen und eine größere Zahl akzeptierter Wetten

Für Kaizen hat der Wechsel zu Cloudflare sich nicht nur in technischer Hinsicht gelohnt. Die Optimierung von Stabilität, Kosten und Kernperformance hatte auch direkte, messbare geschäftliche Vorteile.

Stabilität und Skalierbarkeit des Systems

Der unmittelbarste Vorteil für Kaizen war die Steigerung der Systemstabilität und -skalierbarkeit. Indem die Zahl der Client-Verbindungen mit dem Backend von rund 600.000 zu etwa 1.000 gebündelt wurden, hat man die mit hohem Traffic-Aufkommen drohende Instabilität beseitigt  – ebenso wie die Notwendigkeit, ständig rund 300 Backend-Server bereitzustellen und damit deutlich mehr als eigentlich nötig.

„Ein enormer Vorteil (abgesehen von den Einsparungen bei der Bandbreite) ist, dass wir uns bei hohem Verbindungsaufkommen keine Sorgen um die Systemstabilität machen müssen. Das ist ein echtes Plus, weil wir auf alle Eventualitäten vorbereitet sind.“

Starke Reduzierung der Bandbreitenkosten

Durch die Lösung des Problems der Datenvervielfältigung an der Edge konnte Kaizen den Netzwerk-Traffic und die Kosten signifikant senken.

Die zu Spitzenzeiten benötigte Internetbandbreite wurde von ca. 50 Gbit/s auf nur noch rund 2–3 Gbit/s verringert – eine Reduzierung um mehr als 90 % (und um gut 200 % gegenüber der vorherigen Nutzung). Das Unternehmen konnte damit auch kontinuierliche, teure Upgrades von Routern und Firewalls vermeiden, während es jedes Jahr mit hohem Tempo in mehrere neue Märkte expandierte.

Kernperformance und Umsatz

Die Lösung brachte in Form eines „glücklichen Zufalls“ auch eine Reduzierung der Latenz mit sich.

Für Nutzer in Lateinamerika, die sich mit europäischen Servern verbinden, wurde sie von rund 1 Sekunde auf 800–900 ms verringert . Auf den ersten Blick stellt das nur eine leichte Verbesserung der Rechenleistung an der Edge dar. Dies hat jedoch tiefgreifende Auswirkungen auf das Kerngeschäft des Unternehmens: Kunden erhalten Live-Updates schnell genug, um Wetten platzieren zu können, bevor das System sie automatisch als veraltet verwirft.

„Ein enormer Vorteil ist, dass wir uns bei hohem Verbindungsaufkommen keine Sorgen um die Systemstabilität machen müssen“, sagt Stefanopoulos. „Das ist ein echtes Plus, weil wir auf alle Eventualitäten vorbereitet sind.“

Durch die Entlastung des Ursprungsservers, die Senkung der Bandbreitenkosten und die Steigerung der Erfolgsquote von Live-Wetten hat Cloudflare Durable Objects Kaizen dabei geholfen, sich einen Wettbewerbsvorteil in dem dynamischen Geschäft mit Echtzeit-Sportwetten zu verschaffen.

Ein Blick in die Zukunft

Kaizen arbeitet gemeinsam mit Cloudflare an der Integration neuer Funktionen bei Betano. Das Unternehmen befindet sich auf Wachstumskurs und will seine Präsenz auf neuen Märkten ausweiten, nachdem es die ersten Herausforderungen im Hinblick auf Traffic-Effizienz und Datenübertragung gemeistert hat.

Es wird möglicherweise außerdem auf jedem Markt die Zahl der abgedeckten Sportveranstaltungen erweitern, weil seine Infrastruktur eine größere Last jetzt ohne Überbeanspruchung der Infrastruktur und der internen Ressourcen besser bewältigen kann. Kaizen will auch in Zukunft Edge-Computing nutzen und geschäftliche Vorteile daraus ziehen, Rechenleistung und Daten näher an die Endnutzer heranzubringen. Cloudflare steht dem Unternehmen bei diesem gesamten Prozess zur Seite.

„Wir wollen von der Cloudflare-Infrastruktur auf der ganzen Welt profitieren, mit der wir weiterhin so nah wie möglich an unseren Kunden aktiv sein können“, so Stefanopoulos.