Aiven unterstützt idealo, eine der führenden Preisvergleichsplattformen Europas, bei ihrem Streben nach der Marktführerschaft

idealo gehört zu den führenden Online-Vergleichsplattformen für Produkte, Reisen und Flüge in Europa und ist ein datenintensives Unternehmen. Als Teil der Axel Springer SE strebt das Unternehmen danach, seine Präsenz in ganz Europa weiter auszubauen. Mit einer Dateninfrastruktur on-premises, die nur schwer skalierbar war, entschied idealo, dass der Wechsel zu AWS ein wesentlicher Bestandteil seiner Wachstumsstrategie werden sollte. idealo entschied sich für Aiven, um seine Apache Kafka®-Infrastruktur in der Cloud zu verwalten. Dadurch konnten die internen Mitarbeiterteams von der Verwaltungslast befreit werden und sich statt dessen auf Innovationen konzentrieren. Damit festigten sie die Position des Unternehmens in einem hart umkämpften Markt.

Ambitionierte Cloud-Migration zur Unterstützung des wachsenden Geschäfts

In den vergangenen zwei Jahrzehnten sind die E-Commerce- und Preisvergleichsseiten von idealo erheblich gewachsen. Das Unternehmen hat Händler und Produktlinien hinzugefügt, in verschiedene europäische Märkte expandiert und auf sich ändernde Trends im Online-Handel wie den Black Friday reagiert. Mit dem Wachstum des Unternehmens wurde die IT-Infrastruktur zunehmend beansprucht, insbesondere zu Zeiten mit hohem Handelsvolumen wie Weihnachten.

„Wir haben die strategische Entscheidung getroffen, unsere IT-Infrastruktur auf AWS zu verlagern, um eine bessere Skalierbarkeit zu erreichen. Unser Rechenzentrum konnte die Kapazität nicht bereitstellen, die für das Unternehmenswachstum und die Unterstützung des Teams erforderlich gewesen wäre“, sagt Wanis Fahmy, Senior Cloud Engineer bei idealo.

idealo arbeitet täglich mit Tausenden von Händlern zusammen, die Informationen über ihre gelisteten Produkte – einschließlich Preise, Beschreibungen und Bilder – zur Verfügung stellen. idealo verarbeitet, analysiert und bewertet diese Daten und stellt sie auf seiner Website zur Verfügung. „Mit 50.000 Händlern und 500 Millionen Produktangeboten verarbeiten wir riesige Datenmengen. Eine schnelle und zuverlässige Dateninfrastruktur ist daher ein entscheidender Teil unseres Geschäftsmodells. Kunden möchten sofort den günstigsten Preis, nicht vor fünf Minuten. Verzögerungen, ungenaue Daten oder ein unterbrochener Service könnten das Vertrauen in die Marke idealo beeinträchtigen“, sagt Fahmy. Aus diesem Grund ist idealo ein langjähriger und intensiver Nutzer von Apache Kafka, der Open-Source-Plattform für Daten-Streaming.

Vor der Migration zu AWS verfügte idealo über 30 Kafka-Cluster on-premises, die Daten zwischen den Systemen und Anwendungen des Preisvergleichsdienstes übermittelten. Das Unternehmen setzte sich einen ehrgeizigen Plan für die Cloud-Migration, der in nur 18 Monaten abgeschlossen werden sollte. Die Verlagerung der Dateninfrastruktur, einschließlich Kafka, war ein wesentlicher Bestandteil des Plans.

Obwohl das Team solide Erfahrungen mit der Verwaltung von on-premises Kafka-Clustern gesammelt hatte, gab es Bedenken, dass diese für einen Cloud-basierten Betrieb nicht ausreichen würden. Jeder Leistungsverlust oder, noch schlimmer, jede Ausfallzeit würde zu einem spürbaren und sofortigen Verlust im Handel führen. idealo benötigte daher einen zuverlässigen Partner, der bei der Migration und dem anschließenden Management von Kafka helfen konnte.

„Die Sicherstellung, dass unsere Kafka-Implementierung immer auf dem neuesten Stand ist und mit den Best Practices übereinstimmt, ist eine große Aufgabe für uns. Der Umzug in die Public Cloud gab uns die Möglichkeit, diese Aufgabe an Experten abzugeben, so dass sich unser Team auf unser Kerngeschäft konzentrieren konnte“, sagt Fahmy.

Alle Kriterien erfüllen - Verfügbarkeit, Zuverlässigkeit und berechenbare Preisgestaltung

Das Team von idealo verglich verschiedene Anbieter und entschied sich letztendlich für Aiven. „Aiven war der einzige Anbieter, der alle Kriterien erfüllte", sagt Fahmy. „Die anderen SaaS-Anbieter konnten mit den technischen Möglichkeiten der Aiven-Datenplattform nicht mithalten. Auch war uns Berechenbarkeit wichtig, insbesondere bei der Preisgestaltung.”

Ausschlaggebend war das unkomplizierte und leicht verständliche Preismodell von Aiven. „Der Wechsel in die öffentliche Cloud mit den vielen verschiedenen Kosten- und Preismodellen war für uns neu. Wir waren uns nicht sicher, wie sich das entwickeln würde – aber wir wussten, dass steigende Kosten, zum Beispiel für die Datenübertragungsgebühren, unsere Pläne für den Wandel wirklich untergraben hätten”, sagt Fahmy.

Die Migration zu AWS sollte schrittweise erfolgen, wobei einige Teams früher als andere aus den Rechenzentren ausziehen würden. „Eine der wichtigsten technischen Anforderungen war, dass die Kafka-Cluster im dualen Modus arbeiten sollten und dabei Virtual Private Cloud (VPC) Peering verwenden, um eine Verbindung zu den on-premises Clustern sicherzustellen und Zugriff auf die bereits zu AWS migrierten Cluster zu ermöglichen. Aiven war der einzige Anbieter, der die Flexibilität hatte, in beiden Modi zu arbeiten. Das Umschalten zwischen den Modi war sehr einfach, beispielsweise um den öffentlichen Zugang zu deaktivieren und nur mit Peering zu arbeiten oder umgekehrt“, erläutert Fahmy.

Aiven for Apache Kafka unterstützt eine immer breitere Palette von Anwendungsfällen

idealo führte mit Aiven for Apache Kafka® ein erfolgreiches Proof-of-Concept durch, das die erforderliche technische Sicherheit bot. Kurze Zeit später wurde der Umzug der Kafka-Cluster zu Aiven auf AWS initiert.

Honey Feelisch, Projektmanagerin bei idealo, war die leitende Projektmanagerin für die AWS-Migration. Auch als einige Teams ihre Anwendungen noch on-premises betrieben, ermutigte Feelisch alle, Aiven for Apache Kafka als zentralen Data Hub zu verwenden, indem Nachrichten gespiegelt oder repliziert werden. „Diese Strategie ermöglichte es uns, die Abhängigkeiten zwischen den Teams zu entwirren. Außerdem gab sie jedem die Möglichkeit, die Kafka-Nachrichten zu hören und zu überlegen, wie sie am besten umgesetzt werden könnten“, sagt Feelisch.

Drei Monate nach Abschluss des Proof of Concept wurde die Kafka-Infrastruktur erfolgreich in die Produktion der Cloud überführt. Heute werden rund 60 Kafka-Cluster von Aiven verwaltet, die eine Reihe verschiedener Teams mit einem immer breiteren Spektrum von Anwendungsfällen unterstützen.

„Wir setzen Kafka häufig für die ereignisgesteuerte asynchrone Kommunikation zwischen Teams und ihren verschiedenen Microservices ein”, erklärt Fahmy. „Der zweitwichtigste Anwendungsfall ist Aiven for Apache Kafka® Connect. Dieses Tool nutzen einige unserer Teams für die Einspeisung von Daten in unseren Big Data Lake in AWS.“

Seit der Umstellung auf Aiven hat die Beliebtheit und Nutzung von Kafka zugenommen. „Mit Aiven sind unsere Kafka-Cluster deutlich zuverlässiger als zuvor. Dies ermöglicht unseren Teams, sich auf das Kerngeschäft zu konzentrieren, ohne sich um die Wartung kümmern zu müssen. Darüber hinaus ist die Einrichtung eines neuen Clusters nun sehr einfach. Das macht es für andere Teams deutlich attraktiver und zugänglicher”, sagt Fahmy.

Aus geschäftlicher Sicht kann idealo sicher sein, dass die Kafka-Komponenten seiner kritischen Dateninfrastruktur zu jeder Zeit hochverfügbar sind. Zudem ist gewährleistet, dass Daten selbst in Zeiten wie dem Black Friday schnell und sicher bewegt werden können.

„Aiven ermöglicht uns die Bewältigung steigender Arbeitslasten und Datenmengen. Das bedeutet, dass die Systeme, die unserer Preisvergleichsplattform zugrunde liegen, sich an unsere wachsenden geschäftlichen Anforderungen anpassen können, während wir weiter an Beliebheit gewinnen, in neue Märkte expandieren und unsere ehrgeizigen Wachstumsziele erreichen“, sagt Andreas Hankel, CTO von idealo.

Vorfreude auf neue Geschäftsinnovationen

Der Schwerpunkt des letzten Jahres lag auf der Migration von Arbeitslasten zu AWS und Aiven for Apache Kafka. Aber wie Fahmy anmerkt, eröffnet die Arbeit mit Aiven neue Möglichkeiten und Anwendungsfälle, die zuvor nicht möglich waren. "Früher haben einige Teams die Nutzung von Kafka vermieden, da sie als kompliziert galt. Dank Aiven können sie nun neue Cluster erstellen und auf dieser Grundlage neue Kundenservices entwickeln. Wir werden in Zukunft noch viel dazulernen und sind schon gespannt auf die Innovationen, die dadurch entstehen werden."