Aiven soutient idealo, l'un des principaux sites de comparaison de prix en Europe, dans sa quête pour sécuriser la première position

L'infrastructure Apache Kafka® déplacée vers AWS apporte de nouveaux niveaux de scalabilité et de fiabilité pour soutenir la croissance

En tant que l'une des principales plateformes de comparaison en ligne pour les produits, les voyages et les vols en Europe, idealo est une entreprise axée sur les données. Faisant partie d'Axel Springer SE, l'entreprise ambitionne de renforcer sa présence à travers l'Europe. Cependant, avec une infrastructure de données sur site qui peinait à évoluer, idealo a décidé que le passage à AWS était une partie essentielle de sa stratégie de croissance. idealo a choisi Aiven pour gérer son infrastructure Apache Kafka® dans le cloud, soulageant ainsi les équipes internes de la gestion et leur permettant de se concentrer sur l'innovation, consolidant ainsi sa position sur un marché hautement compétitif.

Prix transparents pour les biens de consommation à travers l'Europe

idealo a commencé en 2000 avec pour mission d'aider les utilisateurs à prendre les meilleures décisions d'achat grâce à des prix transparents. Elle fait partie du géant des médias et de la technologie Axel Springer SE depuis 2007. Chaque jour, idealo analyse des milliards d'offres provenant de boutiques de toutes tailles et attribue chaque offre à un produit spécifique que les utilisateurs peuvent facilement trouver dans l'application et sur le site web idealo. L'entreprise reçoit en moyenne 76 millions de visites par mois rien qu'en Allemagne et affiche plus de 500 millions d'offres provenant d'environ 50 000 boutiques, ce qui en fait l'un des sites de commerce électronique les plus populaires en Allemagne et une plateforme leader dans le domaine très concurrentiel de la comparaison de prix. idealo s'est également étendu à la France, au Royaume-Uni, à l'Italie, à l'Autriche et à l'Espagne, et continue d'innover et de diversifier son offre pour rester en tête de la concurrence et atteindre son objectif de devenir le numéro un en Europe.

idealo-unternehmen-ueber-idealo-2022 (1).jpg

Migration ambitieuse vers le cloud pour soutenir l'expansion de l'entreprise

Au cours des deux dernières décennies, les sites de commerce électronique et de comparaison de prix d'idealo ont considérablement grandi. L'entreprise a ajouté des commerçants et des lignes de produits, s'est étendue à différents marchés européens et a répondu aux tendances changeantes du commerce de détail en ligne, comme le Black Friday. À mesure que l'entreprise se développait, son infrastructure informatique subissait de plus en plus de pression, notamment pendant les périodes de trading à fort volume comme Noël.

« Nous avons pris la décision stratégique de déplacer notre infrastructure informatique vers AWS pour une meilleure scalabilité. Notre centre de données ne pouvait pas fournir la capacité nécessaire pour développer l'entreprise et soutenir les projets de nos équipes », déclare Wanis Fahmy, Ingénieur cloud senior chez idealo.

Chaque jour, idealo collabore avec des milliers de commerçants qui partagent des informations sur leurs produits listés – y compris les prix, les descriptions et les images. idealo traite, analyse, classe et partage ensuite ces données sur son site web. « Avec 50 000 commerçants et 500 millions d'offres de produits, nous gérons d'énormes quantités de données. Avoir une infrastructure de données rapide et fiable est une partie critique de notre modèle commercial. Les gens veulent le meilleur prix maintenant, pas il y a cinq minutes. Les retards, les données inexactes ou les interruptions de service pourraient nuire à la confiance dans la marque idealo », déclare Fahmy. En conséquence, idealo utilise depuis longtemps Apache Kafka, la plateforme open source de streaming de données.

Avant de migrer vers AWS, idealo avait 30 clusters Kafka sur site transférant des données entre les systèmes et applications soutenant son service de comparaison de prix. L'entreprise s'est fixé un plan de migration ambitieux vers le cloud à réaliser en seulement 18 mois. Le déplacement de l'infrastructure de données, y compris Kafka, était une partie essentielle du plan.

Bien que l'équipe ait acquis une solide expérience dans la gestion des clusters Kafka sur site, il y avait des préoccupations quant à leur suffisance pour une opération basée sur le cloud. Toute perte de performance ou, pire encore, tout temps d'arrêt entraînerait une perte immédiate et notable de trading. idealo avait besoin d'un partenaire fiable pour aider à la migration et à la gestion subséquente de Kafka.

« S'assurer que notre déploiement Kafka est toujours à jour et conforme aux meilleures pratiques est une tâche énorme pour nous. Passer au cloud public nous a donné l'opportunité de confier ce stress aux experts, afin que notre équipe puisse se concentrer sur notre business », déclare Fahmy.

Répondre à tous les critères – disponibilité, fiabilité et tarification prévisible

idealo a évalué différents fournisseurs et l'équipe a choisi Aiven. « Aiven était le seul fournisseur à répondre à tous les critères », déclare Fahmy. « Les autres fournisseurs SaaS ne pouvaient pas égaler les capacités techniques de la plateforme de données Aiven et nous voulions également de la prévisibilité, en particulier en ce qui concerne les prix. »

Le modèle de tarification simple et facile à comprendre d'Aiven a été déterminant dans l'évaluation. « Passer au cloud public était nouveau pour nous, avec beaucoup de modèles de coûts et de tarification différents. Nous ne savions pas comment cela se passerait – mais nous savions que des coûts élevés comme les frais de sortie de données pourraient vraiment compromettre nos plans de changement », explique Fahmy.

La migration vers AWS serait échelonnée, certaines équipes quittant les centres de données plus tôt que d'autres. « L'une des exigences techniques clés était que les clusters Kafka fonctionnent en mode double – en utilisant le peering de Virtual Private Cloud (VPC) pour assurer la connexion aux clusters sur site, tout en permettant l'accès à ceux déjà migrés vers AWS. Aiven était le seul fournisseur capable de fournir la flexibilité pour fonctionner dans les deux modes. Il était très facile de passer d'un mode à l'autre, par exemple, pour désactiver l'accès public et se fier uniquement au peering et vice versa », explique Fahmy.

Aiven pour Apache Kafka soutient une gamme de cas d'utilisation de plus en plus large

idealo a entrepris un proof of concept réussi avec Aiven pour Apache Kafka®, qui a fourni toutes les assurances techniques nécessaires. Peu de temps après, il a commencé à déplacer les clusters Kafka vers Aiven sur AWS.

Honey Feelisch, chef de projet chez idealo, a dirigé la migration vers AWS. Même lorsque certaines équipes faisaient encore fonctionner leurs applications sur site, Feelisch a encouragé tout le monde à commencer à utiliser Aiven pour Apache Kafka comme un hub central de données en reflétant ou en répliquant les messages. « Cette stratégie nous a permis de démêler les dépendances entre les équipes. Elle a également donné à chacun la liberté et la capacité d'écouter les messages Kafka et de réfléchir à la manière dont ils pouvaient en bénéficier », déclare Feelisch.

Trois mois après la finalisation du proof of concept, l'infrastructure Kafka avait été déplacée avec succès en production dans le cloud. Aujourd'hui, environ 60 clusters Kafka sont gérés par Aiven, soutenant un certain nombre d'équipes différentes avec une gamme de cas d'utilisation de plus en plus large.

« Nous utilisons beaucoup Kafka pour la communication asynchrone basée sur des événements entre les équipes et leurs divers microservices », explique Fahmy. « Le deuxième plus grand cas d'utilisation tire parti d'Aiven pour Apache Kafka® Connect, que certaines de nos équipes utilisent pour l'ingestion de données dans notre big data lake sur AWS. »

Depuis le passage à Aiven, la popularité et l'utilisation de Kafka ont augmenté. « Avec Aiven, nos clusters Kafka sont beaucoup plus fiables qu'auparavant. Cela signifie que nos équipes peuvent se concentrer sur le cœur de métier et ne pas se soucier de la maintenance. Il est également très facile de démarrer un nouveau cluster maintenant. Cela le rend beaucoup plus attractif et accessible pour d'autres équipes », déclare Fahmy.

D'un point de vue commercial, idealo a la certitude que les composants Kafka de son infrastructure de données critique sont hautement disponibles à tout moment et que les données continueront d'être transférées rapidement et avec succès même pendant les périodes de pointe comme le Black Friday.

« Aiven nous aide à accueillir l'augmentation des charges de travail et des volumes de données. Cela signifie que les systèmes qui sous-tendent notre site de comparaison de prix peuvent évoluer et s'ajuster à nos besoins commerciaux à mesure que nous continuons de gagner en popularité, d'étendre nos marchés et d'atteindre nos ambitieux objectifs de croissance », déclare Andreas Hankel, CTO, idealo.

Vers de nouvelles innovations commerciales

L'objectif de l'année écoulée a été de migrer les charges de travail vers AWS et Aiven pour Apache Kafka. Mais comme le note Fahmy, travailler avec Aiven crée de nouvelles possibilités et de nouveaux cas d'utilisation qui n'étaient pas possibles auparavant. « Dans le passé, certaines équipes évitaient d'utiliser Kafka parce que c'était compliqué, mais maintenant, grâce à Aiven, elles ont l'opportunité de créer de nouveaux clusters et de nouveaux services clients basés sur cela. À l'avenir, nous allons beaucoup apprendre et je suis impatient de voir l'innovation que cela va susciter. »

Études de cas similaires

Mettez votre premier cluster en ligne dès maintenant

Aiven rend la configuration des bases de données cloud si simple que tout le monde peut le faire. Nos solutions « configurez et oubliez » éliminent la complexité de l’infrastructure de données cloud.

Commencez gratuitement

Réserver une démo