Le client
Cette société cotée en bourse et figurant au classement Fortune 25 est le plus grand fournisseur de soins gérés Medicaid et Medicare du pays. Son objectif est de transformer la santé des communautés qu'elle dessert.
Le projet
Une plateforme d'événements d'entreprise utilisant Kafka
Vue d'ensemble
Cette organisation de soins de santé compte 26,6 millions de membres et plus de 72 500 employés dans 50 États. Grâce à des fusions et des acquisitions, leur stratégie de croissance agressive a permis d'augmenter les revenus de 13 % d'une année sur l'autre pour atteindre 126 milliards de dollars en 2021.
Le défi
L'ambitieuse stratégie de croissance de cette entreprise a engendré des défis en matière d'intégration et de migration des données. Les départements ne pouvaient pas découvrir ou partager des données précieuses et avaient souvent besoin de l'autorisation des propriétaires de bases de données, ce qui ralentissait les processus métier. Ils devaient supprimer les silos de données qui entravaient la découvrabilité des données entre les équipes, et ils devaient passer d'un traitement par lots à un traitement en flux en temps réel pour améliorer l'exactitude des données et accélérer les processus métier.
Ils ont identifié Apache Kafka comme une solution, mais ne disposaient pas de l'expertise nécessaire pour une mise en œuvre à l'échelle de l'entreprise qui garantisse la conformité SOC. Une fois l'implémentation de Kafka terminée, ils ont eu besoin d'aide pour migrer et transformer dans un format standard des quantités massives de données provenant de plusieurs systèmes nouvellement acquis. L'ampleur sans précédent de ce projet comprenait des milliards et des milliards de points de données provenant de plus de dix systèmes différents, ce qui rendait chaque décision cruciale pour le succès global à long terme de la mise en œuvre de la technologie.
La solution
Phase 1 : Implémentation de Kafka
Pour ce projet, nous avons transformé des systèmes monolithiques en micro-services distribués, en développant une plateforme d'événements d'entreprise pour s'adapter à la transformation vers une architecture pilotée par les événements. Nos applications ont fourni une interface REST (Representational State Transfer) et gRPC (Remote Procedure Call) pour permettre aux équipes de développement de publier et de consommer des événements. La plateforme comprenait
Évolution des schémas structurés avec Confluent Schema Registry et AVRO
Routage d'événements configurable (en libre-service) avec K-Tables
Agrégation dynamique des événements avec Kafka Streams
Traçage d'événements distribués avec Jaeger
Requête d'événements sur un magasin d'événements MongoDB hydraté par Kafka Connect
Portail en libre-service et API pour permettre aux équipes d'intégrer et de maintenir leurs configurations.
Phase 2 : Normalisation des données en tant que service
Après avoir implémenté Kafka, la plateforme autour de Kafka, et formé l'équipe de développement au logiciel, nous avons commencé la normalisation de milliards de données à travers plus de dix systèmes. La pile technologique principale comprenait des applications Java/Spring Boot fonctionnant dans Kubernetes et communiquant avec Apache Kafka et des bases de données telles que Mongo, Neo4j et Postgres. Ces derniers mois, ils ont adopté Quarkus comme alternative à Boot. Une application VueJS frontale a été construite à partir de zéro pour gérer dynamiquement les mappages entre les formats de données. Nous avons développé des pipelines Gitlab CI/CD pour les déploiements et mis en place un monitoring et des métriques via Kibana/Grafana. Nous avons mené ce projet sur l'ensemble de la pile, et nous avons formé leur personnel sur les technologies.
Les avantages pour l'entreprise
Les équipes internes de cette entreprise partagent désormais des données en temps réel sans être gênées par les silos de données et les obstacles liés aux autorisations, ce qui accélère les activités de l'entreprise. L'entreprise est en mesure d'interagir et de dialoguer avec les prestataires en temps réel par le biais de flux d'événements, ce qui permet aux prestataires d'être informés en temps réel de l'état d'avancement de leurs demandes de remboursement. Depuis son lancement, le système a traité des milliards d'enregistrements. Ce client est en mesure de continuer à faire évoluer ses produits - en ajoutant par exemple des fonctionnalités Confluent Cloud - sans encourir de dette technique.
Pourquoi Improving ?
Nos consultants avaient les compétences et les connaissances nécessaires pour mener à bien cette stratégie de streaming d'entreprise avec Apache Kafka comme outil de choix. Notre équipe a participé à toutes les facettes du projet, de la conception à la livraison. Nous avons piloté les décisions technologiques, formé le personnel à la nouvelle technologie, facilité le passage à la deuxième phase de normalisation des données et permis à l'entreprise de continuer à faire évoluer ses produits.
Démarrer
Découvrez comment Improving peut vous aider à démarrer en nous contactant dès aujourd'hui à l'adresse suivante sales@improving.com ou en remplissant un formulaire de contact via le lien ci-dessous.
