Empresa del sector sanitario Fortune 25
Visión general
Esta empresa de la lista Fortune 25, que cotiza en bolsa, es el mayor proveedor de atención médica gestionada de Medicaid y Medicare del país y se centra en transformar la salud de las comunidades a las que presta servicios. Cuenta con 26,6 millones de afiliados y más de 72.500 empleados en 50 estados. A través de fusiones y adquisiciones, su agresiva estrategia de crecimiento ha incrementado los ingresos en un 13% interanual hasta alcanzar los 126.000 millones de dólares en 2021.
Desafío
La ambiciosa mentalidad de crecimiento de esta empresa creó retos de integración y migración de datos. Los departamentos no podían descubrir o compartir datos valiosos y a menudo necesitaban el permiso de los propietarios de las bases de datos, lo que ralentizaba los procesos empresariales. Necesitaban eliminar los silos de datos que dificultaban la detección de datos entre equipos y pasar del procesamiento por lotes al procesamiento de flujos en tiempo real para mejorar la precisión de los datos y acelerar los procesos empresariales.
Identificaron Apache Kafka como solución, pero carecían de los conocimientos necesarios para una implantación en toda la empresa que garantizara el cumplimiento de las normas SOC. Una vez completada la implementación de Kafka, necesitaban ayuda para migrar y transformar cantidades masivas de datos de múltiples sistemas recién adquiridos a un formato estándar.
La escala sin precedentes de este proyecto incluía miles y miles de millones de puntos de datos de más de diez sistemas diferentes, por lo que cada decisión era crucial para el éxito general a largo plazo de la implantación tecnológica.
Solución
Fase 1: Implementación de Kafka
Para este proyecto, refactorizamos sistemas monolíticos en microservicios distribuidos, desarrollando una plataforma de eventos empresariales para acomodar la transformación a una arquitectura basada en eventos. Nuestras aplicaciones proporcionaron una interfaz de transferencia de estado representacional (REST) y llamada a procedimiento remoto (gRPC) para permitir a los equipos de desarrollo publicar y consumir eventos. La plataforma incluía
Evoluciones de esquemas estructurados con Confluent Schema Registry y AVRO
Enrutamiento de eventos configurable (autoservicio) con K-Tables
Agregación dinámica de eventos con Kafka Streams
Seguimiento distribuido de eventos con Jaeger
Consulta de eventos contra un almacén de eventos MongoDB hidratado por Kafka Connect
Portal de autoservicio UI y API para permitir a los equipos incorporar y mantener sus configuraciones
Fase 2: Normalización de datos como servicio
Una vez que implementamos Kafka, la plataforma en torno a Kafka, y formamos al equipo de desarrollo en el software, comenzamos la normalización de miles de millones de datos en más de diez sistemas.
La pila tecnológica principal incluía aplicaciones Java/Spring Boot que se ejecutaban en Kubernetes y hablaban con Apache Kafka y bases de datos como Mongo, Neo4j y Postgres.
En los últimos meses, han adoptado Quarkus como alternativa a Boot. Se construyó desde cero una aplicación frontend VueJS para gestionar dinámicamente los mapeos entre formatos de datos. Desarrollamos Gitlab CI/CD pipelines para despliegues y construimos monitorización y métricas a través de Kibana/Grafana. Llevamos a cabo este proyecto en toda la pila y formamos a su personal en las tecnologías.
Beneficios empresariales
Los equipos internos de esta empresa ahora comparten datos en tiempo real sin el obstáculo de los silos de datos y los obstáculos de los permisos, lo que acelera las operaciones empresariales.
La empresa puede interactuar y relacionarse con los proveedores en tiempo real a través de flujos de eventos, proporcionándoles actualizaciones en tiempo real sobre el estado de sus reclamaciones. Desde su lanzamiento, el sistema ha procesado miles de millones de registros.
Este cliente está preparado para seguir evolucionando sus productos, como añadir funciones de Confluent Cloud, sin incurrir en deudas técnicas.
Por qué Improving
Nuestros consultores contaban con las habilidades y los conocimientos necesarios para liderar esta estrategia de streaming empresarial con Apache Kafka como herramienta elegida. Nuestro equipo colaboró en todas las facetas del proyecto, desde el diseño hasta la entrega. Dirigimos las decisiones tecnológicas, formamos a su personal en la nueva tecnología, pasamos fácilmente a la segunda fase de normalización de datos y les preparamos para seguir evolucionando sus productos.