Techniques d'automatisation des tests pour les ingénieurs de données (avec dbt !)

L'intégration des tests et de l'automatisation peut être difficile et prendre du temps dans les pipelines de données. Il n'est pas rare que les développeurs écrivent leurs transformations avec l'intention de revenir en arrière et d'intégrer des tests automatisés... mais ils n'ont pas toujours le temps de le faire. En tant qu'ingénieur de données ou d'analyse, existe-t-il un moyen d'intégrer l'automatisation des tests dans le processus de développement ETL/ELT ? Mais oui, c'est possible !

Dans cette conférence, vous apprendrez une technique de développement qu'Improving a créée pour aider à intégrer plus facilement l'automatisation des tests dans le cycle de vie du développement, tout en ayant des pipelines mieux pensés. Vous apprendrez les différents types de tests qui sont nécessaires dans l'ingénierie des données, un processus pour définir les tests nécessaires, tout en construisant d'une manière itérative/agile.

Cet exposé utilisera dbt comme moteur de transformation des données, mais les techniques ont été appliquées avec succès en utilisant SQL, python, pyspark, et d'autres langages chez les clients d'Improving.