Valiosas técnicas de automatización de pruebas para ingenieros de datos (¡con dbt!)

La integración de las pruebas y la automatización puede ser difícil y llevar mucho tiempo en las canalizaciones de datos. No es raro que los desarrolladores escriban sus transformaciones con la intención de volver atrás e incorporar pruebas automatizadas... pero puede que no se reserven el tiempo para hacerlo. Como ingeniero de datos o ingeniero analítico, ¿hay alguna forma de automatizar las pruebas como parte del proceso de desarrollo ETL/ELT? Pues sí.

En esta charla, aprenderá una técnica de desarrollo que Improving creó para ayudar a integrar la automatización de pruebas en el ciclo de vida de desarrollo con mayor facilidad, a la vez que dispone de pipelines mejor pensados. Usted aprenderá los diferentes tipos de pruebas que se requieren en la ingeniería de datos, un proceso para la definición de las pruebas necesarias, mientras que también la construcción de una manera iterativa / ágil.

En esta charla se utilizará dbt como motor de transformación de datos, pero las técnicas se han aplicado con éxito utilizando SQL, python, pyspark y otros lenguajes en los clientes de Improving.