Implementación de una solución de análisis de datos con Azure Databricks

Descripción

En este curso se explora cómo usar Databricks y Apache Spark en Azure para llevar proyectos de datos de exploración a producción. Aprenderá a ingerir, transformar y analizar conjuntos de datos a gran escala con DataFrames de Spark, Spark SQL y PySpark, al tiempo que creará confianza en la administración del procesamiento de datos distribuidos. A lo largo del proceso, adquirirá experiencia práctica con el área de trabajo de Databricks, explorando clústeres y creando y optimizando tablas Delta. También profundizará en las prácticas de ingeniería de datos, incluido el diseño de canalizaciones ETL, el control de la evolución del esquema y la aplicación de la calidad de los datos. A continuación, el curso pasa a la orquestación, en la que se muestra cómo automatizar y administrar cargas de trabajo con trabajos y canalizaciones de Lakeflow. Para completar todo esto, explorará las funcionalidades de gobernanza y seguridad, como la integración de Unity Catalog y Purview, lo que garantiza que puede trabajar con datos en un entorno seguro, bien administrado y listo para producción.