Implementar Soluciones de Ingeniería de Datos Usando Azure Databricks

El público objetivo son ingenieros de datos que tienen conocimientos fundamentales de conceptos de análisis de datos, un conocimiento básico del almacenamiento en la nube y familiaridad con los principios de organización de datos. Deben sentirse cómodos trabajando con SQL y tener experiencia usando Python, incluidos los cuadernos, para tareas de ingeniería de datos. Se espera que los estudiantes tengan un buen conocimiento de los espacios de trabajo de Azure Databricks y del Catálogo de Unity, junto con familiaridad con los patrones de acceso a datos y conceptos básicos de ingeniería de datos y almacenamiento de datos. Además, deben tener conocimientos fundamentales de seguridad en Azure, incluyendo Microsoft Entra ID, y estar familiarizados con los fundamentos del control de versiones de Git.

Configurar y configurar un entorno Azure Databricks

• Explore Azure Databricks: Azure Databricks es un servicio en la nube que proporciona una plataforma escalable para el análisis de datos utilizando Apache Spark.
• Comprender la arquitectura de Azure Databricks: La arquitectura de Azure Databricks separa los planos de control y de cómputo mientras organiza los recursos mediante una estructura jerárquica. Este módulo explora cómo funciona la jerarquía de cuentas, las diferencias entre los planos de cómputo serverless y clásicos, y las diversas opciones de almacenamiento disponibles, incluyendo almacenamiento por defecto, almacenamiento externo y almacenamiento gestionado por Unity Catalog para organizar y gobernar tus datos.
• Comprender las integraciones de Azure Databricks: Azure Databricks se integra con múltiples servicios de Microsoft para ofrecer capacidades integrales de ingeniería de datos, análisis e IA. Este módulo explora cómo Azure Databricks funciona con Microsoft Fabric, Power BI, Visual Studio Code, Power Platform, Copilot Studio, Microsoft Purview y Microsoft Foundry para habilitar soluciones integrales que combinan capacidades de data lake con inteligencia empresarial, desarrollo de aplicaciones e inteligencia artificial conversacional.
• Seleccionar y configurar computación en Azure Databricks: Azure Databricks ofrece múltiples opciones de cómputo optimizadas para diferentes cargas de trabajo. Este módulo explora cómo elegir el tipo de cómputo adecuado, configurar los ajustes de rendimiento, gestionar permisos de acceso e instalar bibliotecas. Aprenderás cuándo usar computación sin servidor frente a computación clásica, cómo optimizar clústeres en coste y rendimiento, y mejores prácticas para asegurar los recursos de cómputo.
• Crear y organizar objetos en el Catálogo de Unity: El espacio de nombres de tres capas del Catálogo Unity —catálogos, esquemas y objetos— proporciona una base flexible para organizar los activos de datos manteniendo una gobernanza centralizada. Este módulo explora cómo crear catálogos para aislar el entorno, organizar esquemas dentro de esos catálogos y crear tablas, vistas y volúmenes para datos estructurados y no estructurados. Aprenderás a implementar catálogos extranjeros para acceso externo a bases de datos, aplicar convenciones de nombres efectivas y configurar instrucciones AI/BI Genie para mejorar la descubribilidad de datos.

Asegurar y gobernar los objetos de Unity Catalog en Azure Databricks

• Objetos del Catálogo Secure Unity: Unity Catalog proporciona gobernanza centralizada y seguridad para activos de datos en Azure Databricks. Este módulo explora cómo proteger objetos de Unity Catalog mediante estrategias de control de acceso, permisos detallados, gestión de credenciales y mecanismos de autenticación. Aprenderás a implementar seguridad a nivel de tabla y esquema, aplicar filtrado de filas y columnas, acceder de forma segura a secretos de Azure Key Vault y autenticar el acceso a datos usando principales de servicio e identidades gestionadas.
• Gobernar objetos del Catálogo Unity: Este módulo cubre las prácticas esenciales de gobernanza en Unity Catalog, permitiéndote asegurar, monitorizar y gestionar eficazmente tu patrimonio de datos. Aprenderás a implementar un control de acceso detallado, rastrear la línea de datos, configurar registros de auditoría y compartir datos de forma segura.

Preparar y procesar datos con Azure Databricks

• Diseñar e implementar modelado de datos con Azure Databricks: El modelado efectivo de datos constituye la base de una plataforma de datos eficiente y mantenible. Este módulo explora cómo diseñar lógica de ingestión, seleccionar herramientas y formatos de tabla apropiados, implementar esquemas de particionamiento, gestionar dimensiones que cambian lentamente, elegir la granularidad adecuada de los datos y optimizar el rendimiento de las tablas mediante estrategias de agrupamiento en Azure Databricks con Unity Catalog.
• Ingesta de datos en el Catálogo de Unity: La ingesta de datos es una capacidad fundamental para cualquier plataforma de datos. Este módulo explora el conjunto completo de técnicas disponibles en Azure Databricks para cargar datos en tablas del Catálogo de Unity. Aprenderás a usar conectores gestionados con Lakeflow Connect, escribir código de ingesta personalizado en notebooks, aplicar comandos SQL para cargar archivos por lotes, procesar feeds de captura de datos de cambios, configurar la ingesta en streaming desde los buses de mensajes, configurar Auto Loader para detección automática de archivos y orquestar flujos de trabajo de ingestión con pipelines Lakeflow.
• Limpiar, transformar y cargar datos en el Catálogo de Unity: La ingeniería de datos requiere transformar los datos en bruto en formatos limpios y bien estructurados listos para su análisis. Este módulo explora técnicas para perfilar la calidad de los datos, seleccionar tipos de columnas apropiados, resolver duplicados y valores nulos, aplicar filtrados y transformaciones de agregación, combinar conjuntos de datos con uniones y operadores de conjunto, remodelar datos mediante pivoteo y desnormalización, y cargar datos transformados mediante estrategias de adición, sobreescritura y fusión.
• Implementar y gestionar restricciones de calidad de datos con Azure Databricks: Este módulo explora estrategias para mantener una alta calidad de datos en Azure Databricks. Aprenderás a implementar comprobaciones de validación, hacer cumplir esquemas, gestionar la deriva de esquemas y utilizar expectativas de pipeline para garantizar la integridad de los datos en toda la pipeline.

Despliega y mantiene canalizaciones y cargas de trabajo de datos con Azure Databricks

• Diseñar e implementar pipelines de datos con Azure Databricks: Aprende a diseñar e implementar pipelines de datos robustos en Azure Databricks usando notebooks y pipelines Lakeflow, cubriendo orquestación, manejo de errores y lógica de tareas.
• Implementar trabajos de Lakeflow con Azure Databricks: Este módulo te guía en el proceso de implementación de Lakeflow Jobs en Azure Databricks. Aprenderás a crear trabajos, configurar triggers y programaciones, configurar alertas y gestionar reinicios automáticos para garantizar una ejecución fiable de la pipeline de datos.
• Implementar procesos del ciclo de vida del desarrollo en Azure Databricks: Azure Databricks se integra con las prácticas de desarrollo establecidas a través de carpetas Git para control de versiones y Bundles de Automatización Declarativa para despliegues de infraestructura como código. Este módulo explora las mejores prácticas de control de versiones de Git, flujos de trabajo de ramificación y pull requests, estrategias de pruebas completas y el despliegue de paquetes basados en LI en entornos intervinientes.
• Monitorizar, solucionar problemas y optimizar cargas de trabajo en Azure Databricks: La monitorización y optimización son esenciales para ejecutar cargas de trabajo de datos fiables y rentables en Azure Databricks. Este módulo explora métricas de consumo de clústeres, resolución de problemas de Lakeflow Jobs, diagnósticos de trabajos en Spark, optimización del rendimiento para caché, problemas de squew, spill y shuffle, y la transmisión de logs a Azure Log Analytics.