- Регистрация
- 22 Февраль 2018
- Сообщения
- 11.997
Автор: learndataengineering
Название: Azure Data Pipelines с Terraform (2025)
Описание:
Azure Data Pipelines with Terraform
learndataengineering
Azure становится всё более популярной платформой для компаний, использующих экосистему Microsoft365. Если вы хотите прокачать свои навыки инженера данных, то умение работать с Azure и автоматизировать инфраструктуру с помощью Terraform - ключевые компетенции. Именно поэтому мы создали этот курс «Azure ETL с Terraform».
На практическом проекте вы научитесь строить полноценное решение для обработки данных в Azure, объединяя возможности Terraform, Azure Data Factory, Synapse Analytics и Power BI.
Вы создадите полностью автоматизированный ETL-процесс:
- Извлечёте данные из внешнего API
- Обработаете их с помощью мощных инструментов Azure
- Подготовите данные для визуализации
В процессе работы вы реализуете архитектуру Lakehouse и Medallion (слои Bronze, Silver, Gold), чтобы ваш пайплайн был эффективным и масштабируемым.
В конце курса вы не только освоите принципы построения современных пайплайнов данных и автоматизации инфраструктуры, но и получите полноценный практический проект для вашего портфолио.
Что вы изучите на курсе
Введение в Azure и Terraform
Познакомитесь с ролью Azure в современном дата-ландшафте и ключевыми сервисами для инженеров данных: Data Factory, Data Lake и Synapse Analytics. Разберётесь, как Terraform помогает управлять ресурсами инфраструктуры как кодом (IaC), делая их создание и сопровождение масштабируемыми и надёжными.
Практическая настройка
Установите Terraform, настроите его для работы с Azure. Создадите Service Principal, настроите аутентификацию для безопасного автоматизированного развертывания ресурсов и подготовите рабочую среду для управления ресурсами.
Основы Terraform
Разберётесь в структуре проекта на Terraform, изучите основные команды и принципы модульной разработки.
Научитесь:
- Разворачивать Azure Data Factory для оркестрации пайплайнов
- Настраивать Azure Data Lake Storage для хранения данных (слой Bronze)
- Разворачивать Synapse Analytics для обработки данных
- Освоите написание переиспользуемого и масштабируемого кода на Terraform.
Реальное развертывание
Начнёте развертывание компонентов пайплайна: подключите Azure Data Factory к внешнему Soccer API для загрузки данных, настроите Azure Data Lake для хранения «сырых» данных. Вы научитесь совмещать ручные и автоматизированные подходы, как это делают в реальных проектах.
CI/CD для инфраструктуры
Разберётесь, как применять принципы CI/CD для инфраструктуры с помощью Terraform и Azure DevOps. Изучите:
- Continuous Integration (CI): автоматическая сборка, тестирование и проверка кода
- Continuous Deployment (CD): автоматическое развертывание инфраструктуры и обновление приложений
- Научитесь интегрировать Terraform в CI/CD-пайплайны, чтобы ваши развертывания были стабильными, повторяемыми и быстрыми.
Что будет дальше
В следующих частях курса вас ждёт углублённое изучение:
- Интеграции с API (на примере Soccer API)
- Расширенных возможностей Azure Data Factory для пакетной обработки данных
- Продвинутой обработки данных в Synapse Spark
- Оптимизации архитектуры Lakehouse для работы с большими объёмами данных и совместной работы в команде
- Полной автоматизации пайплайнов развертывания для репликации инфраструктуры в разных средах
Материал на английском языке
Подробнее:
Скачать:
Название: Azure Data Pipelines с Terraform (2025)
Описание:
Azure Data Pipelines with Terraform
learndataengineering
Azure становится всё более популярной платформой для компаний, использующих экосистему Microsoft365. Если вы хотите прокачать свои навыки инженера данных, то умение работать с Azure и автоматизировать инфраструктуру с помощью Terraform - ключевые компетенции. Именно поэтому мы создали этот курс «Azure ETL с Terraform».
На практическом проекте вы научитесь строить полноценное решение для обработки данных в Azure, объединяя возможности Terraform, Azure Data Factory, Synapse Analytics и Power BI.
Вы создадите полностью автоматизированный ETL-процесс:
- Извлечёте данные из внешнего API
- Обработаете их с помощью мощных инструментов Azure
- Подготовите данные для визуализации
В процессе работы вы реализуете архитектуру Lakehouse и Medallion (слои Bronze, Silver, Gold), чтобы ваш пайплайн был эффективным и масштабируемым.
В конце курса вы не только освоите принципы построения современных пайплайнов данных и автоматизации инфраструктуры, но и получите полноценный практический проект для вашего портфолио.
Что вы изучите на курсе
Введение в Azure и Terraform
Познакомитесь с ролью Azure в современном дата-ландшафте и ключевыми сервисами для инженеров данных: Data Factory, Data Lake и Synapse Analytics. Разберётесь, как Terraform помогает управлять ресурсами инфраструктуры как кодом (IaC), делая их создание и сопровождение масштабируемыми и надёжными.
Практическая настройка
Установите Terraform, настроите его для работы с Azure. Создадите Service Principal, настроите аутентификацию для безопасного автоматизированного развертывания ресурсов и подготовите рабочую среду для управления ресурсами.
Основы Terraform
Разберётесь в структуре проекта на Terraform, изучите основные команды и принципы модульной разработки.
Научитесь:
- Разворачивать Azure Data Factory для оркестрации пайплайнов
- Настраивать Azure Data Lake Storage для хранения данных (слой Bronze)
- Разворачивать Synapse Analytics для обработки данных
- Освоите написание переиспользуемого и масштабируемого кода на Terraform.
Реальное развертывание
Начнёте развертывание компонентов пайплайна: подключите Azure Data Factory к внешнему Soccer API для загрузки данных, настроите Azure Data Lake для хранения «сырых» данных. Вы научитесь совмещать ручные и автоматизированные подходы, как это делают в реальных проектах.
CI/CD для инфраструктуры
Разберётесь, как применять принципы CI/CD для инфраструктуры с помощью Terraform и Azure DevOps. Изучите:
- Continuous Integration (CI): автоматическая сборка, тестирование и проверка кода
- Continuous Deployment (CD): автоматическое развертывание инфраструктуры и обновление приложений
- Научитесь интегрировать Terraform в CI/CD-пайплайны, чтобы ваши развертывания были стабильными, повторяемыми и быстрыми.
Что будет дальше
В следующих частях курса вас ждёт углублённое изучение:
- Интеграции с API (на примере Soccer API)
- Расширенных возможностей Azure Data Factory для пакетной обработки данных
- Продвинутой обработки данных в Synapse Spark
- Оптимизации архитектуры Lakehouse для работы с большими объёмами данных и совместной работы в команде
- Полной автоматизации пайплайнов развертывания для репликации инфраструктуры в разных средах
Материал на английском языке
Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.
Скачать:
Скрытое содержимое могут видеть только члены группы Премиум.
Скрытый контент для пользователей All-dar.