- Регистрация
- 22 Февраль 2018
- Сообщения
- 11.997
Автор: learndataengineering
Название: Инженерия данных на Azure (2025)
Описание:
Data Engineering on Azure
learndataengineering
Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
Что вы изучите на курсе
В этом курсе под руководством Кристиана Бакарича вы создадите потоковый пайплайн обработки данных в Azure на практике. В рамках проекта вы научитесь использовать ключевые сервисы Azure для обработки потока данных с Twitter в формате JSON, включая:
- APIM (API Management) - для приема данных,
- Blob Storage - для хранения,
- Azure Functions - для обработки,
- Cosmos DB - для хранения обработанных данных,
- Power BI - для визуализации данных.
Структура проекта
- Введение и архитектура- Познакомитесь с общей архитектурой решения и ключевыми компонентами пайплайна.
- Создание и отправка данных- Напишете JSON-файл с сообщениями, создадите Python-скрипт для отправки объектов в формате JSON через HTTP-запросы в Azure API Management.
- Разработка и деплой функций Azure- Научитесь создавать и развертывать функции Azure на Python с использованием Visual Studio Code, создадите проект функции с базовой логикой.
- Интеграция сервисов- Настроите и объедините Event Hubs, Azure Functions и Cosmos DB, научитесь записывать сообщения из Event Hub в Cosmos DB.
- Визуализация данных в Power BI- Подключите Power BI Desktop к базе Cosmos DB для визуализации данных в реальном времени.
Необходимые знания и требования
- Аккаунт в Azure
- Базовые навыки программирования (Python)
- Основы работы с хранилищами данных
- Основы API (рекомендуется пройти курс «Проектирование и разработка API с FastAPI»)
- Основы работы с очередями сообщений
Материал на английском языке
Подробнее:
Скачать:
Название: Инженерия данных на Azure (2025)
Описание:
Data Engineering on Azure
learndataengineering
Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
Что вы изучите на курсе
В этом курсе под руководством Кристиана Бакарича вы создадите потоковый пайплайн обработки данных в Azure на практике. В рамках проекта вы научитесь использовать ключевые сервисы Azure для обработки потока данных с Twitter в формате JSON, включая:
- APIM (API Management) - для приема данных,
- Blob Storage - для хранения,
- Azure Functions - для обработки,
- Cosmos DB - для хранения обработанных данных,
- Power BI - для визуализации данных.
Структура проекта
- Введение и архитектура- Познакомитесь с общей архитектурой решения и ключевыми компонентами пайплайна.
- Создание и отправка данных- Напишете JSON-файл с сообщениями, создадите Python-скрипт для отправки объектов в формате JSON через HTTP-запросы в Azure API Management.
- Разработка и деплой функций Azure- Научитесь создавать и развертывать функции Azure на Python с использованием Visual Studio Code, создадите проект функции с базовой логикой.
- Интеграция сервисов- Настроите и объедините Event Hubs, Azure Functions и Cosmos DB, научитесь записывать сообщения из Event Hub в Cosmos DB.
- Визуализация данных в Power BI- Подключите Power BI Desktop к базе Cosmos DB для визуализации данных в реальном времени.
Необходимые знания и требования
- Аккаунт в Azure
- Базовые навыки программирования (Python)
- Основы работы с хранилищами данных
- Основы API (рекомендуется пройти курс «Проектирование и разработка API с FastAPI»)
- Основы работы с очередями сообщений
Материал на английском языке
Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.
Скачать:
Скрытое содержимое могут видеть только члены группы Премиум.
Скрытый контент для пользователей All-dar.