- Регистрация
- 22 Февраль 2018
- Сообщения
- 11.084
Автор: learndataengineering
Название: Инженерия данных на GCP (2025)
Описание:
Data Engineering on GCP
learndataengineering
Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно хранить, обрабатывать, анализировать и визуализировать данные, помогая инженерам данных создавать масштабируемые и высокопроизводительные решения.
Что вы изучите на курсе
В этом практическом курсе вы шаг за шагом создадите собственный проект на GCP:
- Извлечёте данные из внешнего API погоды
- Обработаете их через пайплайн с использованием облачных сервисов GCP
- Сохраните данные в серверной базе данных
- Создадите визуализации с помощью Looker Studio
Курс поможет вам освоить GCP с нуля, а полученные навыки будут полезны и при работе с другими облачными платформами, такими как AWS, так как многие сервисы во многом схожи.
В дополнение к курсу, вы получите доступ к репозиторию на GitHub с обзором проекта и готовыми фрагментами кода, которые помогут быстрее повторить примеры из обучения.
Структура курса
- Данные и цели проекта- Разберём архитектуру пайплайна, определим цели проекта и познакомимся с API для получения данных о погоде. Также вы научитесь настраивать аккаунт в Google Cloud и активировать необходимые сервисы (кстати, Google предоставляет $300 на бесплатное тестирование платформы!).
- Подготовка проекта- Создадите проект в Google Cloud, активируете API и настроите расписания для автоматизации задач.
- Создание пайплайна: извлечение данных из API
- Настроите необходимые ресурсы для работы пайплайна:- Серверную базу данных MySQL через Cloud SQL
- Виртуальную машину на базе Linux через Compute Engine для управления базой
- Cloud Scheduler для вызова API по расписанию
- Серверные функции для обработки данных
- Очередь сообщений Pub/Sub для передачи данных между сервисами
- Запись данных в базу данных- Научитесь писать серверные функции для сохранения данных в MySQL, тестировать процесс записи и убедитесь, что данные сохраняются корректно.
- Визуализация данных- Настроите Looker Studio для создания наглядных визуализаций: построите графики пузырьковой диаграммы, временные ряды и организуете мониторинг погодных данных.
Этот курс даст вам практический опыт работы с облачными инструментами Google Cloud Platform и поможет развить ключевые навыки для работы инженером данных.
Материал на английском языке
Подробнее:
Скачать:
Название: Инженерия данных на GCP (2025)
Описание:
Data Engineering on GCP
learndataengineering
Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно хранить, обрабатывать, анализировать и визуализировать данные, помогая инженерам данных создавать масштабируемые и высокопроизводительные решения.
Что вы изучите на курсе
В этом практическом курсе вы шаг за шагом создадите собственный проект на GCP:
- Извлечёте данные из внешнего API погоды
- Обработаете их через пайплайн с использованием облачных сервисов GCP
- Сохраните данные в серверной базе данных
- Создадите визуализации с помощью Looker Studio
Курс поможет вам освоить GCP с нуля, а полученные навыки будут полезны и при работе с другими облачными платформами, такими как AWS, так как многие сервисы во многом схожи.
В дополнение к курсу, вы получите доступ к репозиторию на GitHub с обзором проекта и готовыми фрагментами кода, которые помогут быстрее повторить примеры из обучения.
Структура курса
- Данные и цели проекта- Разберём архитектуру пайплайна, определим цели проекта и познакомимся с API для получения данных о погоде. Также вы научитесь настраивать аккаунт в Google Cloud и активировать необходимые сервисы (кстати, Google предоставляет $300 на бесплатное тестирование платформы!).
- Подготовка проекта- Создадите проект в Google Cloud, активируете API и настроите расписания для автоматизации задач.
- Создание пайплайна: извлечение данных из API
- Настроите необходимые ресурсы для работы пайплайна:- Серверную базу данных MySQL через Cloud SQL
- Виртуальную машину на базе Linux через Compute Engine для управления базой
- Cloud Scheduler для вызова API по расписанию
- Серверные функции для обработки данных
- Очередь сообщений Pub/Sub для передачи данных между сервисами
- Запись данных в базу данных- Научитесь писать серверные функции для сохранения данных в MySQL, тестировать процесс записи и убедитесь, что данные сохраняются корректно.
- Визуализация данных- Настроите Looker Studio для создания наглядных визуализаций: построите графики пузырьковой диаграммы, временные ряды и организуете мониторинг погодных данных.
Этот курс даст вам практический опыт работы с облачными инструментами Google Cloud Platform и поможет развить ключевые навыки для работы инженером данных.
Материал на английском языке
Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.
Скачать:
Скрытое содержимое могут видеть только члены группы Премиум.
Скрытый контент для пользователей All-dar.