- Регистрация
- 22 Февраль 2018
- Сообщения
- 11.997
Автор: learndataengineering
Название: Контейнеризация ETL c AWS, TDengine и Grafana (2025)
Описание:
Dockerized ETL With AWS, TDengine & Grafana
learndataengineering
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Подробнее:
Скачать:
Название: Контейнеризация ETL c AWS, TDengine и Grafana (2025)
Описание:
Dockerized ETL With AWS, TDengine & Grafana
learndataengineering
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.
Скачать:
Скрытый контент для пользователей All-dar.