- Регистрация
- 22 Февраль 2018
- Сообщения
- 11.084
Автор: Reger
Название: Основы Apache Iceberg (2025)
Описание:
Apache Iceberg — один из ключевых стандартов Lakehouse-архитектуры. Этот курс даёт не просто команды, а понимание того, как система работает изнутри и как применять её в реальных проектах.
Что даёт курс:
- понимание внутренней архитектуры Iceberg
- навык работы с Lakehouse-подходом
- умение строить надёжные дата-пайплайны
- оптимизацию работы с большими данными
- практический опыт, приближенный к production
Ключевые навыки:
- проектирование Iceberg-таблиц
- управление схемами и версиями данных
- работа с метаданными и снапшотами
- оптимизация запросов
- понимание каталогов и структуры хранения
Почему Apache Iceberg:
- ACID-операции для больших данных
- разделение хранения и вычислений
- гибкая эволюция схем
- поддержка time travel
- высокая производительность на больших объёмах
Практика в курсе:
- Развёртывание среды
Docker Compose, Spark, REST-каталог и MinIO (S3-совместимое хранилище).
- Создание таблиц
Работа с PySpark, запись данных и изучение структуры Iceberg.
- Метаданные и версии
Снапшоты, манифесты, parquet-файлы и их взаимосвязь.
- Эволюция схем
Добавление и изменение колонок, изменение типов, партиционирование.
- Операции с данными
DELETE, UPDATE, MERGE и восстановление через time travel.
- Аналитика
SQL-запросы, join, group by, window-функции и влияние структуры на производительность.
Что вы освоите:
- работу Iceberg «под капотом»
- создание и управление Lakehouse-таблицами
- оптимизацию хранения и запросов
- построение устойчивых пайплайнов
- использование time travel для анализа и отладки
Результат после курса:
- готовая локальная Lakehouse-лаборатория
- набор Jupyter-ноутбуков для практики
- уверенная работа с Iceberg в реальных задачах
- понимание архитектуры современных дата-платформ
Кому подойдёт:
- инженерам данных
- аналитикам
- архитекторам данных
- всем, кто работает с Big Data и Lakehouse
Язык:английский
Подробнее:
Скачать:
Название: Основы Apache Iceberg (2025)
Описание:
Apache Iceberg — один из ключевых стандартов Lakehouse-архитектуры. Этот курс даёт не просто команды, а понимание того, как система работает изнутри и как применять её в реальных проектах.
Что даёт курс:
- понимание внутренней архитектуры Iceberg
- навык работы с Lakehouse-подходом
- умение строить надёжные дата-пайплайны
- оптимизацию работы с большими данными
- практический опыт, приближенный к production
Ключевые навыки:
- проектирование Iceberg-таблиц
- управление схемами и версиями данных
- работа с метаданными и снапшотами
- оптимизация запросов
- понимание каталогов и структуры хранения
Почему Apache Iceberg:
- ACID-операции для больших данных
- разделение хранения и вычислений
- гибкая эволюция схем
- поддержка time travel
- высокая производительность на больших объёмах
Практика в курсе:
- Развёртывание среды
Docker Compose, Spark, REST-каталог и MinIO (S3-совместимое хранилище).
- Создание таблиц
Работа с PySpark, запись данных и изучение структуры Iceberg.
- Метаданные и версии
Снапшоты, манифесты, parquet-файлы и их взаимосвязь.
- Эволюция схем
Добавление и изменение колонок, изменение типов, партиционирование.
- Операции с данными
DELETE, UPDATE, MERGE и восстановление через time travel.
- Аналитика
SQL-запросы, join, group by, window-функции и влияние структуры на производительность.
Что вы освоите:
- работу Iceberg «под капотом»
- создание и управление Lakehouse-таблицами
- оптимизацию хранения и запросов
- построение устойчивых пайплайнов
- использование time travel для анализа и отладки
Результат после курса:
- готовая локальная Lakehouse-лаборатория
- набор Jupyter-ноутбуков для практики
- уверенная работа с Iceberg в реальных задачах
- понимание архитектуры современных дата-платформ
Кому подойдёт:
- инженерам данных
- аналитикам
- архитекторам данных
- всем, кто работает с Big Data и Lakehouse
Язык:английский
Подробнее:
Для просмотра содержимого вам необходимо авторизоваться.
Скачать:
Скрытое содержимое могут видеть только члены группы Премиум.
Скрытый контент для пользователей All-dar.