Скоро на All-DAR Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский]

[ALL DAR Bot]

Название: Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский]

Описание:
[Middle/Senior] — [Старт 20-го ноября] — [6 недель]

[«Живые» онлайн-сессии, обсуждения, демо и практика]

Lakehouse для аналитиков и инженеров данных

Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.

• Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем
  
  с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s).
• На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg.
• Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark.
• Освоить масштабирование до х100 раз без смены парадигм и технологий.

Программа обучения
Встречи: 6 недель (1 встреча в неделю)

Занятие 1. Lakehouse, Iceberg, разделение Compute и Storage

Занятие 2. Структура формата Iceberg. Формат Parquet

Занятие 3. Практика

Занятие 4. Метрики запросов в Trino

Занятие 5. Еще раз о формате Iceberg

Занятие 6. Пайплайны и финальная Q&A-сессия

Материал «Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский]», возможно, скоро появится на All-dar.

Пройдите регистрацию и оформите Premium подписку, чтобы первым получить доступ, и воспользуйтесь поиском — может быть, он уже опубликован.​