Скоро на All-DAR Apache Kafka для разработки и архитектуры [Яндекс Практикум]

[ALL DAR Bot]

Название: Apache Kafka для разработки и архитектуры [Яндекс Практикум]

Описание:
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем

Бэкенд-разработчикам

Сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени

Архитекторам

Научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных

DevOps-инженерам

Освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой

Инженерам данных

Научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки

Курс подойдёт вам, если

Знаете один из языков: Java, Python или Golang

Понимаете принципы работы с базами данных SQL и NoSQL

Обладаете базовыми знаниями об архитектуре распределённых систем

Умеете работать с Linux
Что будете уметь через 3 месяца

Настраивать Apache Kafka для своих задач и оптимизировать производительность

Работать с производителями и потребителями сообщений

Обеспечивать надёжность и отказоустойчивость систем

Интегрировать Kafka с внешними системами

Проектировать и реализовывать потоковые пайплайны данных

Настраивать мониторинг кластеров Kafka и управлять им

Технологии, которые вы сможете применять в работе

Apache Kafka

Kafka Connect

Kafka Streams

Интеграция Kafka с Apache Spark

Интеграция Kafka с Apache Flink

Интеграция Kafka с Apache Hadoop

Интеграция Kafka с базами данных

Kafka MirrorMaker

Kafka REST Proxy

Schema Registry

Спойлер: Программа Введение в Apache Kafka

Основные концепции и терминология

Архитектура Kafka

Установка и настройка Kafka-кластера

Продюсеры и консьюмеры

Создание и конфигурация продюсеров

Создание и конфигурация консьюмеров

Сериализация и десериализация данных

Типики и партиции

Создание и конфигурация топиков

Понимание партиций и их роли в масштабировании

Репликация данных для обеспечения отказоустойчивости

Развертывание базового кластера Kafka

Установка Kafka и ZooKeeper или Kraft

Создание топиков и работа с сообщениями

Kafka Streams

Введение в Kafka Streams

Разработка приложений потоковой обработки данных

Агрегация, фильтрация и преобразование данных

Kafka Connect

Основы Kafka Connect и Debezium

Разработка коннекторов для интеграции с внешними системами

Конфигурация и развёртывание коннекторов

Безопасность в Kafka

Аутентификация и авторизация

Шифрование данных

Настройка безопасности в Kafka-кластере

Разработка поточного пайплайна данных

Интеграция Kafka с базами данных

Построение поточного пайплайна данных

Администрирование Kafka

Мониторинг и управление Kafka-кластером

Настройка производительности и оптимизация

Решение проблем и устранение неполадок

Kafka в продакт среде

Развёртывание Kafka в продакшен-среде

Масштабирование и высокая доступность

Резервное копирование и восстановление данных

Интеграция Kafka с экосистемой Big Data

Интеграция с Apache Spark

Интеграция с Apache Hadoop

Сценарии использования Kafka в проектах Big Data

Финальный проект

Разработка масштабируемого приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark

Материал «Apache Kafka для разработки и архитектуры [Яндекс Практикум]», возможно, скоро появится на All-dar.

Пройдите регистрацию и оформите Premium подписку, чтобы первым получить доступ, и воспользуйтесь поиском — может быть, он уже опубликован.​