О курсе

Программа 2025 года охватывает несколько последовательных модулей. Первый блок знакомит с основными концепциями и терминологией Apache Kafka, архитектурой, установкой и настройкой кластера, работой продюсеров и консьюмеров, consumer groups и сериализацией данных.

Далее рассматривается потоковая обработка данных, включая KSQL и ksqlDB, а также работа с данными. Отдельные разделы посвящены администрированию Kafka: балансировке и мониторингу.

В части интеграции изучается Kafka Connect и коннектор Debezium PostgresConnector. Блок безопасности затрагивает защиту Kafka-кластера, работу с внешними службами авторизации и ACL.

Завершающие темы — Kafka в production, использование в облаке и интеграция с Big Data-экосистемой: Apache NiFi, Apache Spark и Apache Hadoop. Финальный проект предполагает конфигурирование сервиса с использованием изученных технологий.

Что рассматривается в программе

  • Рассматривается архитектура Apache Kafka и базовая эксплуатация кластера
  • Разбирается работа продюсеров, консьюмеров и consumer groups
  • Изучается потоковая обработка данных с использованием KSQL и ksqlDB
  • Рассматривается администрирование Kafka: балансировка и мониторинг
  • Разбирается интеграция через Kafka Connect и Debezium PostgresConnector
  • Изучаются аспекты безопасности Kafka-кластера, внешние службы авторизации и ACL
  • Рассматривается интеграция Kafka с Apache NiFi, Apache Spark и Apache Hadoop
  • Предполагается конфигурирование сервиса в рамках финального проекта

Кому может быть полезен курс

  • Бэкенд-разработчикам, интересующимся обработкой данных в реальном времени
  • Архитекторам ПО, которым нужно ознакомиться с распределёнными системами и консистентностью данных
  • DevOps-инженерам, заинтересованным в автоматизации развёртывания, настройки и мониторинга кластеров
  • Инженерам данных, которые рассматривают построение конвейеров передачи данных
  • Специалистам, пишущим на Java, Python или Golang и работающим в Linux с базами данных SQL/NoSQL и Docker

Вопросы о программе

Какие темы входят в программу курса?

В программе рассматриваются базовая эксплуатация Apache Kafka, потоковая обработка с KSQL и ksqlDB, администрирование, интеграция через Kafka Connect, безопасность, Kafka в production и связка с Big Data-инструментами, а также финальный проект.

Какие инструменты Big Data упоминаются в курсе?

Среди рассматриваемых инструментов — Apache NiFi, Apache Spark и Apache Hadoop.

Какие предварительные знания требуются для прохождения курса?

По описанию, курс подойдёт тем, кто пишет код на Java, Python или Golang, работает в Linux, понимает устройство баз данных SQL и NoSQL, разбирается в архитектуре распределённых систем и запускает приложения в Docker-контейнерах.

Что представляет собой финальный проект?

В финальном проекте предлагается сконфигурировать сервис с использованием технологий, изученных в ходе курса.