Программа и содержание

Кому подойдет воркшоп?

У вас в задачах уже есть Kafka, но каждый раз приходится гуглить заново и уточнять у разработчиков очевидные вещи.

Итог: Заберете структуру, что и в каком порядке описывать в ТЗ, чтобы вопросов к вам не было.

Аналитику, который Kafka в задачах пока не видел, тема есть в требованиях вакансий и в разговорах команды, но подступиться не получалось.

Итог: Разберете с нуля и перестанете выпадать из обсуждений архитектуры.

Тому, кто готовится к собеседованиям. Брокеры это один из блоков, где чаще всего копают глубже определения.

Итог: После воркшопа вы отвечаете не заученной формулировкой, а объясняете, почему в вашем кейсе выбрана Kafka и с какими параметрами.

Бизнес-аналитику и смежным ролям, кто идет в системный анализ. Интеграции это та часть, которая отличает БА от СА.

Итог: Kafka закрывает заметный кусок этого разрыва, а код для этого не нужен.

Новичку в профессии. Начинать с Kafka не рано.

Итог: Разобравшись с Kafka на входе, вы не будете обходить стороной интеграционные задачи, на которых спотыкается большинство джунов и даже мидлов.

Программа:

Блок 1

Docker, стенд и зачем вообще нужен брокер

Docker и Docker Compose с нуля

Разворачиваем стенд одной командой: 16 контейнеров, три брокера, продюсеры, консюмеры и Kafka UI

Разбираем, зачем нужен брокер сообщений, когда Kafka уместна, а когда избыточна, и где в этой истории зона аналитики

РЕЗУЛЬТАТ: у вас на компьютере работает собственный Kafka-кластер, и вы понимаете, зачем он нужен.

Блок 2

Анатомия кластера

Брокеры и кластер, Zookeeper и Controller, ключевые параметры брокера

Топики и партиции, распределение сообщений по ключу

Репликация и синхронизированные реплики: как Kafka защищает данные

Создаете топик через интерфейс, меняете настройки, роняете брокер и смотрите, как переезжают лидеры партиций

РЕЗУЛЬТАТ: цифры в ТЗ (партиции, фактор репликации, retention) перестают быть магией.

Блок 3

Поток данных: продюсеры, консюмеры, гарантии

Как продюсер выбирает партицию, чтакое консюмер-группы, из чего состоит сообщение, что такое оффсеты, коммиты и consumer lag

Гарантии доставки, acks и идемпотентность: что выбрать для логов, что для заказов, а что для платежей

Пишете сообщение в топик через интерфейс и через терминал, сбрасываете оффсет и смотрите, как группа перечитывает данные

РЕЗУЛЬТАТ: вы обоснованно выбираете гарантии под задачу. Это то, что на собеседовании отличает заученное определение от понимания.

Блок 4

Сбои, DLQ и масштабирование

Ребалансировка и падение брокера

Паттерн DLQ: разбираем инцидент по сообщению из очереди ошибок так, как это делают в реальных командах.

Масштабируемость и надежность: что когда масштабировать, что может пойти не так

Плюсы и минусы Kafka, хорошие и плохие практики настройки одной шпаргалкой

РЕЗУЛЬТАТ: вы понимаете, что происходит при сбоях и под нагрузкой, и закладываете это в ТЗ заранее.

Блок 5

Практика: пишем настоящее ТЗ на интеграцию и Берем реальную задачу: перевод интеграции заказов уведомлений с REST на Kafka, разбираем схему до-и после

Проходим список вопросов, которые аналитик задает перед любой интеграцией

Заполняем спеку на интеграцию: цель, топик, фотмат, ключ, гарантии, DLQ

РЕЗУЛЬТАТ: готовый документ-образец, который вы адаптируете под любую рабочую задачу.