Stepik / Владимир Кириевский - Асинхронные микросервисы с Apache Kafka на Python

Асинхронные микросервисы с Apache Kafka на Python

Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то вы несомненно сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. В рамках этого курса вы научитесь применять наиболее популярные библиотеки для работы с Kafka, создавать масштабируемые системы микросервисов, коммуницирующих посредством Kafka.

О курсе

Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то, будьте уверены, вы сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. На сегодняшний день это наиболее популярный брокер сообщений, позволяющий строить быстрые, хорошо поддерживаемые и масштабируемые приложения на большинстве современных языков программирования.

Этот курс не сделает вас сразу гуру Kafka, но позволит упростить порог вхождения в тему, даст идеи для дальнейшего развития как разработчика в этой области.

Чему вы научитесь

Применять наиболее популярные библиотеки, позволяющие работать с Kafka на python: confluent_kafka, aiokafka и faststream.

Понимать логику работы Kafka, создавать блокирующие и асинхронные приложения, имеющие в своем составе продюсеры и консьюмеры.

Использовать Kafka в составе приложений, построенных на базе современных веб-фреймворков, в частности, FastAPI.

Для кого этот курс

Начинающие разработчики, уже имеющие некоторый опыт с python, желающие научиться работать с брокерами сообщений, повысить свою ценность для работодателя

Как проходит обучение

Перед началом обучения вам будет необходимо установить необходимый софт и репозиторий с учебными примерами.

Небольшие и предельно простые примеры кода из каждого урока являются самодостаточными и чаще всего не требуют возвращения к предыдущим урокам, чтобы в них разобраться.

Одновременно с просмотром видео или сразу после окончания просмотра необходимо самостоятельно выполнить учебные примеры в своей IDE, подумать как их можно усовершенствовать, применить в своих проектах.

Рекомендуется также ознакомиться с документаций к используемым библиотекам для получения углубленных знаний.

Программа

Перед тем как приступить к работе

Системные требования

Как загрузить репозиторий с уроками

Как настроить IDE и загрузить необходимые библиотеки

Как установить Kafka

Как установить Offset Explorer

Для самых ленивых: готовый образ VirtualBox со всем необходимым

Основы Apache Kafka

Основные понятия Kafka

Основы работы с Kafka на python

Создаем продюсер и консюмер

Один продюсер, два консьюмера

Один продюсер, три консьюмера, две группы

Два продюсера, два топика, один консьюмер

\"Осиротевшая партиция\" и ребалансировка

Распределение по партициям сообщений с разными ключами

Работа без автоматического коммита: транзакции

Сериализация данных

Сериализация данных в json

Применение pydantic

Практический пример: приложение сбора данных

Асинхронная работа

Что почитать про asyncio

Создаем продюсер и консьюмер с использование aiokafka

Интегрируем Kafka с веб-приложением на FastApi

Потоковая обработка данных с фреймворком FastStream

Основы работы с FastStream

Послесловие

Заключение

В курс входят

22 урока

3 часа 29 минут видео

47 тестов