О курсе

Программа построена как последовательный переход от проектирования хранилищ и работы с базами данных к Big Data, облачным технологиям, визуализации, ML-пайплайнам и управлению данными. В начале рассматриваются архитектура хранилища данных, слои DWH, витрины, модели данных и подходы к проектированию. Затем изучаются реляционные и MPP СУБД — PostgreSQL и Greenplum, а также особенности хранения и обработки данных в масштабируемых системах.

Что рассматривается в программе

  • проектирование DWH: архитектура, слои, витрины и модели данных
  • работа с PostgreSQL и Greenplum, включая особенности MPP-СУБД
  • автоматизация ETL-процессов: построение пайплайнов, планирование задач и обработка ошибок
  • работа с Big Data: Hadoop, Hive, Spark и потоковая передача данных
  • использование S3-совместимых облачных хранилищ
  • подготовка витрин и подключение BI-инструментов для аналитики и отчётности
  • подготовка данных для ML и применение Spark ML, управление моделями с MLflow
  • управление качеством данных, документация и контроль изменений

Кому может быть полезен курс

  • тем, кто интересуется инженерией данных и хочет систематизировать знания об архитектуре DWH и пайплайнов
  • специалистам, которым нужно ознакомиться с инструментами Big Data и облачными хранилищами
  • аналитикам и разработчикам, планирующим перейти в область Data Engineering
  • тем, кто хочет понять полный жизненный цикл данных в компании и управление data-продуктами

Вопросы о программе

Какие инструменты и технологии рассматриваются в программе?

В материалах курса рассматриваются PostgreSQL, Greenplum, Hadoop, Hive, Spark, S3-совместимые хранилища, BI-инструменты, Spark ML и MLflow.

Какие темы включает программа?

Программа охватывает проектирование DWH, реляционные и MPP СУБД, автоматизацию ETL, Big Data, облачные хранилища, визуализацию данных, ML на больших данных, управление моделями и управление данными.

Предусмотрен ли в курсе промежуточный проект?

Да, в программе есть промежуточный проект, направленный на практическое закрепление навыков проектирования и разработки data-пайплайнов.

Кому может быть интересен этот курс?

Курс ориентирован на тех, кто интересуется инженерией данных, хочет систематизировать знания об архитектуре DWH и пайплайнов, а также на специалистов, планирующих работать с Big Data и облачными хранилищами.