О курсе

Курс «Разработка LLM с нуля» представляет собой практическое погружение в устройство современных языковых моделей на примере GPT-архитектуры. В программе рассматривается полный цикл создания LLM: от базовых понятий и архитектуры до обучения и применения. Участникам предлагается реализовать ключевые компоненты Трансформера самостоятельно, используя только Python и низкоуровневый PyTorch, без привлечения сторонних библиотек.

Что рассматривается в программе

  • Рассматривается чтение схем архитектур на основе Трансформеров.
  • Разбираются принципы проектирования современных LLM.
  • Изучается алгоритм токенизации текста, включая Byte-Pair Encoding.
  • Практикуется реализация ключевых компонентов GPT.
  • Рассматриваются методы управления креативностью модели при генерации.
  • Разбирается сбор и подготовка данных для обучения.
  • Изучается настройка цикла предварительного обучения (Pre-train) LLM.

Кому может быть полезен курс

  • Разработчикам, интересующимся внутренним устройством языковых моделей.
  • Инженерам машинного обучения, желающим разобраться в архитектуре Трансформеров.
  • Исследователям, которым нужно познакомиться с принципами построения LLM.
  • Специалистам с базовыми знаниями Python, машинного обучения и PyTorch.

Вопросы о программе

Какие инструменты используются в курсе?

В описании указано, что для разработки применяются только Python и низкоуровневый PyTorch, без сторонних библиотек.

Какие начальные требования к участникам?

Требуются базовые знания Python (включая минимальное ООП), понимание основ машинного обучения и базовые знания PyTorch. Желателен опыт реализации простой полносвязной сети для многоклассовой классификации.

Какие темы входят в программу?

В программе рассматриваются введение в LLM, архитектура LLM, токены и эмбеддинги, Byte-Pair Encoding, Трансформер, механизм внимания, Feed-Forward Network, декодер, сборка GPT, сэмплирование, обучение, датасет, train/eval, применение, а также другие модели: GPT-2, LLama, Mistral, Mixtral, Gemma.

Кто автор курса?

Автор — Вячеслав Колосков, Machine Learning Engineer в телекоме. По его словам, он работает в IT более 15 лет, последние 5 лет — в области машинного обучения, занимается NLP и разработкой RAG-систем.