О курсе

Программа охватывает широкий спектр тем, связанных с разработкой и эксплуатацией больших языковых моделей. В начале рассматриваются архитектура трансформеров, механизмы self-attention, токенизация и эволюция моделей (BERT, GPT, T5). Затем внимание переходит к выбору и адаптации русскоязычных LLM, работе с данными в Python и построению LLM-пайплайнов.

Значительная часть курса посвящена LLMOps: автоматизации развёртывания, мониторингу, интеграции моделей в CI/CD-процессы, а также инструментам вроде Triton, MLflow и vLLM. Отдельные модули рассматривают оценку качества генерации, метрики, управление контекстным окном и token streaming.

Практические разделы включают работу с фреймворками LangChain, LlamaIndex, Ollama, Haystack, векторными базами данных (Pinecone, Chroma, Milvus, Clickhouse) и реализацию Retrieval-Augmented Generation. Также разбираются промпт-инжиниринг, защита от некорректных промптов и мониторинг моделей с помощью LangSmith и Langfuse.

Далее следуют темы fine-tuning (LoRA, PEFT), вызова внешних функций, локального запуска LLM, извлечения информации из текста (NER, IE) и автоматизации тестирования. В продвинутом блоке рассматриваются когнитивные архитектуры на основе RAG, онтологические графы, LangGraph, профилирование inference и тестирование AI-приложений.

Завершают программу сжатие моделей (квантование GGUF, AWQ, дистилляция, pruning), семантический поиск, мультимодальность и интерпретируемость (SHAP, LIME). Финальный месяц отведён проектной работе с консультациями преподавателей и защитой.

Что рассматривается в программе

  • Рассматривается архитектура трансформеров и механизмы self-attention
  • Разбираются подходы к локализации и адаптации русскоязычных LLM
  • Изучаются практики LLMOps: развёртывание, мониторинг, CI/CD
  • Осваиваются фреймворки LangChain, LlamaIndex, Ollama, Haystack
  • Рассматривается построение RAG с векторными базами данных
  • Разбирается fine-tuning (LoRA, PEFT) и вызов внешних функций
  • Изучаются методы сжатия моделей: квантование, дистилляция, pruning
  • Рассматривается тестирование и оптимизация AI-приложений

Кому может быть полезен курс

  • Python-разработчикам, которые хотят ознакомиться с прикладным применением LLM
  • DevOps-инженерам, которым важно понять развёртывание и поддержку крупных AI-систем
  • Data-инженерам и аналитикам данных, интегрирующим языковые модели в пайплайны
  • Специалистам по Data Science, интересующимся углублённой работой с LLM

Вопросы о программе

Какие предварительные знания нужны для курса?

Желательно базовое знание Python. Многие темы не требуют знания языков программирования, но отдельные примеры работы будут на Python.

Какие инструменты и фреймворки рассматриваются в программе?

В программе упоминаются LangChain, LlamaIndex, Ollama, Haystack, vLLM, Triton, MLflow, LangSmith, Langfuse, векторные базы Pinecone, Chroma, Milvus, Clickhouse, а также методы fine-tuning (LoRA, PEFT) и сжатия моделей (GGUF, AWQ).

Включает ли курс проектную работу?

Да, заключительный месяц посвящён проектной работе. Предусмотрены выбор темы, консультации преподавателей и защита проектов.

Когда начинаются занятия?

Старт занятий указан 26 июня 2025 года.