Скоро на All-DAR LLM-инженер. Часть 1 из 5 [Gigaschool] [Александр Потехин, Роман Соломатин]

[ALL DAR Bot]

Название: LLM-инженер. Часть 1 из 5 [Gigaschool] [Александр Потехин, Роман Соломатин]


Описание:
Первая из пяти складчин на полный курс.

Создавай, обучай и внедряй LLM‑проекты под руководством экспертов и практиков

Что даст курс?

• Возможность создать LLM-проект
  
  освоив технологии разработки LLM, вы сможете запускать свои проекты с нуля, создавая решения на базе передовых технологий.
• Улучшить существующие сервисы
  
  возможность создавать и оптимизировать LLM для реальных задач, повышая эффективность бизнес-процессов и улучшая качество сервисов.

В связи с высокой стоимостью (180 000 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей. Каждая часть соответствует одному большому разделу программы. Каждая последующая складчина является продолжением предыдущей, и соответственно необходимо оплатить предыдущую.

Это первая часть большого онлайн-курса, на которой вы научитесь создавать, дообучать и оптимизировать собственные большие языковые модели (LLM). Под руководством экспертов вы изучите современные архитектуры, методы дообучения PEFT, выравнивания моделей с помощью RLHF и способы уменьшения их размера для эффективного использования.

Что вы освоите в этой части:

Ключевые навыки:

• Разбираться в архитектурах современных LLM (close vs open models)
• Запускать и адаптировать open-source модели под свои задачи
• Настраивать модели с помощью fine-tuning и PEFT (LoRA / QLoRA)
• Использовать методы RLHF для выравнивания моделей (включая DPO, PPO)
• Снижать ресурсоёмкость моделей через квантизацию и дистилляцию

Основные инструменты:

• Hugging Face Transformers
• TRL (для RLHF)
• LoRA / QLoRA

Программа первой части курса

Раздел 1. Своя LLM

1. Современные LLM
   
   Лекция: современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг
   
   Лекция: оптимизации инференса в LLM — KV-caching, speculative decoding, MoE.
2. PEFT
   
   Лекция: проблематика обучения LLM, обзор методов PeFT, нюансы применения
   
   Семинар: сравнение методов файнтюнинга — полный, LP, LP+FT, PEFT
3. RLHF & Alignment
   
   Лекция: что это и зачем, базовая терминология RL и обзор методов: — RLHF, PPO, DPO.
   
   Семинар: TRL, RLHF для чат-модели — PPO или DPO
4. Уменьшение размеров модели
   
   Лекция: обзор методов — дистилляция, квантование, прунинг, виды, применимость в LLM
   
   Семинар: сравнение инструментов и влияние «битности» на качество, Quantization + LoRA и прочие миксы

Эксперты курса

Потехин Александр. NLP Lead X5 Tech

Соломатин Роман. ML Engineer (LLM, Ops) X5 Tech

Андреева Дарья. ML Engineer (NLP) X5 Tech

Желтова Кристина. Газпромбанк, директор по разработке моделей

Кокуйкин Евгений. CEO Raft

◆ ЦЕНА МАТЕРИАЛА ◆
Цена: 36000 рублей (за первую часть из пяти).​

Следующие части курса:

Материал «LLM-инженер. Часть 1 из 5 [Gigaschool] [Александр Потехин, Роман Соломатин]», возможно, скоро появится на All-dar.

Пройдите регистрацию и оформите Premium подписку, чтобы первым получить доступ, и воспользуйтесь поиском — может быть, он уже опубликован.​