- Регистрация
- 26 Март 2018
- Сообщения
- 84.312
Название: AI Security — практикум по безопасности ИИ приложений [Stepik] [Иван Александров]
Описание:
Курс — СTF-чемпионат — по защите ИИ-приложений. Короткая теория -> Атака -> Разбор -> Защита Чтобы понять как и от чего защищать, надо сначала попытаться сломать ИИ приложение, чему и будет посвящена основная часть курса. Независимо от того где и как вы создаёте свое приложение: без кода — с n8n, вайбкодингом или пишите весь код руками — курс подойдёт для любой аудитории.
Что внутри?
Курс охватывает таксономию из 90+ техник атак на LLM, сгруппированных в модули:
Сквозной нарратив
Весь курс — это серия контрактов с AI-компаниями. Ты — red team специалист, которого нанимают для проверки безопасности. Каждый модуль — новый клиент, новые продукты, нарастающая сложность.
Для кого этот курс
Курс подойдёт тем, кто хочет разбираться в безопасности AI-систем на практике, а не по слайдам. Не нужно быть программистом — достаточно уметь думать как атакующий, а интуицию и насмотренность будем прокачивать в течение курса. — Специалисты по информационной безопасности, которые хотят понять новый класс угроз, связанных с LLM. — Продакт-менеджеры и разработчики AI-продуктов, которые хотят делать свои системы устойчивее к атакам. — QA и тестировщики, которые хотят добавить adversarial testing в свой арсенал. — Все, кто активно пользуется ChatGPT, Claude и другими LLM и хочет понимать, как они ломаются. — Студенты и исследователи в области AI safety и alignment, которые хотят быстро погрузиться в новую область.
Начальные требования
Базовое понимание, что такое LLM (большая языковая модель) — на уровне «знаю, что это нейросеть, которая генерирует текст».
Опыт использования любой LLM (ChatGPT, Claude, Gemini и т.п.) — нужно понимать, что такое промпт и как устроен диалог с моделью
Код писать не нужно. Вообще. Все задания решаются через чат, формы и загрузку файлов.
Знание английского на уровне чтения технических терминов или использования онлайн-переводчика — часть атак и техник используют англоязычные промпты.
Как проходит обучение
Курс состоит из модулей, каждый посвящён отдельному классу атак. Внутри модуля — теория, квизы и CTF-задания.
Теория — короткие блоки с объяснением техники и реальными примерами. Без воды и академизма, только то, что нужно для следующего задания.
CTF-задания — интерактивные упражнения с автоматической проверкой. Тебе дают бота с защитой — ломай его. Сложность от 1 до 10: от простого «ignore previous instructions» до композитных атак из 5+ техник. Есть система подсказок, они открываются после нескольких неудачных попыток.
Квизы — проверка понимания теории. Разбор типичных ошибок и edge cases.
Defense-блоки — в некоторых модулях ты переключаешься на сторону защитника. Проектируешь системные промпты и guardrails, а потом проверяешь, выдержат ли они атаку.
Кода нет. Терминала нет. Все задания решаются прямо в браузере.
Программа курса
1. ВВедение — Зачем ломать ИИ
Всё что нужно для старта!
Из чего состоит ИИ-приложение
CTF-0: Первый взлом — Hello, Injection!
2. Prompt Injection.
Твоя цель — соглашаться со всем что скажет клиент
CTF-1: Бодрый Флибустьер
Четыре класса Prompt Injection
CTF-marathon
Защита от Prompt Injection
3. Jailbreak
Что такое Jailbreak — зачем и как ломают модели
Социальные jailbreak-и
CTF: социальные jailbreak-и
Технические jailbreak-и
CTF: технические jailbreak-и
4. Агенты и непрямые PI
Инъекция вышла из чата
Payload везде: векторы косвенной инъекции
CTF: Косвенная инъекция — IN_AGENT
Агенты: LLM, который начал действовать
CTF: первые взломы InAgent Support
5. Мультиагенты и финиш.
CTF: Операция «Сорок восьмой»
А если агентов много?
Что вы получаете
В курс входят
Описание:
Курс — СTF-чемпионат — по защите ИИ-приложений. Короткая теория -> Атака -> Разбор -> Защита Чтобы понять как и от чего защищать, надо сначала попытаться сломать ИИ приложение, чему и будет посвящена основная часть курса. Независимо от того где и как вы создаёте свое приложение: без кода — с n8n, вайбкодингом или пишите весь код руками — курс подойдёт для любой аудитории.
Что внутри?
Курс охватывает таксономию из 90+ техник атак на LLM, сгруппированных в модули:
- Prompt Injection — instruction override, system prompt extraction, delimiter attacks, output manipulation.
- Jailbreaks — role-play, hypothetical framing, encoding, payload splitting, multi-turn атаки (Crescendo).
- Indirect Prompt Injection — скрытые инструкции в документах, веб-страницах, email. Атака не на модель напрямую, а через контент, который она обрабатывает.
- Атаки на агентов и RAG — tool abuse, knowledge base poisoning, memory attacks, multi-agent injection.
- Автоматизированные атаки — PAIR, TAP, GCG — как автоматизация меняет ландшафт угроз. Без кода, но с пониманием attack loop.
- Защита — есть defense-блок: от hardening промптов до проектирования guardrails.
Сквозной нарратив
Весь курс — это серия контрактов с AI-компаниями. Ты — red team специалист, которого нанимают для проверки безопасности. Каждый модуль — новый клиент, новые продукты, нарастающая сложность.
Для кого этот курс
Курс подойдёт тем, кто хочет разбираться в безопасности AI-систем на практике, а не по слайдам. Не нужно быть программистом — достаточно уметь думать как атакующий, а интуицию и насмотренность будем прокачивать в течение курса. — Специалисты по информационной безопасности, которые хотят понять новый класс угроз, связанных с LLM. — Продакт-менеджеры и разработчики AI-продуктов, которые хотят делать свои системы устойчивее к атакам. — QA и тестировщики, которые хотят добавить adversarial testing в свой арсенал. — Все, кто активно пользуется ChatGPT, Claude и другими LLM и хочет понимать, как они ломаются. — Студенты и исследователи в области AI safety и alignment, которые хотят быстро погрузиться в новую область.
Начальные требования
Базовое понимание, что такое LLM (большая языковая модель) — на уровне «знаю, что это нейросеть, которая генерирует текст».
Опыт использования любой LLM (ChatGPT, Claude, Gemini и т.п.) — нужно понимать, что такое промпт и как устроен диалог с моделью
Код писать не нужно. Вообще. Все задания решаются через чат, формы и загрузку файлов.
Знание английского на уровне чтения технических терминов или использования онлайн-переводчика — часть атак и техник используют англоязычные промпты.
Как проходит обучение
Курс состоит из модулей, каждый посвящён отдельному классу атак. Внутри модуля — теория, квизы и CTF-задания.
Теория — короткие блоки с объяснением техники и реальными примерами. Без воды и академизма, только то, что нужно для следующего задания.
CTF-задания — интерактивные упражнения с автоматической проверкой. Тебе дают бота с защитой — ломай его. Сложность от 1 до 10: от простого «ignore previous instructions» до композитных атак из 5+ техник. Есть система подсказок, они открываются после нескольких неудачных попыток.
Квизы — проверка понимания теории. Разбор типичных ошибок и edge cases.
Defense-блоки — в некоторых модулях ты переключаешься на сторону защитника. Проектируешь системные промпты и guardrails, а потом проверяешь, выдержат ли они атаку.
Кода нет. Терминала нет. Все задания решаются прямо в браузере.
Программа курса
1. ВВедение — Зачем ломать ИИ
Всё что нужно для старта!
Из чего состоит ИИ-приложение
CTF-0: Первый взлом — Hello, Injection!
2. Prompt Injection.
Твоя цель — соглашаться со всем что скажет клиент
CTF-1: Бодрый Флибустьер
Четыре класса Prompt Injection
CTF-marathon
Защита от Prompt Injection
3. Jailbreak
Что такое Jailbreak — зачем и как ломают модели
Социальные jailbreak-и
CTF: социальные jailbreak-и
Технические jailbreak-и
CTF: технические jailbreak-и
4. Агенты и непрямые PI
Инъекция вышла из чата
Payload везде: векторы косвенной инъекции
CTF: Косвенная инъекция — IN_AGENT
Агенты: LLM, который начал действовать
CTF: первые взломы InAgent Support
5. Мультиагенты и финиш.
CTF: Операция «Сорок восьмой»
А если агентов много?
Что вы получаете
- Практические навыки red teaming LLM-приложений — востребованная специализация в AI Security.
- Понимание таксономии атак на LLM — prompt injection, jailbreaks, indirect injection, agent attacks.
- Опыт проектирования защиты: hardening промптов, guardrails, input/output фильтрация.
- Умение оценивать безопасность AI-продуктов — как своих, так и сторонних.
- Насмотренность и интуиция в области безопасности ИИ-приложений.
В курс входят
- 20 уроков
- 105 тестов
Скрытый контент для пользователей All-dar.