ML Design: Основы проектирования систем машинного обучения и ИИ-систем

Участники переводят бизнес-задачу в постановку ML-проекта и рассматривают ограничения, риски, цену ошибки и возможные подходы к решению.

Вводные оценивают до разработки: исследуют проблему, доступные решения, технические ограничения и степень новизны будущей системы.

Разбирают структуру дизайн-документа, цели и антицели проекта, а также роль документации в согласовании решений команды.

Учатся выбирать функции потерь и метрики качества с учётом бизнес-задачи, модели и того, как её результат будут оценивать.

Рассматривают источники, объём и метаданные, холодный старт и требования к пайплайну, который собирает и подготавливает данные.

Сравнивают схемы валидации и способы получения надёжной оценки качества модели, учитывая особенности конкретной задачи.

Используют базовые решения как отправную точку для оценки прогресса, сравнения подходов и обоснования сложности модели в проекте.

Изучают системы с языковыми моделями: контекст, память, вызов функций и инструментов, агентские сценарии и их ограничения.

На практических разборах обсуждают постановку задачи, данные, метрики, архитектуру и реализацию представленных дизайн-документов.

Анализируют ошибки модели и их причины, переобучение и недообучение, остатки и повторяющиеся закономерности в ошибках.

Разбирают устройство, масштабируемость, конфигурирование и тестирование пайплайнов, используемых для обучения моделей в проекте.

Изучают, как создавать, оценивать и отбирать признаки для модели, а также работать с хранилищем подготовленных признаков.

Учатся оценивать результаты работы модели, готовить отчёты и понятно доносить выводы до участников проекта и команды.

Рассматривают интеграцию модели в продуктовую экосистему: проектирование API, цикл выпуска изменений и резервные стратегии.

Следят за качеством после запуска: изменениями данных, сдвигами концепции и метрик, а также признаками деградации системы.

Изучают оптимизацию инференса по скорости, стоимости и устойчивости, учитывая требования реальной продуктовой нагрузки.

Распределяют роли и ответственность, рассматривают bus factor, документацию и поддержку ML-системы после её запуска в продукте.

В конце курса участники представляют свои дизайн-документы и обсуждают с преподавателем выбранные проектные решения.