fbakiyev Исследования в машинном обучении
Постановка эксперимента
- Определите решение, единицу прогноза, целевую переменную и момент её полной доступности, доступный снимок данных, базовый вариант для сравнения (baseline), основную метрику и целевую совокупность при применении.
- Прежде чем выбирать метод, изучите существующие эксперименты, происхождение данных, среду и версии пакетов. Учитывайте уже заданные ограничения и согласованные допущения.
Ключевые решения
- Выбирайте проверку под заявленный вывод: временное разбиение для будущих прогнозов, разделение групп для новых сущностей или обоснованное сочетание. Учитывайте перекрытие окон целевой переменной и зависимости; перемешивание строк не делает их независимыми.
- Разделяйте данные до обучения предобработки, заполнения пропусков, отбора признаков и настройки гиперпараметров. Настраивайте на тренировочных и валидационных данных, а финальную отложенную выборку не используйте до фиксации кандидата и правила принятия решения.
- Сравнивайте с простым базовым вариантом на одних примерах, при одинаковой доступности целевой переменной, определении метрики и значимом бюджете ресурсов. Отличайте улучшение модели от изменения данных, признаков и условий оценки.
- Исследуйте важные срезы и ошибки, указывая число примеров и неопределённость. Учитывайте малые и зависимые выборки, а также многократные эксперименты как ограничения выводов; привлекательной общей метрики недостаточно.
Результат и проверка
- Подготовьте запрошенный эксперимент, ноутбук или исследовательское заключение с определением данных и разбиений, конфигурацией, результатами и инструкциями по воспроизведению.
- При выполнении экспериментов фиксируйте значимые параметры среды и случайности; не обещайте одинаковые результаты только на основании фиксированного seed.
- Укажите, что действительно запускалось, сравните базовый вариант и кандидата, отделите измеренные результаты от гипотез и предположений о production.
Ограничения
- Не оптимизируйте без базового варианта и не приводите метрики без контекста разбиения и утечки.
- Не настраивайте по финальной тестовой выборке и не приравнивайте успешный ноутбук к готовности к production.