Обеспечение качества работы ML-моделей от обучения до внедрения в прод

Как обеспечить качество ML-моделей на всех этапах жизненного цикла — от обучения до внедрения в прод? Рассмотрим на примере архитектуры поискового сервиса Яндекс Лавки. Опишем работу поисковых моделей-кандидатогенераторов, таких как BERT и DSSM, и обсудим, как ранжирующие алгоритмы помогают найти релевантные товары. Вы узнаете, как проходит обучение, верификация и внедрение этих моделей, а также как тестируются их результаты до продакшен-запуска.

Важной темой станет офлайн-оценка моделей с помощью ручной разметки и проведение A/B-тестов для выбора лучших моделей на основе продуктовых метрик.

Кроме того, мы разберем способы мониторинга качества работы модели в реальном времени, чтобы избегать сбоев — таких, какие были у нас. В финальной части доклада поговорим о непрерывном контроле метрик и вовлечении асессоров для оценки результатов качества моделей.