ML для видеоконференций SberJazz: deep dive в разработку моделей замены фона

Расскажем, как разрабатывали модели замены фона для платформы видеоконференций SberJazz.

Перед нами стояла амбициозная задача: ощутимо улучшить качество моделей по сравнению с доступными открытыми решениями, будучи существенно ограниченными в вычислительных ресурсах из-за необходимости запускать модели в веб-браузерах на обычных ноутбуках наших пользователей.

Пройдемся по основному сетапу обучения моделей сегментации человека: как мы выбирали архитектуры, какие брали данные для обучения и зачем собирали свои, что использовали для аугментации данных, к каким метрикам для оценки качества моделей пришли. Потом пройдемся по вопросу оптимизации моделей: за счет чего мы уменьшили архитектуру, не теряя качество; какие результаты получили, применяя такие общеизвестные подходы, как дистилляция, прунинг и квантизация моделей.

В конце обсудим очень важный для продуктового применения технологии аспект — постобработку сегментационных масок моделей для повышения качества и стабильности работы эффекта.