CLIP + LLM в проде: мультимодальный “Поиск по фото” для маркетплейса

Поделюсь опытом проектирования и разработки онлайн-сервиса «Поиск по фото». Расскажу о ключевых компонентах сервиса и базовом пайплайне: от загрузки фото пользователем до конечного результата. Рассмотрим обучение и адаптацию моделей в домене маркетплейса, подходы в обучении и архитектуры моделей, которые показывают лучший результат. Поделюсь опытом использования CLIP пространства для разных компонент сервиса и интеграции с LLM.