Доклады

Расскажем, как внедрили и оптимизировали LLM для рекомендательной системы маркетплейса с аудиторией более 50 млн пользователей: от архитектуры P5 до decoder-only small language model, с фокусом на преодоление вызовов, оптимизацию производительности и улучшение офлайн-метрик. Практические инсайты, ошибки и решения для ML-специалистов, работающих с LLM в продакшене.

Иногда нужно быстро поднять метрики DL-системы — буквально за пару недель. Времени на долгую разметку, смену архитектуры нет. Что делать, увольняться? На самом деле нет — если есть набор трюков, который поможет за короткое время подтянуть метрики, решить часть проблемных кейсов и спасти проект.

Как мы в Точке для обучения своей LLM и небольшого семейства энкодеров чистили большие текстовые корпусы.

Познакомлю вас с общими принципами работы NPU, разберу архитектуру ключевых компонентов, таких как блоки умножения и накопления (MAC), и проведу анализ одной из ведущих реализаций NPU — NVIDIA Deep Learning Accelerator (DLA). Кроме того, рассмотрю особенности применения NPU на базе System-on-Chip (SoC) Rockchip.

Часто рекомендации товаров «догоняют» пользователя до покупки. Начал выбирать утюг — рекомендуем утюги. Это растит краткосрочную метрику конверсии в заказ. Но огромная польза есть в росте долгосрочной LTV: для этого нужно строить discovery-сценарий в рекомендациях. Что это такое? Как его строить? Какие есть грабли? Расскажу об этом и многом другом, исходя из опыта Яндекс Маркета.

Расскажу, как реализовать alignment для LLM без больших затрат: от работы с синтетикой до кастомизации награды. Поделюсь практическими решениями и стратегиями оптимизации, которые можно применять в своих проектах.