Доклады

Расскажу, как мы реализовали свой LLM Gateway на Python и какие проблемы это помогло решить. Поговорим об интеграции с playground для промпт-инженеров (Agenta AI) и о том, как организовали on-demand запуск open source LLM в K8s.

Расскажем, как внедрили и оптимизировали LLM для рекомендательной системы маркетплейса с аудиторией более 50 млн пользователей: от архитектуры P5 до decoder-only small language model, с фокусом на преодоление вызовов, оптимизацию производительности и улучшение офлайн-метрик. Практические инсайты, ошибки и решения для ML-специалистов, работающих с LLM в продакшене.

Иногда нужно быстро поднять метрики DL-системы — буквально за пару недель. Времени на долгую разметку, смену архитектуры нет. Что делать, увольняться? На самом деле нет — если есть набор трюков, который поможет за короткое время подтянуть метрики, решить часть проблемных кейсов и спасти проект.

Познакомлю с основами построения многоагентных систем на базе последнего семейства языковых моделей YandexGPT 5, обсудим вопросы эффективности function calling и различных агентных архитектур, а также покажу более сложные паттерны и поделюсь практическими примерами их применения для клиентов Yandex Cloud.

В декабре 2024 года наша команда поделилась с комьюнити полностью русскоязычной MoE-моделью GigaChat-20B-A3B. Расскажу, почему выбрали эту архитектуру, с какими сложностями сталкиваемся во время обучения MoE, в том числе в мультимодальных режимах. И что нас отделяет от по-настоящему огромных MoE-моделей.

Как мы в Точке для обучения своей LLM и небольшого семейства энкодеров чистили большие текстовые корпусы.

ИИ-агенты сейчас самая «хайповая» тема и в ИИ-, и в бизнес- и даже в ИТ-сообществах; от них ждут прорывов в автоматизации, нового клиентского опыта и сумасшедшего финансового эффекта. Как обычно, на пике хайпа сложно отделить реальное и существенное от надуманного и незначительного — попробуем с этим разобраться.

Познакомлю вас с общими принципами работы NPU, разберу архитектуру ключевых компонентов, таких как блоки умножения и накопления (MAC), и проведу анализ одной из ведущих реализаций NPU — NVIDIA Deep Learning Accelerator (DLA). Кроме того, рассмотрю особенности применения NPU на базе System-on-Chip (SoC) Rockchip.

Для уменьшения числа ДТП в Яндекс Go Такси мы модифицируем правило назначения водителей на заказ. Технология, которая это делает, состоит из двух ML-алгоритмов: первый оценивает, насколько сложный маршрут хочет проехать пользователь, второй — насколько опытен водитель. Опытным водителям дается более сложный маршрут, неопытным — простой. Это позволяет значительно уменьшить риск возникновения ДТП. Во время доклада поговорим о том, как мы обучаем ML-алгоритмы для этой технологии и как она работает.

Сейчас LLM становятся всё больше и больше, а существующее железо не успевает за этим. Чтобы хоть как-то покрывать потребности в мощностях, применяют горизонтальное масштабирование — подключают больше GPU. С ростом числа GPU появляются проблемы с их эффективной утилизацией.

Часто рекомендации товаров «догоняют» пользователя до покупки. Начал выбирать утюг — рекомендуем утюги. Это растит краткосрочную метрику конверсии в заказ. Но огромная польза есть в росте долгосрочной LTV: для этого нужно строить discovery-сценарий в рекомендациях. Что это такое? Как его строить? Какие есть грабли? Расскажу об этом и многом другом, исходя из опыта Яндекс Маркета.

Расскажу, как реализовать alignment для LLM без больших затрат: от работы с синтетикой до кастомизации награды. Поделюсь практическими решениями и стратегиями оптимизации, которые можно применять в своих проектах.