Все еще ходите за метриками в BI? Как мы экспериментировали с LLM и не пRAGадали

Мы — платформа продуктовой аналитики. Собираем события с умных устройств Сбера и других источников, обрабатываем и предоставляем для аналитики и мониторинга технических показателей продуктов. Коротко о нас:

• собираем более 5 млрд событий в день;
• собрано и накоплено 2,5 трлн событий к концу 1 квартала 2025 года;
• DAU — 220+, WAU — 390+, MAU — 460+ (активные пользователи за день, неделю, месяц соответственно);
• несколько BI (Metabase, Superset, Grafana).

Платформа содержит огромное количество данных. Основной BI инструмент — демократичный Metabase, и из-за демократии куча дашбордов в нем. Осуществлять поиск и выбирать достоверное порою очень сложно даже для опытного аналитика, не говоря уже о новых пользователях системы. Для решения этой задачи мы посмотрели в сторону решения на основе LLM-агентов и запросов в API BI системы.

AI-помощник позволяет с нулевым порогом входа получать нужные метрики даже тому, кто не совсем понимает, что хочет. В нашем же случае мы оперируем сущностями в BI-системе, под которыми уже правильно написанные SQL-запросы, а агентам необходимо выбрать правильный чарт, подобрать правильные параметры фильтрации и сделать запрос в API. Все проблемы, описанные выше, полностью решаются нашими агентами.

Технологии:

• Python — на нем написана основная функциональность AI-помощника.
• Mattermost — корпоративный мессенджер, в котором агент будет работать.
• GigaChat — в качестве LLM, которая поможет реализовать агентов.

Доклад будет полезен тем, кто ищет мощное решение поиска нужных метрик среди большого их количества, а также разработчикам, которые хотят погрузиться в создание мультиагентных систем.