LLM Gateway в Циан: наводим порядок в работе с языковыми моделями

LLM так быстро ворвались в бизнес-процессы, что каждый пилил свои сервисы без оглядки на стоимость, безопасность, дублирование кода. Новые модели появлялись как грибы после дождя, и нужно было как-то их запускать и сравнивать. Нам нужен был промежуточный слой, который бы упрощал, защищал и оптимизировал взаимодействие с большими языковыми моделями.

В докладе расскажу, как мы реализовали свой LLM Gateway на Python и какие проблемы это помогло решить. Поговорим об интеграции с playground для промпт-инженеров (Agenta AI) и о том, как организовали on-demand запуск open source LLM в K8s.

Будет полезно MLOps-инженерам и разработчикам, которые интегрируют LLM в свои сервисы.