![](https://squidex.jugru.team/api/assets/srm/3810867d-8600-4065-b381-d789f13357a7/5b6131d9-2e3f-4c17-bfa5-cc578d7a64e4-1-.jpeg?cache=3600&width=74&height=74&mode=CropUpsize)
Евгений Косарев
Компания: SberDevices
Тип доклада: Доклад
Языковые модели достигли высокого качества ответов в самом широком спектре задач. Однако им не хватает контекста. Документы в десятки страниц текста А4 не помещаются в контекст алгоритма. Обсудим, как GigaChat увеличил контекст модели до сотен тысяч токенов (дальше — больше) и как проверял качество получившейся модели.
Рост контекста модели требует больше GPU-памяти и тратится больше времени на его обработку как на обучении, так и на инференсе. Задача состоит в том, чтобы в распределенном сетапе ускорить модель и оптимизировать использование памяти. Для этого нам помогут следующие технологии и библиотеки:
Расскажу про плюсы и минусы каждого подхода, а также объединю их в пайплайн — на котором обучался GigaChat — позволяющий обучать и использовать модели на контексте в сотни тысяч токенов.
Будет полезно NLP-разработчикам и всем, кто интересуется LLM и развитием ИИ.
Компания: SberDevices
Компания: MTS AI