Alignment for All

Большие языковые модели сложно контролировать с помощью обычного файнтюнинга — он не позволяет задать нужное поведение в продуктовых задачах. RL-based подходы, такие как PPO, требуют слишком много ресурсов и сложны в управлении. Как же можно сделать alignment дешевле и проще?

В докладе разберем альтернативные методы оптимизации предпочтений, которые позволяют достичь качественного alignment без огромных затрат. Расскажу, как мы адаптировали эти методы для своей LLM и какие стратегии использовали для обучения без большого количества размеченных данных. Обсудим, как лучше использовать синтетику, контролировать прокси-награду и избегать ошибок при обучении.

Вы узнаете, как выбрать подходящий alignment-метод для своих задач, сократить вычислительные затраты и сделать обучение LLM доступнее. Будет полезно ML-инженерам, работающим с языковыми моделями, а также всем, кто хочет лучше понять современные подходы к alignment.