SAGE: мультиязычная коррекция орфографии и пунктуации

Расскажу о методологии для мультиязычной генеративной правки орфографии и пунктуации из нашей статьи с EACL 2024. 

Практический результат наших исследований — библиотека SAGE с открытыми весами наших предобученных трансформерных моделей для исправления орфографии и пунктуации, открытыми параллельными датасетами с ручной разметкой для исправления орфографии на русском языке и двумя алгоритмами аугментации на основе намеренного искажения правописания.