Разработка механизмов памяти и внимания для обработки длинных последовательностей. Этап 2

Основными объектами исследования являются: методы направленной генерации юмористических текстов; методы переноса токенизации между задачами обработки естественного языка; семантически обусловленные методы токенизации. Основными целями исследования являются: разработка семантически ориентированного подхода к токенизации текстов, разработка подхода к генерации юмора, не требующего дообучения языковой модели, определение областей внедрения алгоритма VIPI с учетом его доменной специфики. В рамках исследований был разработан фреймворк автоматической оценки токенов на базе трехуровневой типологии, с помощью этого фреймворка были оценены словари языковых моделей, а также была исследована взаимосвязь между балансом токенов разного типа и качеством токенизаторов на конечных задачах. Также был разработан и реализован новаторский подход к направленной генерации юмористических текстов, не требующий дообучения языковой модели. Были исследованы границы применимости алгоритма переноса словаря VIPI.