Разработка механизмов памяти и внимания для обработки длинных последовательностей. Этап 1

Объекты исследования: 1. Методы обучения по плану в задачах обработки естественного языка; 2. Методы переноса токенизации между задачами обработки естественного языка; 3. Семантически обусловленные методы токенизации. Цели исследований: 1. Разработка новых способов использования обучения по плану в задачах обработки естественного языка, а также адаптация существующих алгоритмов из других областей машинного обучения; 2. Разработка способов использования задаче-зависимой токенизации для увеличения качества моделей в обработке естественного языка; 3. Разработка лингвистически интерпретируемого подхода к токенизации, опирающегося на семантические свойства словаря. Результаты: 1. Проведено объемное исследование существующих способов обучения по плану, продемонстрировавшее, что в области обработки естественного языка данный подход не является эффективным, по исследованиям написана и опубликована статья; 2. Разработан алгоритм переноса токенизации от задачи предобучения на задачу дообучения, показавший прирост качества, по результатам написана статья. Работы выполнялись за счет средств внебюджетного софинансирования в рамках договора с индустриальным партнером ООО "Центр искусственного интеллекта МТС" № 6.12-20/270821-2 (№ D210292562-38) от 27 августа 2021г. 3. Изучены статистические особенности распределения Ципфа на словарях различного размера, выделены семантически различные группы токенов в рамках этого распределения, выработана их классификация, по результатам написана статья. 4. В рамках социально-значимой работы центра осуществлён совместный исследовательский проект с благотворительной организацией “Ночлежка”. По итогам проекта написана исследовательская статья, принятая на конференцию AAAI в трек “Искусственный интеллект в социальной сфере”. 5. Поставлена серия экспериментов по разработке альтернатив механизму внимания, которые были бы применимы к более длительным последовательностям.