Проведение теоретических исследований, разработка и усовершенствование программного обеспечения

В отчете представлены результаты исследований, выполненных на этапе 2 проекта «Многомодальный интерфейс на основе жестов и речи для управления ассистивным мобильным информационным роботом», Соглашение о предоставлении субсидии с Минобрнауки России № 14.616.21.0095 (075-15-2019-1295) от 12.02.2018 г., уникальный идентификатор проекта RFMEFI61618X0095, выполняемого в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы». Данные исследования проводятся совместно с Иностранным партнером, которым выступает Западночешский университет (он же Университет Западной Богемии, the University of West Bohemia), г. Пльзень, Чешская Республика, в соответствии с Договором о научном сотрудничестве и Соглашением о выполнении совместного проекта с Иностранным партнером. Целью данного проекта является разработка программных средств многомодального человеко-машинного интерфейса для бесконтактного взаимодействия ассистивных мобильных информационных роботов с различными группами пользователей, включая людей с ограниченными возможностями по слуху и зрению, посредством автоматического распознавания и синтеза жестовой и речевой информации. На этапе 2 «Проведение теоретических исследований, разработка и усовершенствование программного обеспечения» Исполнителем проекта (СПИИРАН) решались следующие основные задачи: 1) разработка и усовершенствование математического обеспечения (моделей, методов и алгоритмов) для видеоанализа движений рук и распознавания жестов; 2) аннотирование базы данных жестового языка с использованием сенсора Kinect v2; 3) разработка программного обеспечения жестового интерфейса для организации бесконтактного взаимодействия с роботами; 4) разработка программного обеспечения речевого интерфейса для организации вербального взаимодействия с роботами; 5) подготовка публикаций по текущим результатам работ; 6) подготовка документов для государственной регистрации РИД; 7) разработка промежуточного отчета о выполненных работах и отчетной документации в соответствии с требованиями технического задания и нормативных актов Минобрнауки России. Иностранным партнером за счет привлечения собственных средств и ресурсов выполнялись научно-исследовательские работы по нескольким основным направлениям тесно взаимосвязанным с работами, выполняемыми в СПИИРАН, включая сбор и аннотирование жестовой коммуникации человека с использованием трекеров глаз, разработка математического обеспечения для обработки многомодальных данных, исследование математических инструментов (моделей, методов и алгоритмов) для анализа захвата движений человека и слежения за глазами, анализ информации от датчиков для ориентации робота в окружающей среде, видеоанализа и синтеза жестов, включая жестовый язык. Все работы выполнялись в соответствии с планом-графиком исполнения обязательств при проведении исследований, представленном в Соглашении. На текущем этапе выполнялись работы, связанные с проведением теоретических исследований, разработкой и усовершенствованием программного обеспечения. В ходе исследований были использованы методы цифровой обработки сигналов, распознавания образов, автоматического распознавания речевой и жестовой информации, машинного обучения, вероятностного моделирования, системного анализа, корпусных исследований, объектно-ориентированного проектирования и программирования.