Выбор направления исследования и сбор данных

Представлены результаты исследований, выполненных на первом этапе проекта «Многомодальный интерфейс на основе жестов и речи для управления ассистивным мобильным информационным роботом», Соглашение о предоставлении субсидии от 12.02.2018 г. № 14.616.21.0095 (Уникальный идентификатор проекта RFMEFI61618X0095) с Минобрнауки России, выполняемого в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 - 2020 годы». Данные исследования проводятся совместно с иностранным партнером, которым выступает Западночешский университет (он же Университет Западной Богемии, University of West Bohemia), г. Пльзень, Чешская Республика, в соответствии с Договором о научном сотрудничестве и Соглашением о выполнении совместного проекта с иностранным партнером. Цель проекта - разработка программных средств многомодального человеко-машинного интерфейса для бесконтактного взаимодействия ассистивных мобильных информационных роботов с различными группами пользователей, включая людей с ограниченными возможностями по слуху и зрению, посредством автоматического распознавания и синтеза жестовой и речевой информации. На первом этапе «Выбор направления исследований и сбор данных» исполнителем проекта (СПИИРАН) решались следующие основные задачи: проведение аналитического обзора современной научно-технической литературы по тематике проекта; разработка программного обеспечения для записи жестовой базы данных при помощи сенсора Kinect v2; запись базы данных жестового языка с использованием сенсора Kinect v2; проведение патентных исследований. Иностранным партнером за счет привлечения собственных средств и ресурсов выполнялись научно-исследовательские работы, связанные с проведением обзора и анализа языка жестов в контексте научно-технических аспектов проекта, записью жестовой базы данных с использованием системы захвата движения Vicon, Data gloves и Kinect v2. Результаты данной работы представлены в настоящем отчете, данный раздел составлен Исполнителем НИР на основании аннотационного годового отчета на английском языке, подготовленного иностранным партнером в 2018 г. и предоставленного исполнителю. Все работы выполнялись в соответствии с планом-графиком исполнения обязательств при проведении исследований, представленном в Соглашении. На текущем этапе выполнялись работы по выбору направления исследований, на следующем втором этапе в январе - декабре 2019 г. будут проведены теоретические и экспериментальные исследования с использованием полученных результатов. В ходе исследований были использованы методы цифровой обработки сигналов, распознавания образов, вероятностного моделирования, системного анализа, корпусных исследований, объектно-ориентированного проектирования и программирования.