Многомодальный интерфейс на основе жестов и речи для управления ассистивным мобильным информационным роботом

Целью проекта является разработка программных средств многомодального человеко-машинного интерфейса для бесконтактного взаимодействия ассистивных мобильных информационных роботов с различными группами пользователей, включая людей с ограниченными возможностями по слуху и зрению, посредством автоматического распознавания и синтеза жестовой и речевой информации. Основные ожидаемые научные результаты данного проекта следующие: 1) расширенный аналитический обзор современной научно-технической литературы по тематике проекта; 2) отчеты о патентных исследованиях; 3) многомодальная база данных (корпус) элементов жестового языка (русского и чешского), записанная с использованием сенсора MS Kinect v2; 4) новое и усовершенствованное математическое и программное обеспечение для автоматического распознавания статических и динамических жестов рук; 5) программное обеспечение жестового интерфейса для организации бесконтактного взаимодействия с роботами; 6) программное обеспечение речевого интерфейса (для русского и чешского языков) для организации вербального взаимодействия с роботами; 7) прототип ассистивного мобильного информационного робота (АМИР), управляемый посредством разработанного многомодального интерфейса на основе обработки речевой и жестовой информации; 8) научные публикации по результатам проекта в научных журналах и изданиях, индексируемых в базах данных Web of Science, Scopus; 9) патенты и/или заявки на результаты интеллектуальной деятельности (программы для ЭВМ и БД).