Разработка прототипа носимого сурдо-манипулятора с применением нейронных сетей

Основная цель данного проекта помочь людям, желающим выучить жестовой язык. Например, при попадании в сложную ситуацию (внезапную потерю слуха), при реабилитации человека или желание выучить язык для личных целей. Таким образом ставится задача сократить время на получение уровня коммуникативной компетенции. Этим определяется актуальность и практическая значимость данной работы. Основные задачи в рамках НИОКР: 1. Исследование существующих моделей глубоких нейронных сетей (DNN) для распознавания вводимых жестов, а также обработки потока данных. 2. Разработка лабораторного образца аппаратной части устройства для записи жестов жестового языка с помощью инерциальных измерительных датчиков (IMU) и создание базы данных этих жестов для обучения модели нейронной сети. 3. Разработка алгоритма для распознавания жестов на базе данных вводимых жестов жестового языка, полученных с блока инерциальных измерительных датчиков (IMU). 4. Исследование существующих алгоритмов выделения фрейма данных и разработка алгоритма выделения фрейма жеста из потока данных инерциальных измерительных датчиков (IMU), а также разработка архитектуры программного обеспечения для контроллера устройства и пользовательского интерфейса для взаимодействия с ним. 5. Создание лабораторного образца аппаратной части устройства. 6. Тестовые испытания полученного прототипа аппаратно-программного комплекса для перевода языка жестов в текст и анализ результатов на предмет соответствия заявленным техническим характеристикам.