Разработка системы обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением

В результате реализации НИОКР "Разработка системы обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением" планируется получить законченный аппаратно-программный комплекс (продукт, далее – СОМСИ), состоящий из 2-ух взаимосвязанных компонентов: блок захвата мультиканальной сенсорной информации (оснащен видеокамерой и микрофоном) и блок обработки данных (вычислительная платформа). Основной целью системы является предоставление для инвалидов с одновременным нарушением слуха и зрения (слепоглухих) возможностей по самостоятельному ориентированию и независимому проживанию. Условием использования системы является наличие у пользователя сенсорного имплантируeмого устройства (слухового и/или зрительного импланта). Конечный продукт является устройством-помощником для слепоглухих граждан, и пригоден для решения задач ориентирования на улице или в помещениях, а также при независимом проживании и выполнения ежедневных задач.В тоже время СОМСИ является сложным техническим устройством, в основе которого лежат методы работы с большими данными, алгоритмы искусственного интеллекта, в части распознавания явных и неявных образов, распознавания звуков различного происхождения, в т.ч. человеческой речи и др. В данном проекте для обеспечения успешной реализации НИОКР планируется решить ряд научно-технических задач, а именно:– Создание компактной системы для приема видео- и аудио-информации высокого разрешения;– Разработка и адаптация алгоритмов предварительной обработки (очистки) зашумленного видео сигнала;– Разработка и адаптация алгоритмов предварительной обработки (очистки) зашумленного аудио сигнала;– Разработка алгоритма определения (распознавания) базовых предметов и объектов по видеоканалу с учетом возможных остаточных шумов и помех;– Разработка алгоритма определения (распознавания) базовых звуковых сигналов и речевых команд по аудио каналу с учетом возможных остаточных шумов и помех;– Разработка алгоритма автоматической генерации осмысленного текстового описания с учетом результатов анализа аудио- и видео-информации для заранее ограниченной предметной области;– Разработка интерфейсов взаимодействия системы с имплантируемыми сенсорными системами (кохлеарный имплант и имплант сетчатки);– Создание системы (вычислительная платформа и программное обеспечение) для реализации алгоритмов предварительной обработки аудио- и видео-информации, ее дальнейшего анализа и генерации осмысленного текстового описания.Принцип работы системы заключается в анализе получаемой первичной видео- и аудио- информации, с последующей очисткой сигнала с использованием цифровых алгоритмов устранения естественных помех, дальнейшей передачи данных на вычислительную платформу, где происходит перекодирования видео- и аудио-информации в символьную форму (осмысленный текст). В последующем данный текст может быть представлен в одной из форм, доступных для слепоглухих – отображение визуальных примитивов, озвучивание текста или вывод в тактильной форме (с использованием шрифта Брайля или других форм тактильной коммуникации).