Разработка системы обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением

Объект исследования - комплекс обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением. Система предназначена для использования слепыми и слепоглухими людьми. Цель разработки - создание пригодного к производству и продажам на российском рынке изделия. Разрабатывались конструкторская документация на аппаратную часть системы, встроенное программное обеспечение и пользовательский интерфейс, серверное программное обеспечение для анализа данных, а также клиентское программное обеспечение для мобильных устройств. Результаты разработки защищались с помощью подачи заявки на патент и регистрации программ для ЭВМ. Результатом НИОКР является программно-аппаратный комплекс, состоящий из блока обработки данных и блока захвата данных, соединённых кабелем, встроенного и серверного программного обеспечения, а также приложение для Android-устройств. Основные достигнутые результаты - это разработанное и протестированное изделие на базе платы с arm7 контроллером и установленной ОС Linux, разработанный алгоритм шумоподавления в акустическом сигнале со стереомикрофона с помощью лучеформирователя Кэйпона и Винеровской постфильтрации, серверное решение по анализу звука и видео с помощью свёрточных нейронных сетей и вариационного автоэнкодера. Результаты исследования обладают высокой степенью техническое новизны - в рамках работы над проектом было получено три свидетельства на регистрацию программ для ЭВМ, подана одна заявка на российский патент на полезную модель, опубликована на русском языке статья в рецензируемом научном журнале, входящем в список ВАК. Новизна системы заключается в использовании глубоких нейронных сетей и их архитектуре для анализа аудио- и видеоданных для решения повседневных задач лиц с ограничениями слуха и зрения. Проведено первое коммерческое внедрение результатов исследования.