Разработка программно-аппаратного комплекса групповой локализации источников звуков и речи с последующей обработкой для обеспечения коммуникации лиц с нарушенными сенсорными функциями

Целью проведения НИОКР является обеспечение обработки информации, полученной от различных источников звуков и речи, рассматриваемой как группа объектов (источников) с возможностью ее последующего представления для лиц с нарушенными сенсорными функциями.Конечным результатом выполнения НИОКР будет изделие, которое может эксплуатироваться независимо или путем интеграции для работы в комплексах, используемых для обеспечения коммуникации лиц с нарушенным слухом и зрением. Система позволит захватывать и выполнять предварительную обработку многоканального звука перед его отправкой на систему распознавания речи. Цель обработки – снижение уровня фоновых шумов, реверберации, разделение нескольких одновременных источников звука для их раздельного распознавания. Научной составляющей проекта являются методы и подходы к проектированию систем искусственного интеллекта, обработки больших данных, моделирования и реализации искусственных нейронных сетей.В основные функциональные требования к Системе входит:1. Наличие аппаратной части, обеспечивающей сбор данных с многоканального массива микрофонов и вывод звука.2. Наличие программной части (облачного сервиса), принимающего многоканальный звук и атмосферные параметры вокруг массива микрофонов (опционально).3. Обработку звука в реальном времени, используя ресурсы облачного сервиса, с возможность отправки результатов на сервисы по распознаванию речи.4. Осуществление обработки звука в два этапа: локализация активных источников звука и выделения звуковых сигналов от этих источников из общего звукового фона.5. Поддержка до трёх источников звука в режиме группового распознавания.6. Поддержка функции выдачи раздельных аудиоканалов на каждый распознанный источник звука.7. Интерфейсная совместимость с устройствами коммуникации для инвалидов по слуху и зрению.Данная тематика НИОКР соответствует технологическим барьерам по направлению Нейронет НТИ в группе «Большие данные» (барьер № 7 – Технологии распознавания речи группы (с наложением голосов) с автоматической расшифровкой).