Разработка системы групповой локализации источников звуков и речи с последующей обработкой для обеспечения коммуникации лиц с нарушенными сенсорными функциями

Разработана и изготовлена плата для синхронного сбора данных с аналогового массива микрофонов. Разработаны и запатентованы схема сбора и обработки данных одновременно с видеокамеры и массива микрофонов, система синхронного сбора данных с массива цифровых MEMS-микрофонов с PDM-интерфейсом. Разработаны: система локализации источников звука на основе алгоритма "взвешенный GCC-PHAT" и с помощью глубоких нейронных сетей с остаточными слоями; система локализации источников звука на основе алгоритма "взвешенный GCC-PHAT" и поиска губ по видео с помощью свёрточной нейронной сети; система формирования диаграммы направленности. Новизна комплекса заключается в использовании глубоких нейронных сетей для локализации источников звука, новой схеме захвата многоканального звука с помощью DFSDM-интерфейса, которая позволяет производить очень дешёвые массивы микрофонов, и возможности использования комбинации массива микрофонов и видеокамеры для локализации источников звука методами глубокого машинного обучения, которая позволяет достичь очень высокой точности локализации.