Интегральная система распознавания аудиовизуальной речи с использованием глубоких нейронных сетей

Программное обеспечение предназначено для обработки аудиовизуальных речевых видеоданных. Максимальная частота кадров – 60 кадров в секунду. Поддерживаемая цветность – 24 бита на пиксель. Программное обеспечение работает на x64-совместимых компьютерах под управлением 64-разрядных версий операционных систем (ОС) Microsoft Windows 8 и выше, а также под управлением Ubuntu 18.04 и выше. Программное обеспечение выполняет следующие функции: - извлечение видеокадров из видеофайлов сессий записи; - извлечение области губ; - получение временных меток голосовой активности; - разбиение и разметка аудиовизуальных данных на основе полученной информации; - формирования обучающей, валидационной и тестовой выборок; - обучение моделей аудиовизуального распознавания.