Этап №1"Разработка и техническая реализация (программный код и интерфейс) прототипа программного комплекса на основе нейронных сетей для анализа данных, полученных в результате использования систем отслеживания звонков и распознавания речи. Распознавание речи для создания первичного набора данных." (промежуточный)

На данном этапе целью исследований ставилась подготовка акустической модели на базе нейронной сети для собственной системы распознавания речи (программный код и необходимый интерфейс). Это решение позволит в дальнейшем, совместно с внешней языковой моделью получить достаточное качество распознавания, чтобы с высокой точностью справляться с записями телефонных звонков, которые изобилуют специфическими терминами из различных отраслей. На следующих этапах хорошо распознанный текст может быть преобразован в различные признаки более высокого порядка и быть использован системой наряду с другими параметрами для предсказания вероятности заключения сделок. Для выполнения данной задачи необходимо было решить базовые проблемы организации сбора и разметки собственных данных, собрать тестовый набор данных для определения качества моделей и получить базовый результат подтверждающий работоспособность модели. Кроме того, необходимо было определиться с архитектурой сети, гиперпараметрами тренировки и запустить обучение, каждый цикл которого занимает несколько недель. Еще одной задачей в рамках данного этапа было создание внутреннего сервиса для апробации натренерованых моделей. В результате работы был налажен сбор данных пригодных для обучения системы распознавания речи. Подготовлен процесс разметки, который для ускорения обработки был разбит на 2 этапа: 1) автоматизированный перевод 2) ручная чистка от ошибок Разработана платформа для упрощения работы разметчиков. Создан минимальный базовый тестовый набор данных, сбалансированный по темам и отраслям. Получен результат на бейзлайн системе. Была выбрана end-to-end модель, показывающая очень хорошие результаты на публичных академических наборах данных. Для обучения модели использовался открытый фреймверк Nemo и библиотека Pytorch для языка Python. Экспериментальным путем подобраны гиперпараметры сети и параметры для препроцессинга данных. Был найден и загружен большой, открытый корпус русского языка OpenSTT, насчитывающий 20000 часов аудиозаписей. На этом наборе была запущена предтренировку модели с целью последующего файнтьюнинга модели на внутреннем наборе аудио. Была создана система, интегрирующая наши модели с сервисом компании, и позволяющая качественно оценивать её точность, с точки зрения пользователя. Таким образом, все цели этапа могут считаться выполненными успешно.