ИКРБС
№ 222052400040-9"Разработка и тестирование прототипа веб-приложения с инструментами речевой аналитики и оценкой эффективности переговоров" (договор №10ГС1ИИС12-D7/71352 от 30.11.2021) Этап №1"Сбор базы данных записей переговоров с сегментацией на реплики и фразы. Анализ реплик по строгим разработанным алгоритмам. Определение характеристик речи: вербальных (конкретные фразы и стоп-слова скриптов, тригеры) и невербальных (темп, тон, подача). Разработка прототипа веб-приложения с инструментами речевой аналитики и оценкой эффективности переговоров." (промежуточный)
23.05.2022
Цель работы: Разработать алгоритм оценки естественной речи и собрать базу данных для последующего обучения нейросети и создания веб-приложения с инструментами речевой аналитики.
Основные результаты работы:
Сформирован алгоритм оценки речи с возможностью его гибкой донастройки по вербальным признакам.
Собрана и размечена база данных в объеме 50 000 часов, состоящая из реплик и текста.
Разработан базовый интерфейс веб-приложения для оценки эффективности переговоров.
В результате первого этапа работ мы обнаружили несколько интересных выводов:
Ключевые выводы, которые мы сделали:
В машинном обучении для наших целей эффективней всего использовать End-to-end модель, в которой языковая и акустическая компоненты будут обучаться совместно, а не раздельно.
Точность распознавания речи (ASR) фундаментально важна для эффективной вербальной аналитики и построения гибких систем анализа на основе библиотек фраз и контекстов.
Диаризация речи (разделение собеседников по каналам) крайне важна для качественного распознавания речи, а также персонализированного анализа каждого собеседника.
В анализе невербальных характеристик речи не стоит рассчитывать на анализ звуковой волны по причине низкого входного качества у 99% потенциальных пользователей.
С методом лингвистического анализа распознанного текста мы имеем широкие возможности оценки переговоров в разрезе множества гибких настраиваемых факторов (библиотек интентов)
ГРНТИ
20.53.19 Средства обработки и поиска информации
15.81.99 Другие виды прикладной психологии
Ключевые слова
Речевая аналитика
Диаризация
Нейросеть
База данных
Машинное обучение
Детали
НИОКТР
Заказчик
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ "ФОНД СОДЕЙСТВИЯ РАЗВИТИЮ МАЛЫХ ФОРМ ПРЕДПРИЯТИЙ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ"
Исполнитель
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ПАКМАН ГРУПП"
Бюджет
Средства фондов поддержки научной и (или) научно-технической деятельности: 4 000 000 ₽
Похожие документы
Разработка системы распознавания контекста переговоров в режиме реального времени с выделением значимой информации и эмоций собеседника и автоматическим заполнением данных в сторонних системах с целью квалификации сделок (Договор №106ГС1ИИС12-D7/76658 от 18.05.2022) Этап №1 Разработка алгоритмов и методов извлечения информации из звука и текста. Разработка алгоритмов и методов обработки естественного языка. Сбор и подготовка репрезентативного набора размеченных данных переговоров с известными обсуждаемыми темами. (промежуточный)
0.931
ИКРБС
Доработка прототипа Платформы голосовых роботов в части разработки и интеграции в платформу прототипов сервиса распознавания речи, поддерживающего адаптацию под акустическую специфику спикера, сервиса синтеза речи, реализующего автоматическую расстановку ударений в словах, а также сервиса обработки естественного языка."
(договор №15ГС2ИИС12-D7/48669 от 01.12.2021)
Этап №1"Обработка набора данных для обучения русскоязычной модели нейросети, синтезирующей речь, с двумя разными спикерами. Обучение моделей синтезирующей
речь нейросети с мужским и женским голосами. Подготовка набора данных для обучения нейросети, расставляющей ударения в словах. Разработка прототипа сервиса синтеза речи, включающего модуль автоматической расстановки ударений. Разработка прототипа сервиса обработки естественного языка, включающего модуль вопросов-ответов. Доработка прототипа сервиса распознавания речи в части реализации потокового режима обработки. Интеграция в прототип платформы голосовых роботов прототипов сервиса синтеза речи, включающего модуль автоматической расстановки ударений в словах, и сервиса обработки естественного языка, включающего модуль вопросов-ответов" (промежуточный)
0.925
ИКРБС
Сбор и разметка крупного набора данных.
Проведение экспериментов с обучением нейронной сети на собранном датасете и открытых датасетах для улучшения качества компоненты выделения ключевой информации и суммаризации.
Проведение экспериментов с обучением нейронной сети на собранном датасете и открытых датасетах для улучшения качества алгоритмов диаризации и распознавания речи.
Проведение функциональных испытаний качества работы продукта и его соответствия необходимым техническим характеристикам.
(промежуточный)
0.920
ИКРБС
ОТЧЕТ о выполнении НИОКР по теме: "Разработка и испытание прототипа сервиса гиперперсонализированного синтеза речи с обучением модели психометрического профилирования по речевым признакам и модели вариативного нейросетевого синтеза речи под психометрический профиль." (договор №41ГС1ИИС12-D7/71344 от 17.12.2021)
Этап №1"Поиск, сбор и очистка аудиоданных датасета голосов звучащей речи. Перекрестная разметка датасета звучащей речи по психометрическим профилям с контролем уровня согласованности. Разведочный анализ датасета по извлеченным характеристикам речи, проверка адекватности распределения каждого из признаков, корректировка и фильтрация датасета. Обучение нейросетевой модели на задаче разделения речи по психометрическим профилям. Обучение модели синтеза речи с исследованием оптимальной нейросетевой архитектуры с использованием предобученного энкодера."
(промежуточный)
0.918
ИКРБС
Этап №1"Разработка и техническая реализация (программный код и интерфейс)
прототипа программного комплекса на основе нейронных сетей для анализа данных,
полученных в результате использования систем отслеживания звонков и распознавания
речи. Распознавание речи для создания первичного набора данных."
(промежуточный)
0.918
ИКРБС
Разработка и тестирование прототипа системы речевой аналитики и генерации рекомендаций для повышения качества работы менеджеров по продажам (заключительный)
0.917
ИКРБС
«Разработка и тестирование прототипа веб-приложения с инструментами речевой аналитики и оценкой эффективности переговоров»
(договор №10ГС1ИИС12-D7/71352 от 30.11.2021)
(заключительный)
0.916
ИКРБС
ОТЧЕТ о выполнении НИОКР по теме: «Разработка и тестирования прототипа платформы речевой аналитики по тематике продаж с простым пользовательским интерфейсом» (договор №130ГС1ИИС12-D7/76687 от 14.06.2022)
Этап №1 «Разработка модуля диаризации (разделения голосов дикторов) для записей, сделанных в один аудиоканал. Разработка модуля определения эмоций говорящих на основе анализа звуковой волны. Разработка модуля выделения интентов (намерений) говорящих.» (промежуточный)
0.915
ИКРБС
ОТЧЕТ о выполнении НИОКР по теме: «Разработка и тестирования прототипа платформы речевой аналитики по тематике продаж с простым пользовательским интерфейсом» (договор №130ГС1ИИС12-D7/76687 от 14.06.2022) (заключительный)
0.915
ИКРБС
ОТЧЕТ о выполнении НИОКР по теме: «Разработка и тестирование прототипа программно-аппаратного комплекса интеллектуальной голосовой аналитики в условиях зашумленного звукового окружения для офлайн-бизнеса» (договор Nº259ГС1ИИС12-D7/101251 от 11.10.2024) Этап Nº1 «Разработка аппаратной части прототипа интеллектуальной голосовой аналитики в условиях зашумленного звукового окружения. Сбор и разметка 250 часов аудио данных для дообучения моделей машинного обучения, представляющих аудио записи диалогов в естественных условиях звукового окружения. Дообучение и отладка лингвистических моделей на собранных данных для обеспечения доменной адаптации модуля распознавания речи. Разработка акустической модели предварительной обработки речевых сигналов для улучшения качества распознавания русскоязычной речи при воздействии фонового шума. Валидация и оценка качества разработанного решения по предварительной обработке речевых сигналов на тестовых данных и в реальных условиях.» (промежуточный)
0.910
ИКРБС