Разработка и тестирование прототипа модулей извлечения поручений и вопросно-ответного поиска для программного обеспечения по транскрибации аудио- и видеозаписей профессиональных коммуникаций в рамках систем видеоконференцсвязи (договор №186ГС2ИИС12-D7/64243 от 23.12.2022) (заключительный)

Сведение об отчете: Объем: 62 страницы Количество иллюстраций: 12 иллюстраций Количество приложений: 12 приложений Количество глав отчета: 8 глав Количество используемых источников: 25 источников Ключевые слова: распознование речи, извлечение поручений, вопросно-ответный поиск, машинное обучение, обработка естественного языка, автоматическое протоколирование, аналитика видеозвонков, natural language processing, LLM, large language models, большие языковые модели Цель работы: Разработка набора данных для обучения нейросетевой модели для выполнения задач вопросно-ответного поиска. Разработка архитектуры нейросетевой модели для выполнения задач вопросно- ответного поиска для обучения на собранном датасете. Разработка прототипа модуля вопросно-ответного поиска. Тестирование модуля вопросно-ответного поиска в рамках программного обеспечения по транскрибации аудио- и видеозаписей профессиональных коммуникаций в рамках систем видеоконференцсвязи. Разработка набора данных для обучения нейросетевой модели для выполнения задач по извлечению поручений. Разработка архитектуры нейросетевой модели для выполнения задач по извлечению поручений для обучения модели на собранном датасете. Разработка прототипа модуля извлечения поручений. Тестирование модуля извлечения поручений в рамках программного обеспечения по транскрибации аудио- и видеозаписей профессиональных коммуникаций в рамках систем видеоконференцсвязи. В рамках разработки модуля вопросно-ответного поиска и извлечения поручений и задач были разработаны алгоритмы для автоматизированного вопросно-ответного поиска, реализована программная архитектура. Внедрение алгоритмов извлечения embeddings и их сравнения позволило ускорить обработку запросов и повысить качество поиска. Извлечение embeddings было оптимизировано и вынесено на высокопроизводительный узел, что улучшило общую производительность. Переход на использование фреймворка Flax, JAX сократил время обработки запросов, что положительно сказалось на работе модуля. Внутренние испытания показали улучшение качества поиска по сравнению с исходной моделью. С применением больших языковых моделей был сгенерирован и размечен набор данных стенограмм видеозвонков. Была разработана методика, позволяющая учитывать контекст всей стенограммы и удалять дубликаты при извлечении поручений. Дообучение предтренированной модели OpenChat3.5 позволило достичь показателя точности в 92%. Оптимизация модели с использованием алгоритма AWQ и оптимизация графа выполнения нейронной сети позволили увеличить скорость обработки запросов модулем извлечения поручений. Будущие шаги включают проведения завершающих этапов тестирования и интеграцию модулей вопросно-ответного поиска и извлечения поручений и задач для улучшения производительности и удобства пользователей сервиса Teamlogs. Задачи данной НИОКР выполнены успешно, в соответствии календарным планом и техническим заданием. В результате НИОКР были разработаны алгоритмы вопросно-ответного поиска и извлечения поручений, подготовлены наборы данных, обучена нейросетевая модель, а также проведено дополнительное обучение большой языковой модели, произведена доработка заложенной архитектуры, разработан интерфейс пользователя.