Разработка и тестирование прототипа сервиса по созданию чат-ботов на основе больших языковых моделей с инструментами автоматизированного анализа и сравнения ответов (заключительный)

Разработать и провести тестирование прототипа сервиса по созданию чат-ботов на основе больших языковых моделей с инструментами автоматизированного анализа и сравнения ответов. Данной разработкой решается проблема выбора лучших настроек бота за счет проведения автоматизированных тестов, которые показывают: бот в среднем стал лучше или деградировал. В ходе выполнения работы были решены следующие задачи: Возможность создавать, редактировать и хранить в системе до 10 инструкций для каждого бота. Возможность создания наборов данных объемом не менее 100 вопросов для проверки бота. Возможность автоматизированного сравнения различных инструкций на заранее готовом списке вопросов с ответами. Возможность хранения в векторной базе не менее 500 проиндексированных web-страниц, не превышающих объемом 2 мб, каждая. Семантический поиск по проиндексированным данным должен в 90% случаях возвращать нужный документ на специально созданном тестовом наборе данных и наборе запросов. Генерация ответа большой языковой моделью на основании найденных документов, должна набирать 90% баллов на специально созданном простом наборе данных, вопросов и правильных ответов. Генерация ответа большой языковой моделью на основании найденных документов, должна набирать 70% баллов на специально созданном сложном наборе данных, вопросов и правильных ответов. Прототип продукта выложен и доступен по адресу wikibot.pro Автоматизация структурных подразделений компаний, занимающихся повышением лояльности клиентов и улучшением клиентского сервиса: - Отдел поддержки клиентов в программных продуктах и сервисах. - Служба заботы о клиентах в онлайн школах. - Консультирование клиентов на сайтах и в соцсетях в турагествах. - Консультирование клиентов по товарам в онлайн магазинах и маркетплейсах. Работа позволяет тысячам Российских компаний создать чат-бота для поддержки клиентов без вложения средств в разработку. Предполагается создания маркетплейса цифровых сотрудников (ИИ-агентов) где компании могут нанимать и создавать цифровых работников. Подано заявление «Регистрация программы для ЭВМ или базы данных» Заявление принято к рассмотрению Номер заявления № 5660416713 Согласно техническому заданию разработаны все инструменты и модули прототипа сервиса по разработке и тестированию прототипа сервиса по созданию чат-ботов на основе больших языковых моделей. Разработанные инструменты и модули отвечают заявленным требованиям.