Сервис для извлечения сущностей из текста и дальнейшего связывания с базами знаний

Назначение: извлечение сущностей из длинных текстов и последующей их привязки к базам знаний. Область применения: диалоговые системы. Функциональные возможности: в качестве базы знаний сервис может использовать Викидата, а также другие базы знаний. Сервис имеет три конечные точки: для обработки текста, html-страниц и обработки базы знаний пользователя с последующим построением индекса. Для обработанного текста сервис возвращает подстроки с извлеченными сущностями, их типы, индексы позиций в тексте, IDs сущностей в базе знаний и, в случае использования Викидата, название и ссылку на страницу Википедии. Для извлечения сущностей используется модель классификации токенов на основе BERT. Индекс сущностей хранится в SQLite-базе данных. РИД создан в рамках выполнения мероприятия 2022 г. Общего плана деятельности ИЦ прикладных систем искусственного интеллекта: «1.1.6 НИР по теме «Персональные цифровые ассистенты с мультимодальными навыками» Этапы 1, 2» по направлению развития искусственного интеллекта и тематике Программы ИЦ прикладных систем искусственного интеллекта «Анализ естественного языка методами искусственного интеллекта»