Программный комплекс обеспечения сервисов больших генеративных моделей для корпоративного и ведомственного применения

Проект направлен на разработку и внедрение защищенной корпоративной или ведомственной платформы доступа к ресурсам больших генеративных моделей, в т.ч. для реализации защищенного корпоративного чат-бота на основе больших языковых моделей, интегрированного с существующими информационными системами организации и обеспечивающего безопасный доступ к корпоративной информации при сохранении полной конфиденциальности данных. Решение позволит сократить время ответа на внутренние запросы сотрудников, автоматизировать создание стандартных отчетов и упростить поиск информации в базах знаний. С помощью передовых технологий, включая LLM с открытым исходным кодом, настроенные на конкретные корпоративные данные, фреймворк vLLM для высокопроизводительного обслуживания, веб-интерфейс oWUI, локально развернутую векторную базу данных для быстрого поиска информации и API Gateway для безопасной интеграции, будет создана масштабируемая и надежная система. Проект предусматривает создание программного и программно-аппаратного комплекса (ПАК), развернутого в контролируемой инфраструктуре организации, обеспечивающего возможность как пользовательского, так и автоматизированного взаимодействия с информационными системами организации через четко определенные API, а также гарантирующего комплексную защиту конфиденциальной информации за счет локализованного внедрения, что позволит повысить эффективность бизнес-процессов, автоматизировать рутинные задачи и обеспечить конкурентное преимущество за счет безопасного и эффективного использования AI-технологий