«Разработка модуля подключения системы к ресурсам вычислительной инфраструктуры для сбора журналов событий средствами API-подключения. Сбор реального датасета для наполнения векторного хранилища с инфраструктуры, используемой в продуктивном режиме. Разработка модуля автоматизации использования векторного хранилища RAG для работы LLM на реальных данных. Тестирование опытного образца на ресурсах базовой инфраструктуры в составе: кластер виртуализации/VDI.» (промежуточный)

Целью работы является доработка и тестирование опытного образца программного обеспечения автоматизации аварийного восстановления ИТ-инфраструктуры с использованием алгоритмов выявления аномалий на основе больших языковых моделей с использованием векторного хранилища. Основными объектами исследования в ходе НИОКР являются модели и алгоритмы детектирования аномалий, подходы к построению модели LLM с использованием RAG, методы оптимизации работы большой языковой модели и векторного хранилища, а также их программная реализация Методами исследования НИОКР являются как классические методы построения систем аналитики, предназначенных для выявления аномалий в журналах работы ИТ-системы, так и их авторская модификация с использованием больших языковых моделей и векторного хранилища, которые определяются как совокупность компонентов, асинхронно получающих и обрабатывающих поступающие события. Областью применения является решение управленческих задач, связанных с предупреждением фактов и снижением длительности вынужденного простоя информационных систем вследствие аварийных ситуаций при эксплуатации ИТ-инфраструктуры. Актуальность работы заключается в том, что существующие инструменты выявления аномалий работы инфраструктуры в журналах событий с помощью ключевых слов, триггеров, классических методов машинного обучения AIOps, LLM моделей обладают ограниченными возможностями по точности, корректности (отсутствию ложно-положительных срабатываний), скорости конфигурирования ключевых триггеров (в ряде систем это требуется делать в ручную по списку ключевых слов), возможности реагирования на ранее не возникавшие события (например, сообщения об ошибках, отсутствующих в исходном датасете при обучении модели). Журналы событий, принадлежащие различным системам и компонентам как правило обладают высокой вариативностью и уникальностью и задача проведения анализа становится сложной из-за объема, разнообразия и скорости поступления логов. Это дополнительно усложняется отсутствием или недоступностью аномальных записей логов для разработки обученных моделей машинного обучения или искусственного интеллекта для этих целей. Данные недостатки могут быть устранены путем использования большой языковой модели с поддержкой RAG, которая использует векторную базу данных для обнаружения аномалий в логах. Объем генерируемой информации в журналах работы ИТ-инфраструктуры в современной компании среднего размера может составлять десятки и сотни гигабайт в час, что не позволяет полагаться на административный персонал и оповещения из систем мониторинга для корректного и своевременного выявления аномалий в работе инфраструктуры, потенциально приводящих к сбоям и простоям в работе систем. По итогам выполнения первого этапа НИОКР были получены следующие результаты: - Разработан модуль подключения системы к ресурсам вычислительной инфраструктуры для сбора журналов событий средствами API-подключения. - Проведен сбор реального датасета для наполнения векторного хранилища с инфраструктуры, используемой в продуктивном режиме. - Разработан модуль автоматизации использования векторного хранилища RAG для работы LLM на реальных данных. - Выполнено тестирования опытного образца на ресурсах базовой инфраструктуры в составе: кластер виртуализации/VDI. Результаты выполнения первого этапа НИОКР признаем успешными. Работы выполнены в срок и в соответствии с техническим заданием. Дальнейшими направлениями исследований и работ, которые будут выполнены на втором этапе НИОКР являются: доработка опытного образца с учетом результатов тестирования, разработка модулей оптимизации, ранжирования, сжатия, квантования LLM-модели для работы на CPU, разработка модуля анализа корректности функционирования инфраструктуры, модуля выявления аномалий, тестирование разработанных модулей на ресурсах расширенной инфраструктуры в составе: кластер виртуализации/VDI, подсистема СУБД, подсистема удаленного доступа.