Разработка и испытания опытного образца аппаратно-программного комплекса обнаружения кибератак, классификации активности и аномалий трафика с помощью алгоритма машинного обучения в проводных и беспроводных сетях, средах умных устройств.

Сведения о документе: Отчет 107 стр., 77 илл., 13 табл., 47 источника. Ключевые слова: сетевая безопасность, кибер-защита, детектор кибер-атак, искусственный интеллект, ids, обнаружение кибер-атак, сетевая атака, обнаружение вторжений, сетевое вторжение. Настоящий отчет обобщает и систематизирует данные, полученные в результате исследований по теме: Разработка и испытания опытного образца аппаратно-программного комплекса обнаружения кибератак, классификации активности и аномалий трафика с помощью алгоритма машинного обучения в проводных и беспроводных сетях, средах умных устройств. Целью второго (заключительного) этапа НИОКР по разработке и испытанию опытного образца аппаратно-программного комплекса обнаружения кибератак, классификации активности и аномалий трафика с помощью алгоритма машинного обучения в проводных и беспроводных сетях, средах умных устройств, является разработка программных модулей, уникальных алгоритмов и интерфейса для реализации и испытания системы обнаружения кибератак. Для выполнения НИОКР по разработке опытного образца аппаратно-программного комплекса обнаружения необходимо решить следующие задачи: • Разработать единое API взаимодействия программных агентов и подсистемы идентификации кибератак, разработать базы данных хранения состояний, событий, режимов работы платформы • Разработать модули программных агентов сбора, первичной обработки и классификации сетевого трафика • Разработать уникальный алгоритм сокращения передаваемой на классификатор информации внутри модулей сетевых агентов • Разработать подсистемы интеграции посредством единого API модулей сетевых агентов в локальную и сетевую системы обнаружения и предотвращения вторжений • Разработать гибридный нейросетевой детектор киберугроз и сетевых аномалий, разработать алгоритм обучения и поддержки единого API для взаимодействия с агентами сбора и базой данных платформы. • Разработать алгоритм для обучения гибридного нейросетевого детектора кибератак и сетевых аномалий на специально подготовленных образцах вредоносного трафика • Разработать модуль агента сбора, первичной обработки и классификации трафика беспроводной сети, разработать подсистему интеграции агента в рамках единого API • Разработать графический интерфейс контроля состояния работы, сигнализации, управления режимом работы аппаратно-программного комплекса, разработать поддержку единого API • Разработать подсистему протоколирования статуса модулей, действий оператора, записи информации о событиях и ошибках комплекса • Испытать, проанализировать и доработать аппаратно-программный комплекс на реальном трафике. В результате выполнения НИОКР по разработке опытного образца аппаратно-программного комплекса обнаружения кибератак, удалось решить все поставленные задачи со следующими итогами: • Выбрана система реализации API на базе унифицированного сервиса трехуровневой архитектуры, разработан API взаимодействия программных агентов и подсистемы идентификации кибератак с рядом (18 функциональных и 5 сервисных) точек доступа в соответствии с функциями модулей серверной части и агентами. Выбран тип базы данных, разработаны объекты хранения и абстракции данных на базе реляционной структуры PostgreSQL и системы абстракции Django REST Framework, разработана методика хранения данных о состояниях, событий и режимов работы системы, что описано в главе 1 • Разработан программный модуль агента сбора, первичной обработки и классификации сетевого трафика на базе многопоточного кроссплатформенного приложения Python, имеющего 4 сервисных потока и 2 потока выполнения, с реализованными функциями автоматической идентификации сред контроля, с реализованной функцией удаленного запуска и управления, выбора параметров, с реализованными функциями предварительной обработки больших данных, картой событий и сеансов, описано в главе 2 • Разработан уникальный алгоритм сокращения передаваемой на классификатор информации внутри модулей сетевых агентов на базе собственной реализации системы FAVD (метод Фишера анализ вариантный дисперсионный) сокращения размеченной информации путем сбора сеансовой информации и статистического мультиплицирования основным параметров сеанса, описано в главе 3 • Разработана подсистема интеграции посредством единого API модулей сетевых агентов в локальную и сетевую системы обнаружения и предотвращения вторжений на базе объектно-ориентированного согласующего REST-модуля на языке Python и библиотек доступа к REST API, описано в главе 4 • Разработан гибридный нейросетевой детектор киберугроз и сетевых аномалий на базе модифицированной самоорганизующейся карты Кохонена, слоем входных признаков с динамической нормализацией и слоем выбора победителя с гибридным спуском, разработан алгоритм обучения с рядом улучшений – таких как оптимизация начальной инициализации весовой карты, зональное выделение областей обучения и классификации, динамическая нормализация классифицирующих признаков, модифицированный алгоритм выбора победителя и соседей, и поддержки единого API для взаимодействия с агентами сбора и базой данных платформы. Реализован алгоритм машинного обучения и оценена его точность на части набора данных сетевых атак, зарезервированной для тестирования. Разработан интерфейс для системы обнаружения вторжений, которая может отслеживать вредоносный трафик, предупреждать о предполагаемой атаке и управлять агентами. • Разработан алгоритм для обучения гибридного нейросетевого детектора кибератак и сетевых аномалий на специально подготовленных образцах вредоносного трафика с рядом улучшений – таких как оптимизация начальной инициализации весовой карты, зональное выделение областей обучения и классификации, динамическая нормализация классифицирующих признаков, модифицированный алгоритм выбора победителя и соседей, и поддержка единого API для взаимодействия с агентами сбора и базой данных платформы. В качестве базисного инструментария при подготовке данных использовались фреймворки Pandas, SciKitLearn, использованы статистические методы анализа сетевого трафика, а в задаче классификации радио-траффика использованы методы радиофизики — быстрое преобразование Фурье, обратное преобразование, оконные методы, методика относительной градиентной нормализации на частотной панораме. • Разработан модуль агента сбора, первичной обработки и классификации трафика беспроводной сети, разработана подсистема интеграции агента в рамках единого API на базе многопоточного кроссплатформенного приложения Python, с применением фреймворков Pandas, NumPy, реализованных на языке программирования С++ и обладающих высоким быстродействием, большой возможностью масштабирования относительно потоков процессорного времени. Агент имеет 4 сервисных потока и 2 потока выполнения, с реализованными функциями установки центральной частоты и полосы сигнала, реализованными функциями удаленного запуска, управления и протоколирования, предварительной обработки больших данных, картой паттернов радио-трафика, подмодулем интеграции в единый API на базе библиотек Request REST. • Разработан графический интерфейс контроля состояния работы, сигнализации, управления режимом работы аппаратно-программного комплекса, разработана поддержка единого API на базе веб-приложения при поддержке фреймворка React и интеграции с функциями единого API комплекса. Графический интерфейс представляет собой набор личных кабинетов клиентов комплекса, с функциями распределения прав доступа, назначения подсетей и сред контроля, настройкой агентов и классификаторов, отображением статистической информации и информации о векторах атак и источниках киберугроз. • Разработана подсистема протоколирования статуса модулей, действий оператора, записи информации о событиях и ошибках комплекса. Протоколирование интегрировано посредством единого API комплекса в системы обнаружения и предотвращения вторжений, а также графический интерфейс на базе объектно-ориентированного согласующего REST-модуля на языке Python и библиотек доступа к REST API Django-Restframework, сервисов NGINX. • Испытан, проанализирован и доработан аппаратно-программный комплекс на реальном трафике. Проведено комплексное испытание аппаратно-программного комплекса на реальном трафике путем создания стенда, реализующего среды локальной сети с выходом во внешнюю сеть, среды умных-устройств радио-трафика, а также распределенным размещением агентов комплекса. По результатам проведенного испытания произведены доработки комплекса в части улучшения качества определения атак, быстродействия и удобства пользовательского графического интерфейса для конечного пользователя. Все перечисленные результаты говорят о успешном выполнении всех поставленных задач в данном НИОКР и позволяют переходить к пилотным тестированиям и коммерческой эксплуатации первого образца аппаратно-программного комплекса обнаружения кибератак, классификации активности и аномалий трафика с помощью алгоритма машинного обучения в проводных и беспроводных сетях, средах умных устройств. Таким образом, можно утверждать, что все поставленные цели и задачи НИОКР по разработке и испытанию опытного образца аппаратно-программного комплекса обнаружения кибератак, классификации активности и аномалий трафика с помощью алгоритма машинного обучения в проводных и беспроводных сетях, средах умных устройств выполнены. УДК - 004.8 ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ Регистрационный № 121030200373-0 Инв. № - №5