НИОКТР
№ 125042105306-3

Разработка системы кибербезопасности доверенных моделей машинного обучения в среде с многократным биометрическим предъявлением

08.04.2025

Искусственный интеллект (ИИ) в настоящее время завоевал фактически все сферы человеческой деятельности от технологической до социальной и претендует в будущем на роль самого лучшего помощника и друга. Статистика подтверждает не только увеличение сфер применения ИИ, но количество преступлений совершенных с помощью ИИ. На сайте https://www.tadviser.ru приведены результаты исследования, отражающие число судебных разбирательств вокруг использования ИИ в России: за год количество преступлений выросло на 60%. Другая сторона вопроса затрагивает степень доверия к системам искусственного интеллекта, их результатам, этике его использования и достоверности используемых данных и моделей машинного обучения. С 2020 по 2024 гг. проведена большая работа в сфере стандартизации систем искусственного интеллекта в различных областях. Большинство стандартов отражают качественные и отчасти количественные характеристики, отражающие эффективность использования систем использования ИИ. Особенно стоит отметить в настоящее время фактическое отсутствие описания вопросов компрометации ИИ, отравления данных, состязательных атак, а вследствие чего и освещение вопросов оценки кибербезопасности систем ИИ и объектов на которых они используются. Поэтому возникает необходимость разработки функциональных показателей оценки доверия ИИ с точки зрения кибербезопасности. Кроме того Правительством РФ утверждена Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники, где определено «Приоритетной целью регулирования отношений в сфере искусственного интеллекта и робототехники на данном этапе их развития является стимулирование разработки, внедрения и использования таких технологий, создания систем искусственного интеллекта и робототехники в доверенном и безопасном исполнении, которое будет способствовать достижению высоких темпов экономического роста, повышению благосостояния и качества жизни граждан, обеспечению национальной безопасности и правопорядка, достижению устойчивой конкурентоспособности российской экономики, в том числе лидирующих позиций в мире в области искусственного интеллекта». Все вышеперечисленное определяет актуальность решения следующих задач: - обеспечение безопасности алгоритмов искусственного интеллекта; - верификации данных, используемых системами искусственного интеллекта; - мониторинг действий скомпрометированных систем искусственного интеллекта; - оценка последствий применения отравленных систем ИИ. Решение этих задач возможно созданием мультиагентной систем оценки моделей и алгоритмов ИИ, функционирующей на основе экспертных моделей и моделей машинного обучения кибербезопасности искусственного интеллекта. Основная цель такой системы создание комплекса моделей ИИ, обеспечивающих требуемый уровень доверия к системам ИИ на основе существенных характеристик безопасности (согласно ГОСТ Р 59276— 2020). Научная новизна исследования представляет собой комплекс следующих положений: - создание методики оценки безопасности систем ИИ на основе разработанных функциональных показателей кибербезопасности для систем с биометрическим предъявлением; - разработка алгоритмов и принципов функционирования информационной системы оценки доверия к системам ИИ на основе распределенной интеллектуальной мультиагентной системы, к которой каждый агент представляет собой некоторую функциональную характеристику; - апробация системы на основе реальных ситуаций на примере атак на модели машинного обучения с многократным биометрическим предъявлением.
ГРНТИ
81.93.29 Информационная безопасность. Защита информации
Ключевые слова
Искусственный интеллект
доверие
оценка
система
функциональные характеристики
кибербезопасность
мультиагентная система
биометрическое предъявление
Детали

Начало
28.12.2024
Окончание
31.12.2026
№ контракта
25-21-00379
Заказчик
Российский научный фонд
Исполнитель
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "КУБАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ"
Бюджет
Средства фондов поддержки научной и (или) научно-технической деятельности: 3 000 000 ₽
Похожие документы
«Разработка методов и технологий создания систем доверенного искусственного интеллекта» (Программа Центра «Исследовательский центр доверенного искусственного интеллекта» ИСП РАН)
0.922
НИОКТР
Правовое регулирование безопасного использования технологий искусственного интеллекта: концептуальные модели обеспечения безопасности, предупреждения рисков и ответственности
0.907
НИОКТР
Определение перспективных направлений подготовки кадров в области обеспечения информационной безопасности сквозных цифровых технологий с использованием систем искусственного интеллекта
0.904
НИОКТР
Развитие методологии производства продукции двойного назначения высокотехнологичными компаниями России с использованием элементов искусственного интеллекта в условиях цифровизации экономики и санкционного давления
0.902
НИОКТР
Разработка и тестирование опытного образца платформы для оптимизации процесса цифровой трансформации при создании и внедрении доверенного искусственного интеллекта с использованием сетей корреляционных нейронов (заключительный)
0.901
ИКРБС
Разработка концептуальной модели юридической ответственности в сфере искусственного интеллекта и робототехники
0.897
НИОКТР
Искусственный интеллект и наука о данных: теория, технология, отраслевые и междисциплинарные исследования и приложения (промежуточный)
0.897
ИКРБС
Разработка моделей и методов объяснимого искусственного интеллекта для повышения надежности и безопасности внедрения распределенных интеллектуальных систем на объектах электроэнергетики
0.896
НИОКТР
Разработка гибридного классификатора на базе нейросетей и иммунной сети и создание алгоритмического обеспечения классификатора
0.896
НИОКТР
Научное обоснование методологии применения и способов оценки качества интеллектуальных технологий («искусственного интеллекта») в диагностике
0.895
НИОКТР