«Разработка методов и технологий создания систем доверенного искусственного интеллекта» (Программа Центра «Исследовательский центр доверенного искусственного интеллекта» ИСП РАН)

За последнее десятилетие достигнут существенный прогресс в создании новых методов искусственного интеллекта, в первую очередь машинного обучения (далее МО). Для многих прикладных задач разработаны алгоритмы, достигающие качества (формальные метрики), достаточного для промышленного применения. Технологии искусственного интеллекта (ТИИ) получили наибольшее распространение в областях, для которых доступно большое количество данных: - В анализе изображений и машинном зрении: поиск людей по фотографиям лиц, классификация изображений и определение местоположения объектов на изображениях, ведение (трекинг) объектов в видео. - В анализе текстов: диалоговые системы, вопросно-ответные системы, семантическое аннотирование текста для некоторых областей (например, выявления в текстах имен людей, организаций, мест), машинный перевод для многих пар языков. - В анализе сетей (социальных, биологических): выявление искусственных аккаунтов (ботов) в социальных сетях, анализ взаимодействия белков для определения их функций. - В анализе и прогнозировании временных рядов: предсказание поломки промышленного оборудования на основе показаний датчиков (индустриальный интернет вещей). Растёт применение машинного обучения и ИИ в науке, особенно в биологии и медицине. Наблюдается рост работ по предсказанию свойств лекарств, анализу геномных данных, обработке и анализу биомедицинских изображений. Однако внедрение технологий искусственного интеллекта требует учитывать ряд возникающих рисков и новых угроз. Современный ИИ – это целый стек технологий, состоящий из методов и алгоритмов искусственного интеллекта, фреймворков машинного обучения (например, TensorFlow, PyTorch), а также инфраструктурных решений для их поддержки (облачные системы, специализированные аппаратные системы и др.). Помимо классических уязвимостей программного обеспечения эти технологии являются источниками принципиально новых типов ошибок и уязвимостей, которые предоставляют новые возможности для проведения атак злоумышленниками. Размер стека технологий искусственного интеллекта достигает сотен миллионов строк кода, а предобученные модели содержат сотни миллиардов параметров. При этом существенно усложнились инструменты поддержки труда разработчика. Например, в результате работы компилятора программ и инструментов сборки могут появиться новые эксплуатируемые ошибки, не содержащиеся в исходном коде. Программно-аппаратные платформы являются распределенными с использованием параллелизма на всех уровнях. В частности, это означает отсутствие изолированных систем, их доступность через сеть, даже для закрытых систем стоит проблема эскалации прав доступа. Проблема усугубляется тем, что недостаточно построить и зафиксировать стек под конкретную прикладную область, необходимо обеспечить постоянное и долгосрочное его развитие, в силу постоянно меняющихся требований и появления принципиально новых программных и аппаратных возможностей. Независимо от текущей востребованности тех или иных программно-аппаратных решений, ключевым долгосрочным технологическим вызовом для любой платформы является совместное обеспечение трех составляющих: - Эффективность: производительность, масштабируемость, энергопотребление; - Продуктивность: удобство использования, стоимость; - Доверие: отказоустойчивость, конфиденциальность, защищенность. Проблемы создания доверенных систем, использующих ТИИ, уже активно рассматриваются в мировом научном сообществе, на национальном уровне отдельных государств (США, Германия) и в крупных промышленных компаниях (MITRE, Google). Исследователями были разработаны атаки на прикладные системы с ИИ (системы распознавания лиц, системы фильтрации вредоносных сообщений, системы автономного вождения и др.), методы выявления уязвимостей и методы защиты таких систем. Несмотря на активные исследования, широкое распространение ТИИ и наличие большого числа открытых платформ машинного обучения, обеспечивающих должный уровень эффективности и продуктивности, создание систем доверенного ИИ является долгосрочным вызовом. На текущий момент все еще не существует технической, методологической и организационной инфраструктуры для разработки высоконадежных доверенных и одновременно эффективных систем, использующих ТИИ, в том числе отсутствуют инструменты для поиска новых видов уязвимостей и противодействия новым типам угроз, специфичным для ТИИ. Это фундаментальное направление, без которого невозможно говорить о долгосрочном развитии технологий ИИ и их массовом внедрении в индустрию. Направление является особенно актуальным для нашей страны, так как без соответствующих собственных технологий невозможно обеспечить конкурентоспособность и безопасность решений на основе ТИИ. Программа Центра нацелена на создание единой технической, методологической и организационной инфраструктуры для разработки доверенных систем, использующих ТИИ. Она включает в себя создание доверенных фреймворков машинного обучения, разработку принципиально новых программных инструментов для анализа, выявления и противодействия угрозам, которые специфичны для ТИИ, разработку инструментов для повышения интерпретируемости моделей машинного обучения и их результатов.