Отчёт о выполнении НИОКР по теме: "Разработка распределённой платформы для нейросетевого детектирования, трекинга, описания объектов в видеопотоке и их последующего анализа" (договор №9ГРЦПС9-D2/56079 от 18.12.2019) (заключительный)

Отчет 538 c., 153 рис., 88 табл., 158 источников, 21 прил. ДЕТЕКТИРОВАНИЕ ОБЪЕКТОВ, ТРЕКИНГ ОБЪЕКТОВ, НЕЙРОННЫЕ СЕТИ, КОМПЬЮТЕРНОЕ ЗРЕНИЕ, МАШИННОЕ ОБУЧЕНИЕ, ГЛУБОКОЕ ОБУЧЕНИЕ, РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ, РАСПРЕДЕЛЁННАЯ АРХИТЕКТУРА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ, КЛИЕНТ-СЕРВЕРНАЯ АРХИТЕКТУРА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ Объект исследования: кадры видеопотока. Предмет исследования: детектирование и трекинг событий и объектов на кадрах видеопотока с использованием методов компьютерного зрения и машинного обучения. Цель работы: разработка универсальной платформы, позволяющей создавать системы интеллектуального видеонаблюдения на основе глубокого обучения, задачей которых является детектирование, трекинг и описание событий и объектов на кадрах видеопотока. Результаты работы: 1. Выполнены теоретические и экспериментальные исследования методов, применяемых в работе нейросетевого алгоритма трекинга объектов на кадрах видеопотока, в ходе которых был отобран метод детектирования YOLOv4-tkDNN с наилучшим сочетанием качества, производительности и требовательности к ресурсам, а также несколько конфигураций алгоритма трекинга: конфигурация алгоритма трекинга, совместно использующая фильтр Калмана с коррекцией детекций и сдвиг по вектору скорости для предсказания движения (качество по метрике MOTA на тестовых данных составляет 0,3808); нейросетевой метод с применением косинусного расстояния между векторами графических признаков, извлечённых из ограничивающих окон объектов на изображении или карте признаков, которая может быть получена с промежуточного слоя нейросетевой модели детектора (качество по метрике MOTA на тестовых данных составляет 0,3783). 2. Разработана архитектура и программная реализация нейросетевого алгоритма трекинга множества объектов на кадрах видеопотока в режиме реального времени, с помощью которого возможна гибкая настройка как основных методов, так и их параметров, что может применяться для экспериментов, тестирования и эксплуатации решения; алгоритм позволяет добиться производительности от 9,2 кадров в секунду на один видеопоток при одновременной обработке до четырёх видеопотоков с разрешением кадра 1920 на 1080 пикселей на одной виртуальной машине Microsoft Azure с графическим ускорителем Nvidia Tesla T4. 3. Спроектирована и разработана распределённая архитектура серверной части платформы, представляющая собой облачный сервис, интегрированный с инфраструктурой, предоставляемой облаком Microsoft Azure; предложенная архитектура обладает преимуществами интеграции, поддерживает парадигму клиент-серверной организации частей платформы и позволяет динамически распределять нагрузку между горизонтально масштабируемыми вычислительными узлами. 4. Разработаны приложения клиентской части платформы, включающие в себя десктопное приложение для демонстрации функциональных возможностей и web-приложение, представляющее собой многопользовательский SaaS-сервис Visius, ориентированный на решение бизнес-задач в сфере ритейла; web-сервис Visius представляет собой законченный коммерческий продукт, обеспечивающий решение бизнес-задач с помощью функционала разработанной платформы. Основные характеристики: – Разработанная платформа представляет собой клиент-серверное приложение с распределённой архитектурой серверной части и несколькими клиентскими приложениями: десктопное приложение для демонстрации основных возможностей и web-приложение Visius для решения пользовательских бизнес-задач в сфере ритейла. – Серверная часть платформы развёрнута на базе облачной инфраструктуры Microsoft Azure и имеет в своём составе следующие модули: модуль ре-стриминга, модуль ядра, модуль обработки данных, модуль синхронизации данных, модуль агрегации данных, модуль оркестрации, модуль управления пользовательскими данными; а также активно использует сервисы Azure Media Services, Azure Service Bus, Azure PostgreSQL Server и Azure BLOB Storage. – Реализованный нейросетевой алгоритм трекинга множества объектов в видеопотоке составляет основу функционирования модуля ядра платформы, которое развёрнуто на виртуальных машинах Microsoft Azure с графическим ускорителем Nvidia Tesla T4 и позволяет добиться производительности от 9,2 кадров в секунду на один видеопоток при одновременной обработке до четырёх видеопотоков с разрешением кадра 1920 на 1080 пикселей. Степень внедрения: получено 4 свидетельства о государственной регистрации программы для ЭВМ - имеется 4 акта внедрения, осуществлён запуск SaaS-платформы Visius, сайт продукта доступен по ссылке: https://visius.ai/. Итоги внедрения: 1. Запущена SaaS-платформа Visius, доступная по ссылке: https://visius.ai/. 2. Проведено внутреннее тестирование, приняло участие 10 пользователей, которыми было проанализировано 677 часов видеоматериалов. 3. Проведено внешнее тестирование, получено 37 заявок от российских компаний: от Москвы до Южно-Сахалинска. По его итогам готовятся к заключению 2 договора на пользование сервисом. Область применения: основной областью применения результатов является сфера ритейла для более быстрого и экономного подбора локаций при открытии новых торговых точек, а также для оптимизации расходов ресурсов существующими точками. Помимо обозначенной области применения, результаты также могут быть использованы для решения задач других сфер: технологии умного города, социологические исследования, дорожное строительство, видеобезопасность и др. Экономическая эффективность или значимость работы: рассчитанная оценка ожидаемой экономической эффективности внедрения результатов составляет 4 млн. рублей в год для торговой сети среднего бизнеса, открывающей около 50 объектов в год. Объекты интеллектуальной собственности, полученные в результате выполнения работы: 1. Свидетельство о государственной регистрации программы для ЭВМ №2020663821: Распределённая платформа нейросетевого детектирования, трекинга, описания объектов в видеопотоке и их последующего анализа Visius Core. 2. Свидетельство о государственной регистрации программы для ЭВМ №2021612545: Модуль нейросетевого детектирования объектов Visius Detection. 3. Свидетельство о государственной регистрации программы для ЭВМ №2021612547: Модуль кастомизации способов проверки качества входных данных для видеоаналитики Visius Analytics. 4. Свидетельство о государственной регистрации программы для ЭВМ №2021612546: Модуль визуализации данных по анализу трафика пешеходов и легковых автомобилей Visius Reporting. Прогнозные предположения о развитии объекта исследования связаны с непрерывным улучшением модели детектирования путём внедрения постоянно обновляющихся открытых результатов исследований; улучшением качества трекинга путём исследований новых методов извлечения признаков, а также доработки модели долгой краткосрочной памяти для предсказания движения и оптимизации её работы; проведением исследований и внедрением атрибутов объектов, в число которых будет входить пол и возраст человека. В соответствии с техническим заданием и календарным планом выполнения НИОКР поставленные цели были успешно достигнуты в полном объёме.