Разработка распределённой облачной платформы Visius для нейросетевого детектирования, трекинга, описания и интеллектуального анализа объектов в видеопотоке. (заключительный)

Отчет 182 c., 41 рис., 27 табл., 44 источника, 4 прил. ДЕТЕКТИРОВАНИЕ ОБЪЕКТОВ, ТРЕКИНГ ОБЪЕКТОВ, НЕЙРОННЫЕ СЕТИ, КОМПЬЮТЕРНОЕ ЗРЕНИЕ, РАСПОЗНАВАНИЕ ОБРАЗОВ, МАШИННОЕ ОБУЧЕНИЕ, ГЛУБОКОЕ ОБУЧЕНИЕ, РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ, ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ Объект исследования: кадры видеопотока. Предмет исследования: детектирование и трекинг событий и объектов на кадрах видеопотока с использованием методов компьютерного зрения и машинного обучения. Цель работы: развитие распределённой платформы нейросетевого детектирования и трекинга Visius в направлениях расширения функционала для интеллектуального описания объектов в видеопотоке и масштабирования архитектуры облачного сервиса для повышения отказоустойчивости и формирования более гибкой ценовой политики. Цель этапа: доработка алгоритмов распознавания пола и возраста, алгоритмов создания индивидуальных отпечатков объектов по графическим признакам, разработка и разметка обучающей выборки, разработка модифицированного ядра платформы с экспериментальными функциями, разработка программы и методики испытаний модифицированного модуля ядра платформы и проведение стендовых испытаний, а также разработка технической документации на модули платформы. Метод и методология проведения работы: теоретический и экспериментальный. Результаты работы: – Разработана собственная доработанная версия алгоритмов распознавания пола и возраста людей на видеопотоке, использующая признаки силуэта и движения, что значительно расширяет сферу и условия её применимости. Обновлённая версия использует модель сегментации людей MobileSeg на изображениях ограничивающих окон, построение GEI-изображения на основе масок сегментов треклета, свёрточную нейронную сеть на базе архитектуры ResNet50 с двумя выходами для одновременной классификации пола и категории возраста, метод агрегации результатов распознавания на основе всей истории существования объекта в видеопотоке. Предложенный конвейер методов обеспечивает качество распознавания пола, равное 0,89 по мере F1, и качество распознавания категории возраста, равное 0,74 по мере F1. – Разработана собственная доработанная версия алгоритмов создания индивидуальных отпечатков объектов по графическим признакам для повторного распознавания, работающая с данными, приближенными к наиболее общим условиям съёмки. Предложенная версия алгоритмов включает в себя полученную методом переноса обучения нейросетевую модель MLFN для извлечения графических признаков из треклетов объектов, косинусное расстояние в качестве дескриптора схожести для отбора кандидатов из галереи и метод агрегации взвешенного среднего для принятия окончательного решения на основе всей истории существования объекта в видеопотоке. Реализованный подход обеспечивает качество решения задачи повторного распознавания объектов, равное 0,98 по метрике CMC с рангом 1. – Доработанные алгоритмы распознавания пола и возраста, а также создания индивидуальных отпечатков объектов по графическим признакам для повторного распознавания внедрены в работу модуля ядра распределённой платформы. Модульный подход к реализации позволяет легко поддерживать и модифицировать новые компоненты, а широкие возможности конфигурирования позволяют устанавливать гибкую ценовую политику для пользователей платформы. – Проведены эксперименты, позволившие выявить улучшенный дескриптор схожести между ограничивающими окнами объектов Aspect Ratio Consistency в алгоритме трекинга ядра платформы, учитывающий соотношение размеров объектов и уменьшающий относительную погрешность в задаче подсчёта количества посещающих сцену объектов на 3,25 %. – Тестирование алгоритма трекинга множества объектов, функционирующего в модуле ядра платформы, совместно с предложенным алгоритмом повторного распознавания, выявило пути его дальнейшего улучшения через управление признаками в галерее на основе определения качества ограничивающих окон, на базе которых они рассчитываются. – Выполнена разработка расширенной обучающей выборки, позволившая создать нейросетевые алгоритмы, учитывающие особенности данных, загружаемых пользователями на платформу. – Разработана программа и методика испытаний модуля ядра платформы с внедрёнными в его работу новыми функциями. Проведение испытаний позволило как отобрать наилучшие методы и их параметры для функционирования доработанных алгоритмов, так и улучшить общее качество всего конвейера видеоаналитики, реализованного в платформе. – Разработана техническая документация для системного администратора на обновлённый модуль ядра распределённой платформы. Полученные результаты позволяют заключить, что поставленная цель этапа выполнения НИОКР достигнута в полном объёме.