ОТЧЕТ О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ по теме: Разработка прототипа интерактивной системы визуализации распределенных данных на базе технологии дополненной реальности с использованием машинного обучения

Объектом исследования является компьютерное зрение, метод искусственного интеллекта, в направлении исследования «машинное обучение». Целью первого этапа НИОКР является разработка прототипа интерактивной системы визуализации распределенных данных на базе технологии дополненной реальности с использованием машинного обучения, проведение испытаний алгоритмов фильтрации дублированных кадров, выделения объекта на изображении, ресайза для прототипа интерактивной системы визуализации данных и исследование применимости разрабатываемого прототипа интерактивной системы визуализации распределенных данных на базе технологии дополненной реальности с использованием машинного обучения технологии в сфере услуг. В соответствии с графиком проведения экспериментов алгоритма фильтрации дублированных кадров работы по проведению экспериментов выполнены в планируемые сроки. Таким образом, каждый эксперимент по своей сути является группой экспериментов, которая позволяет охватить большой массив фотоматериалов и получить большой объем данных показателей работы алгоритма. Результаты работы в рамках первого этапа НИОКР: 1. Разработан прототип интерактивной системы визуализации распределенных данных на базе технологии дополненной реальности с использованием машинного обучения. В процессе экспериментальных исследований были выбраны три объекта для реализации алгоритма фильтрации дублированных кадров. Первым был алгоритм по пиксельного сравнения двух изображений. Второй - это сравнение набора фичь. Третий алгоритм - перцептивный хэш. Преимуществами и целевым ориентиром для принятия решения в дальнейшем использовании алгоритма перцептивный хеш стала скорость работы и нечувствительности к освещенности изображения. Основой для проведения исследования стали методы разработки алгоритма компании IBM (Robust and Efficient Video Scene Detection Using Optimal Sequential Grouping). В процессе работы методология была доработана под запланированные в рамках НИОКРа потребности. Видеосъёмка объекта с частотой кадров 60 fps, объект был снят в солнечный день с уровня глаз человека. Частота кадров 60 fps позволяет получить большое количество кадров при среднем времени съемки 2 минуты, мы получаем: 2 * 60 * 60 = 7200 кадров на один объект. 2. Проведены испытания алгоритмов фильтрации дублированных кадров, выделения объекта на изображении, ресайза для прототипа интерактивной системы визуализации данных. Для реализации данного функционала командой было выбрано три алгоритма: пиксельное сравнение двух изображений, сравнение изображений на основе вектора опорных точек и алгоритм с использованием перцептивного хэша. Алгоритм по пиксельного сравнения работает медленнее алгоритма, основанного на сравнении векторов опорных точек изображения с различными метриками нахождения расстояния между векторами, а самый быстрый алгоритм — это алгоритм на основе перцептивного хеша. По этой причине и основываясь на данных экспериментов был выбран алгоритм поиска дублей изображений в видеопотоке на основе перцептивного хеша. По скорости работы YOLO проигрывает, но не критично. По количеству ложных срабатываний алгоритм YOLO в несколько раз превосходит алгоритм Topological structural analysis of digitized binary images by border following. Поэтому для нашей системы мы выбираем алгоритм YOLO v4. Каждый алгоритм запускался на одном и том же наборе входных данных, а именно видео с количеством кадров 15 769. В каждом тесте проводится ряд замеров, начиная с 0 кадров и продолжая до 1000 с шагом 100, оценивалось время каждой итерации и строился график зависимости времени от количества кадров. На основании полученных данных оценивается время, которое потребуется для работы алгоритма на полном наборе из 15 769 кадров. Замер времени исполнения алгоритма YOLOv4: Optimal Speed and Accuracy of Object Detection проводился на 100, 200, 300, 400, 500, 600, 700, 800, 900, 1000 изображениях. 3. Проведение исследований применимости разрабатываемого прототипа интерактивной системы визуализации распределенных данных на базе технологии дополненной реальности с использованием машинного обучения технологии в сфере услуг. На текущий момент времени продвижение данной интерактивной системы визуализации распределенных данных на основе дополненной реальности с использованием машинного обучения планируется в сфере услуг – туризм. Перспективными направлениями являются: строительство, рекламный бизнес и ритейл - кинотеатры, автосалоны, театры, музеи и др., медицина, образование. В целом проведенная работа первого этапа оценивается как успешная. Успешность поставленных задач также подтверждается итоговыми протокольными испытаниями Однако требуется глубокая доработка в качестве распознавания объектов. Необходимо разработать более нативный для пользователя интерфейс, позволяющий работать с приложением. Требуется создание руководства пользователя. Данная работа позволила определить неограниченный круг применения предложенного продукта и последующей его коммерциализации.