«Разработка и тестирование прототипа программы для распознавания огня и дыма в реальном времени на видеопотоке с устройств видеонаблюдения» (договор №282ГС1ЦТС10-D5/80192 от 24.10.2022) (заключительный)

Цели работ в рамках первого и второго этапа НИОКР по договору: • получение датасета из изображений с огнем и дымом в разных ракурсах и в разных локациях; • разработка прототипа программы распознавания огня и дыма в реальном времени на видеопотоке с устройств видеонаблюдения с интерфейсом для двух камер. • техническая реализация в прототипе использования нескольких потоков процессора для одновременной обработки изображения на разных этапах работы программы. • разработка интерфейса для работы с разным количеством камер. • разработка распределенной системы идентификации огня на видеопотоках. • разработка алгоритма и дополнение прототипа программным модулем отсечения картинок, похожих на предыдущие. • тестирование и доработка прототипа программы распознавания огня и дыма в реальном времени. Результатом работ по первому этапу НИОКР стал датасет на 27421 изображений, выбрана архитектура нейросети (далее НС), проведено обучение НС на полученном датасете. Разработан прототип программы распознавания огня и дыма в реальном времени на видеопотоке с устройств видеонаблюдения для четырёх камер. Разработанный прототип обладает высокой степенью распараллеливания при выполнении, необходимой для одновременной обработки до 4-х видеопотоков. Прототип показывает быстродействие на уровне основных заявленных конструктивных, технологических и технико-эксплуатационных характеристик. Метрика mAP показала результаты для IoU threshold = 0,5 ~ 70%, для 0,3 – ~85%. Работы первого этапа НИОКР успешно выполнены. Результатом работ по второму этапу НИОКР стала распределенная система идентификации огня на видеопотоках. Разработан алгоритм, прототип программы дополнен программным модулем отсечения картинок, похожих на предыдущие. Протестирован и доработан прототип программы распознавания и огня и дыма в реальном времени. Релиз программы соответствует характеристикам, указанным в техническом задании на разработку. Процент удачных (верных) распознаваний при разрешении камеры 640*480 – 83,8%, 1920*1080 – 99,98%. Работы второго этапа НИОКР успешно выполнены, проведено успешное пилотное тестирование программы. Разработанная в ходе НИОКР программа «Оберег Плюс. Распознавание возгораний и задымлений» рекомендована к внедрению в городской среде, на промышленных площадках, складах большой площади, пожароопасных предприятиях, социально-значимых объектах. Прогнозные предположения о развитии объекта исследования: программа практически готова для интеграции с АПК "Безопасный город". Подготовлена инфраструктура для горизонтального и вертикального масштабирования, готовы механизмы интеграции с внешними системами. В будущем необходимо расширять функционал: - интеграция с геосистемами; - решение задачи привязки к местности очагов возгорания по видеозаписям с БПЛА без геотэгов; - возможность формирования как автоматически, так и вручную маршрутов патрулирования территории БПЛА в соответствии с характеристиками территории; - возможность формирования видеоотчётов в виде последовательных переходов камер от одной ориентации съемки к другой с заданием последовательностей PTZ команд видеокамерам для детализации просмотра; - представление пользователю текущей ориентации камеры относительно севера (азимут) и указания направления на карте местности; - представления информации о местоположении видеокамер и их текущей ориентации на карте; - расчёт и отображение профиля рельефа местности в направлении взгляда камеры для определения расстояния до потенциально опасного объекта с одной камеры; - возможность добавления дополнительных пользовательских карт и схем местности в графическом формате для отображения видеокамер и статистики на них; - хранение и отображение архивных данных с предоставлением информации об ориентации камеры в момент получения архивных данных на интерактивной карте. В результате НИОКР была подана заявка на регистрацию программы для ЭВМ «Оберег Плюс. Распознавание возгораний и задымлений»