НАУЧНО-ТЕХНИЧЕСКИЙ ОТЧЁТ О РАЗРАБОТКЕ И ТЕСТИРОВАНИИ ПРОТОТИПА ПОДСИСТЕМЫ АВТОМАТИЧЕСКОЙ ЛОКАЛИЗАЦИИ В ПРОСТРАНСТВЕ СТРОИТЕЛЬНОЙ ПЛОЩАДКИ ПАНОРАМНЫХ СНИМКОВ, ФОТОГРАФИЙ И ВИДЕОПОТОКА С ВИДЕОКАМЕР. Разработка формирования реперной модели строительного объекта и локализации панорам: Развёртывание компонентов прототипа на сервере. Разработка пользовательского интерфейса загрузки реперных панорам. Разработка службы управления очередями по формированию реперных моделей. Разработка алгоритма формирования реперной модели на основе точек на плане и мультимасштабной локализации изображений. Тестирование подсистемы прототипа. Анализ результатов испытаний и сбор требований для доработки. (Промежуточный)

В промежуточном отчёте представлены результаты НИОКР, выполненной на 1 этапе договора №4070ГС1/68573 «Разработка и тестирование прототипа подсистемы автоматической локализации в пространстве строительной площадки панорамных снимков, фотографий и видеопотока с видеокамер.» от 21 июня 2021 года Проект №68573, заявка С1-100851 в рамках реализации инновационного проекта «Разработка интеллектуальной системы визуального контроля и оптимизации производственных процессов строительства и реконструкции зданий и инженерных сооружений в режиме реального времени». Цель работы. Целью НИОКР является разработка и тестирование прототипа подсистемы автоматической локализация в пространстве строительной площадки панорамных снимков, фотографий и видеопотока с видеокамер. Целью первого этапа является: 1. Нахождение оптимального (с точки зрения выборочной базы изображений) алгоритма создания реперной модели строительной площадки путём: a. нахождения характеристических точек, а также критериев выделения значимых характерных точек. b. сопоставления характерных точек на отдельных изображениях с целью построения их пространственных треков. c. определения относительного положения каждого изображения в пространстве на основе анализа пространственных координат характерных точек. d. построения общей пространственной модели строительного объекта на основе сопоставления различных последовательностей изображений с определенными относительными положениями 2. Программная реализация найденного алгоритма создания реперной модели строительной площадки. Объектом разработки является прототип подсистемы автоматической локализации в пространстве строительной площадки панорамных снимков, фотографий и видеопотока с видеокамер. Работа выполняется методом разработки программного обеспечения на языках C#, Javascript и Python с применением инструментов: RabbitMQ и OpenCV. В результате разработки впервые создана подсистема локализации изображений в пространстве строительной площадки площадью более 10 000 м2 на базе не менее 100 панорамных снимков, выполняющая формирование реперной модели до 1 часа. Подсистема поддерживает оборудование: панорамная, камера. Подсистема корректно обрабатывает изображения с показателем Гауссова размытия (резкости) более 100, полученных при освещённости не менее 100 лк. Обнаружено, что при меньших показателях освещённости и Гауссова размытия также выполняется корректная обработка панорам, но точность локализации может уменьшаться в связи с тем, что на смазанных и затемнённых участках обнаруживается меньше характеристичных точек, с помощью которых выполняется локализация в пространстве. Степень внедрения – апробация на строительном объекте многоквартирного дома. В результате внедрения результатов НИОКР упрощён процесс построения модели строительной площадки из панорамных снимков. Область применения: строительство, реконструкция и ремонт. Подсистема аккумулирует и локализует в пространстве панорамные снимки от заинтересованных лиц и сокращает трудозатраты на архивирование и документирование фотофактов на стройке до нуля. Экономия от этого внедрения составляет от 2 человеко-часа после каждой съёмки. В случае ежедневной съёмки в течение 1 месяца экономия по одному проекту составит более 5 человеко-дней. Благодаря простому методу съёмки панорам на стройку, подсистема упрощает внедрение и является развитием существующих методов сбора фотофактов со стройки с уклоном на централизацию. Запланированный объем работ по данному этапу выполнен полностью. В результате работ по данному этапу выполнено: - Развёрнуты компоненты прототипа на сервере. - Разработан пользовательский интерфейс загрузки реперных панорам. - Разработана служба управления очередями по формированию реперных моделей. - Разработан и реализован алгоритм формирования реперной модели на основе точек на плане и мультимасштабной локализации изображений. - Проведено тестирование подсистемы прототипа. - Проведён анализ результатов испытаний и собраны требования для доработки. Дальнейшее развитие подсистемы на втором этапе состоит в следующем: 1. Сбор в системе фотографий и видеофрагментов с разных устройств. 2. Передача в подсистему фото и видеофактов через систему коммуникации Telegram. 3. Локализация в пространстве и вывод в интерфейсе СфераСайт локализованных фотографий и видеофрагментов.