Разработка и тестирование прототипа программы реконструкции трехмерной модели по изображениям

Целью работы: разработать и протестировать прототип программы реконструкции трехмерной модели по изображениям, позволяющий моделировать детализированные трехмерные модели из набора двумерных изображений и превосходящий конкурентные аналоги, разработать экспериментальную базу данных, разработать прототип пользовательского интерфейса, разработать структуру входных и выходных данных, а также разработка проектной документации. Разрабатываемый прототип программы реконструкции трехмерной модели по изображениям может синтезировать/генерировать 3D объекты из 2D изображений или видео(при разбиении на таймфреймы) с сохранением узнаваемости, для воссоздания трехмерных сцен и их стилей на основе двухмерных изображений и видео, создавать детальные 3D-рендеры локаций с возможностью обзора под различными углами зрения. Прототип программы реконструкции трехмерной модели по изображениям обладает следующими количественными параметрами: -возможностью загрузки для предообработки до 60 изображений 2D; -возможностью рендеринга изображения в двух режимах, при этом время реконструкции изображения с использованием видеопроцессора NVIDIA V100 GPU не превышает 1 дня; -допускаются различные размеры входного изображения с размерами, не превышающими 1008*756 пикселей; -выходная модель должна имеет разрешение не менее 128 вокселей (или 128×128×128 пикселей); -значение метрики LPIPS ("расстояние" между реальным и сгенерированным объектами) не превышает 0.25 на тестовых образцах; -значение метрики PSNR(отношение сигнала к шуму) превосходит значение 13 на тестовых образцах; Для успешного функционирования прототипа программы реконструкции трехмерной модели по изображениям загрузка 2D изображений должна осуществляться в форматах .JPEG, .PNG, .GIF . В результате выполнения своих функций прототип программы реконструкции трехмерной модели по изображениям выдает трехмерное облако точек водном из форматов .STL, .OBJ, .DAE. В результате выполнения работ над проектом были достигнуты все заявленные научно-технические цели. Качество полученных объектов не уступают результатам, полученным с помощью других методов, в частности, метода лазерного сканирования или фотограмметрии и превосходит имеющиеся алгоритмы, созданные на основе нейронных сетей, в частности такие алгоритмы, как NV(Neural Volumes), LLIF(Local Light Field Fusion) и SRN(Scene Representation Networks). В то же время, наряду, с такими преимуществами построенной нами модели, как высокое качество, низкая стоимость оборудования для получения данных имеется и ряд недостатков. Так в сравнении с имеющимися коммерческими продуктами по фотограмметрии 3DF Zephyr, RealityCapture, Agisoft Metashape последние обладают значительно более высокой скоростью обработки данных, при этом качество реконструируемого объекта падает незначительно. Построенная нейронная модель опирается на координаты камер, которые получены с помощью алгоритмов, лежащих в основе фотограмметрических продуктов, что означает определенную зависимость построенной нами модели от базовых классических алгоритмов, которые уже достигли определенного потолка производительности. С другой стороны, в отличии, от фотограмметрических алгоритмов прототип программы на основе нейронных сетей может обрабатывать изображения, имеющие плохое качество, например, с излишним затемнением или засвеченностью (при применение состязательных нейронных сетей). Рынок трехмерного моделирования имеет огромный потенциал развития. На этом рынке происходят покупки и слияния компаний. Одной из последних многомиллиардных покупок стала покупка компанией Epic Games, специализирующейся на разработке игровых программ, компании, чьи алгоритмы и разработки основаны на теории фотограмметрии и лазерного сканирования RealityCapture. Это указывает на перспективность рынка трехмерной реконструкции и возможности получить определенную долю на рынке за счет инновационных решений и, в частности, использование нейронных сетей на основе которых построен наш прототип реконструкции трехмерных изображений. Полученный нами программный продукт имеет определенные перспективы коммерческого внедрения, но в силу указанных выше недостатков настоящее время не может на равных конкурировать с передовыми решениями западных компаний. На данном этапе развития вычислительных мощностей коммерческая обработка трехмерных объектов является менее рентабельной, чем применение классических подходов к трехмерному рендерингу. Одним из решений, позволяющих конкурировать на рынке может являться, как удешевление вычислительных ресурсов, так и оптимизация и разработка новых алгоритмов. Также, для полноценного внедрения необходимо проведение маркетинговых мероприятий. На данном этапе, разработанный программный прототип может использоваться: —для восстановления облика объектов или ландшафтов; — для проектирования реконструкции, реставрации зданий и сооружений и для приспособления их под современные нужды с применением современных средств проектирования в 3D средах; — для проектирования дизайна помещений; — для контроля построенного здания на соответствие проектной документации, если проект был подготовлен в 3D; — для проектирования облицовки фасадов; — для построения информационной модели здания (Building Information Model) с целью максимальной оптимизации процесса эксплуатации этого здания; — для создания и проведения видеотуров по продаваемым, сдаваемым в аренду помещениям; — для создания и проведения видеотуров по музеям и достопримечательностям; — для многих других целей.