Разработка и тестирование опытного образца программного комплекса для разработки мобильных приложений для очков дополненной реальности

Целью проекта, на который запрашивается финансирование, является адаптация для очков дополненной реальности существующей в компаний технологии по разработке приложений дополненной реальности. Наша компания создала уникальный программный комплекс по разработке приложений дополненной реальности с функцией визуальной локализации для мобильных устройств. Локализация производится путем поиска максимально близких по признакам снимков, снятых ранее, и далее вычисления смещения и разворота относительно модели, заранее строящейся из совокупности всех снимков. При этом признаки нового снимка идут на дополнение разряженного облака дополненной реальности (AR Cloud). После локализации приложение выводит поверх снимка метки (объекты дополненной реальности - AR контент), размещенные на сцене в данном ракурсе и с требуемой информацией. При этом используется трекинг позиции телефона на основе совокупности данных от его сенсоров, включая камеру, чтобы обновлять позицию меток на экране при перемещении телефона без постоянной локализации. Периодически может производится повторная локализация по изображениям для сброса ошибки трекинга. Частота повторных локализаций зависит от выполняемого анализа накопленной ошибки трекинга. AR Cloud и AR контент создаются с помощью разработанных нами программ, а именно: • Приложение AС Scanner для съемки с помощью обычных смартфонов/планшетов/смарт-очков с последующей деконструкцией видео для получения AR Cloud. • Приложение AC Object для размещения объектов дополненной реальности в AR Cloud, как с помощью мобильных устройств, так и на компьютерах в admin режиме. • Приложение AC Tourist для навигации и просмотра AR контента на мобильных устройствах. Нами разработаны отдельные приложения и SDK, которые решают следующие задачи взаимодействия с дополненной реальностью: • Позиционирование пользователя, совмещение виртуального и реального пространств с привязкой окружающих AR объектов к реальным местам с точностью 10 см и менее. • Взаимное отслеживание (трекинг) мобильного устройства и попавших в его поле зрения AR объектов и сцен с учетом масштабирования, ракурса, скорости их относительного движения, параллакса при бинокулярном зрении. Все происходит на сервере и частично на гаджете в тысячные доли секунды. • Взаимодействие пользователя и объекта в интерактивном режиме. • Согласованное взаимодействие нескольких пользователей с одним или множеством AR объектов одновременно. Международной организацией OARC (Open AR Cloud Association) на базе нашей технологии был разработан и совершенствуется мировой GeoPose protocol – унифицированный протокол, позволяющий пользователям безопасно использовать технологии дополненной реальности, с учетом всех современных требований конфиденциальности. Ключевыми сценариями индустриального применения смарт-очков, оснащенных нашей технологией, являются: • пуско-наладочные работы; • обслуживание и ремонты (удаленный помощник); • обучение; • навигация; • удаленное обслуживание техники; • строительство и ремонт сооружений; • складская логистика и инвентаризация. Наша компания имеет большой опыт работы в нескольких основных направлениях применения дополненной реальности – навигация, туризм, музеи, выставки, реклама и т.п., но для массового применения дополненной реальности в промышленности, строительстве, транспорте и других сферах цифровизации, необходима доработка и адаптация технологии для очков дополненной реальности, интенсивное внедрение которых произведет переворот в взаимодействии человека и компьютера, реального и виртуального миров.