Разработка и тестирование прототипа системы управления жестами, распознавания и захвата движений группы людей на основе инфракрасных камер

Заключительный научно - технический отчет состоит из 101 страницы, на которых размещены 14 иллюстраций и 1 таблица. Отчет состоит из титульного листа, реферата, содержания, нормативных ссылок, определений, обозначений и сокращений, введения, 11 основных разделов, заключения, списка использованных источников и 8-ми приложений. Ключевые слова: захват движений, трекинг объектов,  виртуальная реальность, российский аппаратный комплекс, интерфейс обратной связи, ИК, нейросеть, смешанная реальность, фотограмметрия. Цели НИОКР 1–го года: - Разработка модуля распознавания объектов для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Разработка модуля распознавания опорно-двигательной системы человека для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Тестирование разработанной модуля распознавания опорно-двигательной системы человека на погрешности создаваемых при различных условиях освещённости и слепых зонах камер для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Разработка модуля распознавания и захвата движений группы людей на основе инфракрасных камер в прототипе системы управления жестами, распознавания и захвата движений группы людей; - Разработка модуля расшифровки жестов на основе полученных данных о движениях человека в прототипе системы управления жестами, распознавания и захвата движений группы людей; - Разработка системы 6-ти осевого позиционирования людей и объектов в пространстве в прототипа системы управления жестами, распознавания и захвата движений группы людей;                                        - Разработка десктоп - приложения для пользователей персональных компьютеров, для управления камерами и просмотра аналитики поступающих данных инфракрасных камер для прототипа системы управления жестами, распознавания и захвата движений группы людей;                                - Тестирование разработанной системы на точность позиционирования и распознавания группы людей на основе инфракрасных камер для прототипа системы управления жестами, распознавания и захвата движений группы людей;                                              - Разработка модуля визуализации людей и объектов в 3D пространстве в прототипе системы управления жестами, распознавания и захвата движений группы людей;                                                                 - Разработка программного интерфейса приложения, интерфейса прикладного программирования (sdk) для интеграции созданных модулей в кроссплатформенный игровой движок Unity для прототипа системы;                   - Проведение нагрузочного тестирования прототипа системы управления жестами, распознавания и захвата движений группы людей, для выявления критического числа распознаваемых людей, объектов и визуального потока данных на проекционные системы. Для достижения вышеописанных целей были решены следующие задачи: - Разработан модуль распознавания объектов для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Разработан модуль распознавания опорно-двигательной системы человека для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Проведено тестирование разработанного модуля распознавания опорно-двигательной системы человека на погрешности создаваемых при различных условиях освещённости и слепых зонах камер для прототипа системы управления жестами, распознавания и захвата движений группы людей; - Разработан модуль распознавания и захвата движений группы людей на основе инфракрасных камер в прототипе системы управления жестами, распознавания и захвата движений группы людей; - Разработан модуль расшифровки жестов на основе полученных данных о движениях человека в прототипе системы управления жестами, распознавания и захвата движений группы людей; - Разработана система 6-ти осевого позиционирования людей и объектов в пространстве в прототипе системы управления жестами, распознавания и захвата движений группы людей;                                        - Разработано десктоп - приложение для пользователей персональных компьютеров, для управления камерами и просмотра аналитики поступающих данных инфракрасных камер для прототипа системы управления жестами, распознавания и захвата движений группы людей;                                 - Проведено тестирование разработанной системы на точность позиционирования и распознавания группы людей на основе инфракрасных камер для прототипа системы управления жестами, распознавания и захвата движений группы людей;                                               - Разработан модуль визуализации людей и объектов в 3D пространстве в прототипе системы управления жестами, распознавания и захвата движений группы людей;                                                                 - Разработаны программный интерфейс приложения, интерфейс прикладного программирования (sdk) для интеграции созданных модулей в кроссплатформенный игровой движок Unity для прототипа системы;                   - Проведено нагрузочное тестирование прототипа системы управления жестами, распознавания и захвата движений группы людей, для выявления критического числа распознаваемых людей, объектов и визуального потока данных на проекционные системы. Таким образом, все поставленные задачи были выполнены в объеме, соответствующем календарному плану и техническому заданию.