ОТЧЕТ о выполнении НИОКР по теме: «Разработка и тестирование прототипа программно-аппаратного комплекса автономной системы многоракурсного нейросетевого анализа для автоматизации контроля производственных процессов, выполняемых руками.» (договор №142ГС1ИИС12-D7/79659 от 08.09.2022) (заключительный)

Отчет 172 с., 31 рис., 2 табл., 3 источн., 5 прил. АВТОМАТИЗАЦИЯ КОНТРОЛЯ ДЕЙСТВИЙ СОТРУДНИКОВ, АВТОМАТИЗАЦИЯ КОНТРОЛЯ ПРОИЗВОДСТВЕННЫХ ПРОЦЕССОВ, МНОГОРАКУРСНАЯ СИСТЕМА ВИДЕОНАБЛЮДЕНИЯ С АВТОМАТИЧЕСКОЙ КАЛИБРОВКОЙ, НЕЙРОСЕТЕВОЙ АНАЛИЗ РУЧНОГО ТРУДА, ГЕНЕРАЦИЯ СИНТЕТИЧЕСКИХ ДАННЫХ, ДООБУЧЕНИЕ НЕЙРОСЕТЕВОЙ МОДЕЛИ Объектом исследования являются способы и методы определения расположения и перемещения рук человека в пространстве в процессе выполнения им рабочих задач, включающие в себя возможность собирать и объединять информацию с разных ракурсов наблюдения, автоматически калибровать систему стерео-видеокамер, и на основе гибридного анализа (нейросетевого и статистического) собранной информации давать оценки действий человека руками и правильности выполнения им этапов технологического процесса. Цель работы - разработка прототипа программно-аппаратного комплекса автономной системы многоракурсного нейросетевого анализа для автоматизации контроля производственных процессов, выполняемых руками. Основные технологические и технико-эксплуатационные показатели: 1) количество поддерживаемых прототипом камер: от 2 до 3 стереокамер; 2) минимальная длительность "узнаваемого" жеста, действия или события: не более 1 секунды; 3) предел рабочей зоны - от 20 см до 3 метров; 4) количество ключевых точек при распознавании кисти человека - 21; 5) количество ключевых точек при распознавании тела человека - 32; 6) количество "узнаваемых" жестов - не менее 16; 7) время подстройки многоракурсной системы по видимым ключевым точкам (автокалибровка) - не более 1 секунды; 8) объем датасета для дообучения детекторов рук для работы в различных условиях освещенности, расположения и удаленности в пространстве относительно камеры: не менее 12 000 образцов для обучения. 9) точность распознавания жестов - 90%; точность определения статуса наблюдаемых действий: 90%; ошибка первого рода при распознавании жестов: 5%; ошибка определения статуса наблюдаемых действий: 5%; ошибка второго рода при распознавании жестов: 5%; ошибка второго рода при определении статуса наблюдаемых действий: 5% Возможные области применения разработанного ПАК – предприятия, где применяется ручной труд: 1) добывающие и обрабатывающие ювелирные предприятия; 2) сборочные производства ручной сборки; 4) упаковочные линии ручной упаковки. Внедрение этой системы позволит повысить качество выполнения технологических процессов, выполняемых руками, снизить риски утраты товарно-материальных ценностей, а также повысить эффективность работы службы безопасности предприятия. Созданный прототип ПАК и экосистема (сервер, видеохранилище), в которой работает программное обеспечение прототипа, обладают всеми особенностями для создания полноценной системы автоматизации контроля процессов, выполняемых руками, на целом предприятии со множеством рабочих мест и производственных линий. Разработанный с применением авторской методики (для усовершенствования процесса оцифровки действий человека по ключевым точкам скелета и рук) прототип программного обеспечения наряду с автокалибруемой многоракурсной системой стереокамер обладает наилучшими числовыми характеристиками и показателями по полноте и точности снимаемых данных среди прочих детекторов ключевых точек доступных для использования. В результате выполнения НИОКР подана заявка в РОСПАТЕНТ и получено свидетельство о государственной регистрации программы для ЭВМ «Программный комплекс автономной системы многоракурсного нейросетевого анализа для автоматизации контроля производственных процессов, выполняемых руками» Работа выполнена полностью в соответствии с техническим заданием и календарным планом.