Тестирование различных пайплайнов обучения глубоких нейросетевых моделей и валидация собранных данных на разработанных пайплайнах

Использование технологий искусственного интеллекта (ИИ) для анализа производственных и эксплуатационных процессов позволяет существенно сократить время и усилия, затрачиваемые на изготовление продукции, а также позволяет минимизировать риски, связанные с самим технологическим процессом, и повысить уровень безопасности на производстве. Одним из сдерживающих факторов при создании систем видео аналитики является потребность в специализированных наборах данных, содержащих примеры осуществляемых производственных и эксплуатационных процессов, целевых объектов мониторинга и событий. Объекты и события должны содержать атрибуты, позволяющие проводить дифференциацию по классам / состояниям. В связи с ограниченностью качественных аннотированных наборов данных, на первом Этапе реализации Работ планируется сбор фрагмента уникального набора данных, который в дальнейшем будет использован для обучения базисной отраслевой модели (БОМ) в составе фреймворка интеллектуального мониторинга безопасности производственных и эксплуатационных процессов. Помимо подготовки набора изображений/видео будет проведена их частичная аннотация с выделением актуальных классов объектов и событий. Также планируется проведение анализа существующих открытых наборов данных, оценка возможности их дальнейшего использования и приведение данных к общему формату. Вторым сдерживающим фактором для успешного внедрения технологий на основе ИИ в системы мониторинга безопасности производственных и эксплуатационных процессов является необходимость разработки специализированных высокоточных алгоритмов с возможностью функционирования в режиме близком к реальному времени. На втором Этапе будет проведена разработка нейросетевых алгоритмов для детекции целевых объектов, а также определения этапов производственных процессов и выявления целевых событий. Оценка алгоритмов будет включать в себя качественную оценку распознавания объектов и событий и оценку быстродействия для возможности использования разработок в режиме реального времени. Будет проведено сравнение алгоритмов до и после предобучения на неразмеченном наборе данных, в частности, будут проведены эксперименты с моделями на основе визуальных трансформеров. Научная новизна работ заключается в формализации задачи для разработки БОМ, в построении и тестировании эффективных пайплайнов предварительной обработки и систематизации видео-данных для построения БОМ, а также в непосредственном улучшении работы архитектур при тонкой настройке на размеченных данных. В рамках научно-исследовательских работ будет проверена гипотеза о возможности разработке алгоритмов необходимого качества на малых наборах аннотированных данных.