«Разработка и тестирование прототипа системы машинного зрения для регистрации объемных дефектов в заготовках оптических кристаллов.» (договор №348ГС1ЦТС10-D5/80236 от 12.12.2022) (заключительный)

Отчет 94 с., 1ч., 38 рис., 1 табл., 5 плилож., источн. 12. РАЗРАБОТКА СИСТЕМЫ МАШИННОГО ЗРЕНИЯ НА ОСНОВЕ ГЛУБОКИХ СВЕРХТОЧНЫХ НЕЙРОСЕТЕЙ И МЕТОДОВ ЦИФРОВОЙ ГОЛОГРАФИИ ДЛЯ АВТОМАТИЧЕСКОЙ РЕГИСТРАЦИИ ОБЪЕМНЫХ ДЕФЕКТОВ И ИХ ХАРАКТЕРИЗАЦИИ В ЗАГОТОВКАХ ОПТИЧЕСКИХ КРИСТАЛЛОВ Ключевые слова: Цифровая голография, дефектоскопия, искусственная нейронная сеть, система машинного зрения Цель НИОКР: Разработка и тестирование прототипа системы машинного зрения для регистрации объемных дефектов в заготовках оптических кристаллов. В ходе выполнения работ были решены следующие научно-технические проблемы: - Подавление когерентных шумов, препятствующих исследованию оптических материалов на наличие дефектов. - Отсутствие автоматизированных приборов дефектоскопии с функцией регистрации объемных дефектов в оптических материалах и способных определять характерные размеры и координаты дефектов. Существует целый ряд оптических материалов, особенно лазерно-активных и нелинейных кристаллов (например, ZGP, KTP, ZnSe и другие) для которых критичным оказывается влияние их объемной дефектной структуры на рабочие характеристики лазерных систем, создаваемых на их основе. Данные кристаллы активно используются для создания лазерных систем способных генерировать мощное излучение в среднем ИК диапазоне. Создаваемая при этом плотность энергии оптического излучения на торцах и внутри кристалла достигает значений 2-5 Дж/см2. Подобные условия требуют особого подхода к оптическому качеству материала в процессе его раскроя на рабочие элементы и последующей аттестации. При данной энергетике воздействующего лазерного излучения не допустимо наличие в объеме кристалла какого-либо рода дефектов, так как они могут являться затравочными неоднородностями для инициализации оптического пробоя. Контроль размеров дефектов, их геометрии и положения в кристалле играет особо важную роль при раскройке заготовок на рабочие элементы, а также могут помочь при выборе методов и режимов модификации свойств материала при пост-ростовой обработке. Имеющиеся на сегодняшний день методы имеют ряд недостатков, которые не позволяют их массово применять при производстве оптических кристаллов. Настоящая работа посвящена разработке программно-аппаратного комплекса с системой машинного зрения на основе глубоких сверхточных нейросетей и методов цифровой голографии. В рамках выполнения проекта был разработан прототип системы машинного зрения который состоит из цифровой голографической камеры, включающей в себя блок лазерного источника излучения, блок записи цифровых голограмм и блок с линейными трансляторами размещенных в одном корпусе и ПК управления. Внешний вид камеры включает в себя сборный корпус, закрепленный на монолитной плите - основании, с отсеком для установки образца, и двух закрытых отсеков с излучающим и передающим модулем. Органы управления и индикаторы состояния выведены в соответствующие панели управления, реализованные программно. Потребляемая мощность прототипа системы машинного зрения -100 Вт, Габариты прототипа системы машинного зрения для регистрации объемных дефектов в заготовках оптических кристаллов составляет 120х30х30 см, вес в сборе 15 кг, Блок лазерного источника излучения - содержит полупроводниковый лазерный модуль генерирующий излучение на длинах волн 1064 мкм и 632 нм с средней мощностью 100 мВт, Блок записи цифровых голограмм содержит ПЗС матрицу (размер пикселя ПЗС матрицы 1,67 мкм, Разрешение ПЗС матрицы 2048x2048 пикселей), Блок с линейными трансляторами для перемещения исследуемого образца содержит трехкоординатные линейные трансляторы, управление перемещением которых осуществляется программно, и площадку для закрепления исследуемого образец. Программное обеспечение содержит следующие модули: Программный модуль удаления когерентных шумов, Программный модуль для записи цифровых голограмм, их восстановления и автоматизированной дефектоскопии с применением ИНС, программный модуль для сервера лицензий, Программный модуль для построения 3D модели исследуемого объекта. Характеристики персонального компьютера входящего в состав прототипа системы машинного зрения для регистрации объемных дефектов в заготовках оптических кристаллов :ЦП Intel или AMD с поддержкой 64-разрядных вычислений на основе архитектуры x86-64 с тактовой частотой 2,0 ГГц; 8 Гб оперативной памяти; Видеокарта Nvidia GeForce GTX 1060, с поддержкой технологии CUDA и 6 Гб видеопамяти; 32 Гб свободного места на жестком диске. Разработанный прототип системы машинного зрения способен выполнять следующие функции: -Запись цифровых голограмм объема аттестуемых оптических материалов; - Для образцов, размеры апертуры которых больше физических размеров матрицы фотоприемника, что не позволяет зарегистрировать весь объект за одну экспозицию, возможность проводить съёмку объекта путём сканирования по 2-м координатам в плоскости перпендикулярной оптической оси; - Проведение восстановления цифровых голограмм по плоскостям; - Подавление когерентных шумов с использованием алгоритмов компьютерного зрения; - Автоматическая обработка, с использованием ИНС, восстановленных изображений с целью определения характерных размеров и координат каждого дефекта; - Создание и отображение трехмерной модели залегания дефектов в объеме образца; - Возможность обучения ИНС для поиска новых типов дефектов в различных оптических материалах. фильтр для селективного подавления когерентных шумов на восстановленных голографических изображениях и на исходных голограммах. В качестве образцов, содержащие объемные дефекты были использованы кристаллы ZnGeP2 производства ООО «ЛОК», ZnSe производства ООО «Электростекло» и ООО «ИН Оптик», и кристаллы KTP производства ООО «Кристалл Т». Была проведена запись цифровых голограмм объема данных образцов и проведено восстановление полученных голографических изображений. Для обучения ИНС было приготовлено 10000 черно белых масок цифровых голографических изображений с размерами 256х256 пиксел. Белым выделялись изображения дефектов в плоскостях наилучшей фокусировки, а черным цветом остальной фон. В ходе выполнения работы были разработаны программные модули управления ПЗС камерой и трех координатным позиционером, разработан модуль восстановления цифровых голограмм на языке программирования Cuda, который использует параллельные вычисления на графическом ускорителе GPU компании Nvidia. Также разработан модуль дефектоскопии на основе ИНС. В нашей работе Дефектная структура распознается путем обработки восстановленных изображений с помощью глубокой, сверхточной искусственной нейронной сети U-Net, предварительно обученной обнаруживать квазирегулярные следы мелких капель. Сеть обучается на наборе данных, состоящем из 10 000 изображений различных объемных дефектов, взятых из различных образцов. Протестированная точность распознавания составляет 97%. Среднее время получения 3D-изображения составляет 5 минут. Был реализован программный модуль для построения 3D модели исследуемого объекта в виде набора функций на языке программирования C++. Построение трехмерной модели выполнялось на основе набора бинарных масок, полученных в результате обработки расшифрованной голограммы нейросетью U-Net. Для защиты разработанной нами программы от несанкционированного копирования была разработана система сервера лицензий. В ходе выполнения НИОКР было получено свидетельство на регистрацию ЭВМ № 2023685633 «Программа автоматизированного распознавания голографических изображений дефектов оптических материалов с применением искусственной нейронной сети» от 29.11.2023. Работы по НИОКР проводились в соответствии с календарным планом все пункты которого полностью выполнены. Все заявленные в техническом задании характеристики прототипа системы машинного зрения полностью достигнуты в ходе выполнения НИОКР. Полученный прототип системы машинного зрения на основе глубоких сверхточных нейросетей и методов цифровой голографии для автоматической регистрации объемных дефектов и их характеризации в заготовках оптических кристаллов является пред серийной версией контрольно-измерительного оборудования. На следующем этапе после проведения работ по созданию конструкторской документации и спецификации разработанного оборудования и проведения сертификации планируется запуск коммерческих продаж разработанного комплекса. Значимость проделанной работы заключается в том, что разработаны и протестированы технические решения и на основе их разработан програмно-аппаратный комплекс, позволяющий в автоматическом режиме проводить аттестацию и дефектоскопию заготовок оптических материалов, что позволяет значительно удешевить и ускорить процесс технического контроля на оптических производствах.