Исследование актуальных классов распознавания, для целей организации дорожного движения с учетом изменений нормативно-правовой базы в отрасли. Доработка моделей нейронных сетей опытного образца аппаратно-программного комплекса. Доработка программного обеспечения подготовки тренировочных данных в части добавления характеристики точки зрения опытного образца аппаратно-программного комплекса. (Промежуточный)

В соответствии с календарным планом проекта, настоящий отчёт содержит итоги работ по первому этапу выполнения НИОКР «Разработка и испытание опытного образца аппаратно-программного комплекса видеодетектора для сбора и анализа автомобильного трафика с применением технологий искусственного интеллекта». Данный отчёт состоит из введения, основной части, разделённой на 3 главы, по характеру работ, и заключения. Объем отчёта составляет 65 страниц, также в отчёте содержаться 57 формул, 3 таблицы и 26 рисунков. Перечень ключевых слов: организация движения, видеодетекция, нейронная сеть, транспортный поток, пешеходный поток, управление движением. Целью работы на первом этапе НИР является доработка применяемой комплексом нейронной сети, с увеличением количества и качества распознаваемых категорий, для наиболее полного соответствия продукта нормативно-правовой базе, действующей на территории РФ, с целью последующей адаптации ПО для работы с российскими чипами искусственного интеллекта, а также разработка системы оценки точки зрения видеокамер распределённой системы автоматического обучения с целью адаптации детекторов к условиям установки, для обеспечения наиболее качественного распознавания участников движения. В рамках реализации первого этапа, в соответствии с календарным планом НИОКР, командой проекта был выполнен комплекс работ, направленный на обзор изменений нормативно-правовой базы в отрасли организации дорожного движения с актуализацией перечня классов распознавания, доработку моделей нейронных сетей опытного образца аппаратно-программного комплекса, доработка программного обеспечения подготовки тренировочных данных в части добавления характеристики точки зрения опытного образца аппаратно-программного комплекса. По результатам обзора правовой базы выявлено что, в период с 2020 года по настоящее время нормативная документация активной модернизировалась в области учёта транспортных средств в Российской Федерации в части актуализации категорий дорог и транспортных средств, а также методик подсчёта трафика, с учётом современных тенденций. На основе полученных результатов, нами был доработан перечень категорий комплекса который включает 11 (против 4 прототипа разработанном в рамках программы «Старт 1») классов распознавания: пешеходы, средства индивидуальной мобильности, малые ТС, средние ТС, грузовые ТС, малые автобусы, автопоезда, автобусы, большие автопоезда, большие автобусы, особо большие ТС. В рамках выполнения работ по доработке нейронных сетей, был подготовлены тренировочный, тестовый и валидационный наборы данных, с использованием как открытых датасетов (Open Images, FishEye8k, VisDrone2019), так и публичных трансляций с 76 дорожных камер в 14 странах на видеохостинге Youtube. Полученные данные обработаны в автоматизированном режиме с применением предобученных сетей YOLO11x-seg, TrafficCamNet и программы разметки CVAT, в результате по каждому классу собранно от 20 до 25 тысяч примеров, для которых были определены поворотные ограничивающие рамки, с помощью разработанного автоматического алгоритма, как прямоугольники наименьшей площади. Для хранения полученного набора, разработан кастомный формат на основе формата OpenImages. В части модификации классификатора и детектора, был доработан блок сжатия и возбуждения в первом случае, откорректирован генератор якорных рамок, функция расчёта перекрытий, увеличено количество фильтров свёрточных слоёв и изменена функция потерь во втором. Тренировка полученной модели проводилась средствами фреймворка PyTorch на видеокарте Geforce RTX3090 с 24 Гб памяти, при этом активно применялась аугментация данных, в том числе пиксельные искажения, эмулирующие негативные погодные условия, веса инициализировались на основе нормального распределения, в качестве оптимизатора применялся ADAM. Мониторинг процесса обучения осуществляется с применением фреймворка TensorBoard по значениям функции потерь как в целом, так и отдельно для регрессии и классификации, за каждый пакет, эпоху и тестовый проход, а также оценивалась разница потерь по результатам обучения эпохи и тестового прохода. В процессе тренировки, настраивались следующие гиперпараметры: размер пакета, количество эпох, скорость обучения для детектора и базовой сети, момент оптимизатора. На заключительном шаге выполнялась валидация модели с расчётом обобщённой средней точности с порогом 0,5 (mAP0,5). По результатам этапа нами получены следующие значения этого показателя: 83,2% для датасета без учёта направления участников движения и 91,7% с для набора построенного с учётом данного фактора. Необходимо отметить, что в последнем случае, дополнительно выполнялось дообучение с переносом. Разработана система оценки точки зрения видеокамер построенная на концепции пространственного подобия изображений на основе векторов движения в сферической системе координат, которые извлекаются в результате инференса нейронной сети или работы MOG2 алгоритма, сглаживаются (для исключения шума) и переводятся в систему координат кадра на основе универсальной модели видеокамеры и переводится в систему сферических координат. Указанная информация сохраняется как метаданные совместно с извлеченными объектами и используется для поиска похожих изображений и видов видеокамер с помощью функции подобия при формировании наборов для тренировки моделей. Результат данного этапа разработаны модули экстракторов HeuristicCore для работы в составе системы автоматического дообучения детектора к конкретным условиям установки, которая будет разрабатываться на следующем этапе. Полученные результаты подтверждают достижение целей первого этапа НИОКР и создают основу для выполнения работ по второму этапу договора, который предполагает: разработку системы автоматической адаптации опытного образца аппаратно-программного комплекса, разработка системы генерации тренировочных наборов, исследование производительности российских процессорных модулей искусственного интеллекта, разработку библиотек разработчика для GStreamer, доработку системы удалённых обновлений.