Развитие нейросетевых методов повышения качества передачи цифровых изображений в интеллектуальных видеосистемах

В современных интеллектуальных видеосистемах проблема сохранения качества передаваемых деталей изображения является одной из основных проблем при решении задач поиска, распознавания и идентификации объектов. Увеличение количества пикселей формата видеокадра до стандартов высокой четкости (HD, 4K и 8K) приводит к повышению разрешения изображения, но при этом для обеспечения необходимой скорости передачи требуется применение более эффективных методов сжатия. Одним из способов сокращения объема видеоданных является его масштабирование, т.е. уменьшение формата изображения с последующим восстановлением исходного разрешения. Цифровые изображения подвержены воздействию искажений, которые появляются в процессе формирования, цифровой обработки и передачи сигналов. Основные искажения качества возникают за счет использования сжатия с потерями, что обусловлено необходимостью передачи сигналов по каналам связи с ограниченной пропускной способностью, а также компактным хранением больших объемов видеоданных. Другой причиной искажений является масштабирование изображения в формат с более высоким разрешением. Основными показателями качества передачи изображения является его четкость и резкость, которые зависит от разрешающей способности (разрешения) видеосистемы. В процессе цифровой обработки (сжатие, увеличение формата) «размываются» или «теряются» мелкие детали и ухудшается резкость границ крупных деталей, что в сильной степени ухудшает визуальное качество изображения. В целом получаемое изображение Y может быть описано как Y = F(X), где X это оригинальное изображение с выхода высококачественной камеры и F функция потерь. Основная научная проблема заключается в том, что даже зная искажающие характеристики цифровых преобразований, мы не сможем с высокой точностью найти обратную функцию F, с помощью которой можно было бы точно восстановить оригинальное изображение без потерь. В целом, задачу восстановления или повышения качества изображения можно решать следующими способами: повышением качественных характеристик методов и алгоритмов сжатия; применением корректирующих фильтров; использованием технологий искусственного интеллекта (AI) на основе нейронных сетей. В настоящее время перспективным направлением исследований является создание новых методов и алгоритмов повышения качества изображений на основе свёрточных нейронных сетей. Нейронные сети могут использоваться на этапе предварительного анализа и распознавания участков оригинального изображений таких как границы деталей, мелкие структуры, фоновые участки. Разбиение на участки позволяет более эффективно сжимать изображение с применением методов адаптивного кодирования. На этапе восстановления (реконструкции) изображения нейросетевые методы позволяют корректировать искажения на основе обученной сети. Таким образом научная проблема, на решение которой направлен проект является комплексной проблемой. Фундаментальной научной задачей при решении указанной проблемы является поиск и развитие интеллектуальных методов, позволяющих приблизить качество воспроизводимых изображений к зрительному восприятию оригинальных фото и видеоизображений. В проекте предлагается проведение фундаментальных исследований и разработка новых интеллектуальных методов повышения качества изображения на основе свёрточных нейронных сетей. Конкретные задачи в рамках поставленной научной проблемы с учетом её комплексного характера можно сформулировать следующим образом: 1. Разработка нейросетевого метода и алгоритма поиска и идентификации участков изображения по следующим признакам: границы деталей, мелкие структуры, фоновые участки. 2. Разработка метода и алгоритма повышения качества передачи цифровых изображений на основе адаптивного квантования трансформированных сигналов участков изображения в стандарте JPEG2000. 3. Разработка нейросетевых методов и алгоритмов коррекции качества компрессированных изображений. 4. Разработка нейросетевых методов и алгоритмов повышения качества масштабируемых изображений в формат с более высоким разрешением. 5. Поиск оптимальных коэффициентов свёрточных фильтров в слоях нейронных сети с целью минимизации ошибок реконструкции изображений по объективным критериям. 6. Разработка нового мультимедийного приложения для конвертации и хранения изображений с минимальным (допустимым) ухудшением качества. 7. Разработка, настройка и апробация макетного образца видеосистемы на кристалле реализующего интеллектуальные методы и алгоритмы повышения качества передачи цифровых видеоданных в реальном времени. Масштаб и комплексность решаемых задач заключается в том, что они охватывают ряд крупных областей в сфере цифровой обработки сигналов и анализа изображений: сжатие, фильтрация, применение искусственного интеллекта, анализ качества, проектирование видеосистем на кристалле. Научная новизна исследований заключается в поиске и разработке новых методов и алгоритмов повышения качества изображений на основе адаптивных способов минимизации искажений с использованием технологий свёрточных нейронных сетей. Новыми результатами будут: - нейросетевой метод и алгоритм поиска и идентификации участков изображения по квалификационным признакам; - метод и алгоритм повышения качества передачи цифровых изображений на основе адаптивного квантования трансформированных сигналов участков изображения в стандарте JPEG2000; - нейросетевые методы и алгоритмы коррекции качества компрессированных изображений; - нейросетевые методы и алгоритмы повышения качества масштабируемых изображений в формат с более высоким разрешением; - способы выбора оптимальных коэффициентов сверточных фильтров в слоях нейронных сети; - новые технологии обучения нейронных сетей для решения задач повышения четкости и резкости изображений независимо от их класса; - новое мультимедийное приложение для конвертации и хранения изображений с минимальным (допустимым) ухудшением качества; - макетный образец видеосистемы на кристалле реализующий интеллектуальные методы и алгоритмы повышения качества передачи цифровых видеоданных в реальном времени. В целом, научная значимость решения обозначенной проблемы заключается в развитии методов искусственного интеллекта, теории адаптивного сжатия и цифровой фильтрации, направленных на повышение качества изображения по объективным критериям. Прикладная значимость заключается в улучшении характеристик интеллектуальных видеосистем и мультимедийных приложений реального времени по такому показателю как высокое качество фото и видео изображений. Актуальность решения проблемы обусловлена современным развитием интеллектуальных видеосистем реального времени с высоким качеством передачи и хранения цифровых изображений.