Методы и алгоритмы сжатия цифровых изображений и видео на основе методов машинного обучения

Приведённый в заявке анализ показал отсутствие явного преимущества современных алгоритмов компрессии, основанных на машинном обучении, над давно известными популярными алгоритмами компрессии изображений и видео, основанными на декоррелирующих преобразованиях, энтропийном кодировании и оценке движения. Таким образом, потенциал машинного обучения в области компрессии в настоящий момент не раскрыт, что позволяет надеяться на кратное увеличение эффективности компрессии при улучшении современных методов машинного обучения и их использовании для компрессии изображений и видео. Развитие исследований в рассматриваемой области позволит сократить отставание РФ, а, возможно, и занять лидирующие позиции в таких важных экономических сферах, как телемедицина, телекоммуникации (широковещательная передача, удаленная работа и обучение и т.п.), интерактивные развлечения (игровая индустрия), а также создание специальных технических средств типа дистанционно-управляемых роботов, работающих в сложных условиях, систем видеосвязи с узким пропускным каналом и др. Научной новизной будут обладать предлагаемые к разработке модификации алгоритмов машинного обучения, которые войдут в состав разрабатываемых методов компрессии. Указанные модификации будут основаны, в первую очередь, на ортогонализации и параметризации сверточных ядер, используемых в автоэнкодерах, а также сверточных и генеративно-состязательных нейросетях, которые будут выбраны в рамках настоящего проекта для использования в составе разрабатываемых методов компрессии изображений (в том числе гиперспектральных) и видео. Актуальность компрессии цифровых изображений и видео с использованием методов машинного обучения обусловлена ростом пространственного разрешения, качества цветопередачи и в целом качества восприятия визуальных данных, ростом объема хранимых и передаваемых визуальных данных в сетях общего пользования, ростом ожиданий пользователей относительно качества получаемой ими видеоинформации и т.д. Предлагается разработать основанный на машинном обучении метод компрессии изображений, использующий современные нейросетевые алгоритмы сверхразрешения и доопределения (image inpainting) цифровых изображений. Приведённый в заявке анализ даёт основания для выбора свёрточных нейросетей, автоэнкодеров и генеративно-состязательных нейросетей в качестве базовых технологий для предлагаемого метода компрессии. Используемые свёрточные нейросети будут усовершенствованы посредством ортогонализации и/или параметризации настраиваемых свёрточных ядер в целях повышения устойчивости и сокращения времени обучения. Затем предложенные модификации алгоритмов машинного обучения, будут обобщены на трёхмерный случай для использования при компрессии гиперспекральных изображений и видео. Метод будет использовать безызбыточный вариант пирамидального представления изображения, который позволит учитывать при настройке машинного обучения структурные особенности изображения, проявляющие на различных масштабных уровнях. Структура предлагаемого метода позволит обеспечить работу как в режиме управления максимальной/квадратичной погрешностью, так и в режиме управления коэффициентом сжатия. Пирамидальность представления изображения позволит гарантировать независимость времени декомпрессии прореженного фрагмента от масштаба, а также реализовать механизмы помехозащищенности и стабилизации скорости формирования потока сжатых данных, что обосновывает перспективность исследований в выбранном направлении.