Разработка бенчмарков для задач распространения цвета, предсказания карт внимания, нейросетевого сжатия и построения карт оптического потока

Объем видеотрафика растет с каждым годом. Это влечет за собой необходимость разрабатывать методы для хранения и передачи видеоконтента, которые смогут уменьшать размер видео, улучшая при этом его субъективное качество. Каждый день создается и загружается в сети “Интернет” огромное количество новых видеофайлов, общая продолжительность которых превышает продолжительность человеческой жизни. Поэтому становятся все более актуальными методы для работы с видеоданными. Распространение данных в видео является полезной технологией, использующейся в различных задачах обработки видеопотока. Так, имея для одного из кадров видео какую-либо разметку (например бинарную маску, определяющую положение объекта), требуется перенести её на остальные кадры в видео. Задача распространения цвета заключается в том, чтобы перенести цвет с одного или нескольких цветных кадров на остальные черно-белые. Увеличивающееся количество алгоритмов распространения цвета, а также простота генерации размеченных данных для них, облегчают исследование темы распространения данных на этом конкретном случае. Однако, для данной задачи не существует специализированных объективных методов оценки качества (метрик), самыми популярными используемыми метриками являются PSNR и SSIM, которые зачастую плохо коррелируют с субъективным восприятием. Так как при работе методов возникают специфические искажения, разработка бенчмарка и создание специализированной метрики для задачи распространения цвета позволит получить большую корреляцию с субъективными оценками и более адекватно оценить имеющиеся алгоритмы. Построение карт оптического потока — одна из базовых и ключевых задач обработки видео. При распространении данных в видео частым подходом является использование оптического потока. Классический подход для сравнения методов требует попиксельной разметки между двумя кадрами для получения истинного значения карт оптического потока. В данном проекте предлагается сравнить качество работы методов, на задаче распространения цвета. Карты внимания, представляющие из себя тепловые карты, выделяющие более важные с точки зрения зрителей области, могут служить источником информации о том, какие области стоит сжимать сильнее, чтобы получать меньший объем видео, а какие, наоборот, слабее, чтобы улучшить их визуальное качество, а значит в среднем и всего видео. Получение карт внимания напрямую от зрителей возможно с использованием айтрекеров — внешних устройств, отслеживающих в реальном времени направление взгляда. Но использование дорогостоящего оборудования может не оправдать себя и сделает процесс получения карт крайне медленным, поэтому автоматические методы получения карт внимания обрели популярность, а значит появилась необходимость сравнивать эти методы для выявления лидеров. Кроме того, хоть качество этих методов постоянно растет, сейчас оно все еще сильно ниже качества карт полученных с использованием реальных людей. Это значит, что проблема поиска более оптимального способа получения эталонных данных все еще остается актуальной. В данном проекте предлагается собрать большое количество данных альтернативным методом для более качественного обучения и тестирования моделей предсказания карт внимания. Также проект направлен на проведение объективного сравнения множества алгоритмов получения карт внимания. Задача сжатия изображений является приоритетным направлением для исследования уже многие годы. Но за последние 5 лет на передний план выдвинулись нейросетевые методы сжатия, которые смогли обогнать традиционные методы по многим существующим метрикам качества. Чаще всего сравнение кодеков проводится на датасетах KODAK или Technik, этим датасетам не хватает достаточного количества изображений, а также разнообразия контента для качественного сравнения работы нейросетевых кодеков. В связи с этим предлагается создать бенчмарк нейросетевых методов сжатия изображений, в котором участники будут протестированы на большом количестве изображений, покрывающими все случаи использования кодека.