Проектирование архитектуры нейронных сетей для модулей: предобработки видео; детекции и классификации объектов на видео; классификатора людей; OSR для детектирования и распознавания надписей; классификации событий на видео; классификации запрещенного контента; интеграции внешнего ASR. Подготовка и разметка наборов данных для обучения нейросетевых моделей. Реализация нейросетевых архитектур. Проведение тестовых испытаний на небольшом размеченном наборе данных. Проведение обучения и валидации нейросетевых моделей на полном размеченном наборе данных.

Объектом исследования являются технологии искусственного интеллекта, применимые для анализа видео- и аудиоданных на основе методов компьютерного зрения, лингвистики с использованием нейросетевых моделей. Цель настоящего проекта: разработка программного обеспечения на основе искусственного интеллекта для интеллектуальной разметки и контекстного таргетирования видеоконтента (далее по тексту — ПО). Методы работы: исследование и проектирование нейронных сетей, итеративное программирование. В процессе выполнения первого этапа работ были получены следующие результаты: 1) Проведены исследования существующих решений нейросетевых моделей и найдены их наиболее эффективные сочетания для применения в ПО; 2) Спроектированы архитектуры нейронных сетей для следующих модулей ПО: предобработки видеоданных (далее по тексту — Video captioning), детекции и классификации объектов на видео (далее по тексту — Object detection), классификации людей (далее по тексту — Person detection), детектирования и распознавания надписей (далее по тексту — OСR), классификации событий на видео (далее по тексту — Video Captioning), классификации запрещенного контента (методы NLP), интеграции внешнего ASR. 3) Подготовлены и размечены наборы данных для обучения нейросетевых моделей, выполнено обучение моделей; 4) Реализованы нейросетевые архитектуры в коде на ЯП Python3+; 5) Проведены тестовые испытания ПО на небольшом наборе обучающих данных, созданном в ходе проекта; 6) Проведено обучение нейросетевых моделей и их и валидация на полном наборе обучающих данных, созданном в ходе проекта. Тестирование реализованных архитектур нейросетевых моделей показало достаточную точность работы моделей, что позволяет собрать их на 2-м этапе разработки в единый конвейер нейросетевых моделей для реализации задач поиска, классификации и детекции. Настоящий проект направлен на решение актуальных проблем видеоаналитики в сфере организации автоматического и офлайн-контроля содержимого видеофайлов. Процедуры контроля содержимого видеофайлов обязательны для выполнения в целях соблюдения требований законодательства РФ, и такие процедуры требуют автоматизации ввиду высокой трудоемкости ручного сопоставления видеоконтента на соответствие требованиям законодательства. Прогнозы по коммерциализации планируемых к получению результатов: − Продажа ПО государственным структурам и коммерческим организациям.