Разработка программного обеспечения на основе искусственного интеллекта для интеллектуальной разметки и контекстного таргетирования видеоконтента

Объектом исследования являются технологии искусственного интеллекта, применимые для анализа видео- и аудиоданных на основе методов компьютерного зрения, лингвистики с использованием нейросетевых моделей. Целью выполнения настоящего НИОКР является выполнение исследований в области компьютерного зрения с использованием технологий машинного обучения в сфере Искусственного Интеллекта, направленные на решение актуальных задач по видеоаналитике, а также разработка программного обеспечения на основе искусственного интеллекта для интеллектуальной разметки и контекстного таргетирования видеоконтента, позволяющее описывать задачи нахождения и детекции событий, сцен и действий на высокоуровневом естественном языке (русском). Методы работы: исследование и проектирование нейронных сетей, итеративное программирование. В процессе выполнения НИОКР было разработано программное обеспечение для интеллектуальной разметки и контекстного таргетирования видеоконтента (далее — ПО), которое выполняет следующие функции: - выделение и классификацию объектов в кадре с указанием наименования и категории принадлежности с определением местоположения в кадре и во времени; - вычисление траектории движения объектов; - выделение биометрических характеристик лиц людей с возможностью сверки с базой известных и публичных персон; - выделение и декодирование надписи в кадре в текст; 4 - распознавание речи в текст; - обобщение выделяемой в кадре информацию во времени для классификации и текстового описания действий, сцен и событий; - обработка видеопотока со звуковой дорожкой любой длительности; - предоставление доступа к функционалу посредством программных интерфейсов (API). Тестирование разработанного программного обеспечения показало, что ПО полностью соответствует техническому заданию по НИОКР. Научная новизна НИОКР заключается в решении актуальных задач по видеоаналитике, неописанных в настоящий момент или решаемых узкоспециализированными моделями машинного обучения, что каждый раз является крайне неэффективным, долгим и затратным в реализации решением. Результаты НИОКР могут быть применены в сфере организации автоматического офлайн-контроля содержимого видеофайлов. Прогнозы по коммерциализации планируемых к получению результатов: - Продажа ПО государственным структурам и коммерческим организациям.