Отчет о научно-исследовательской работе Исследование технологий обработки больших объемов данных с применением инструментов и методов автоматической обработки структурированной и неструктурированной информации (заключительный)

Научно-исследовательская работа на тему ««Исследование технологий обработки больших объемов данных с применением инструментов и методов автоматической обработки структурированной и неструктурированной информации» направлена на исследование актуальных проблем, связанных с выявлением и оценкой возможности использования перспективных технологических инноваций в деятельности таможенных органов Российской Федерации и других стран-членов ЕАЭС. Техническое задание на выполнение НИР согласовано с Главным управлением информационных технологий (ГУИТ) ФТС России, НИР включена в план научной работы Российской таможенной академии на 2023 год. Нормативную базу исследования составляет Стратегия развития таможенной службы Российской Федерации до 2030 года, утвержденная распоряжением Правительства Российской Федерации от 23 мая 2020 г. № 1388-р. Объектом исследования является информационно-аналитическое обеспечение деятельности таможенных органов, научное сопровождение решения проблем повышения оперативности и качества принятия управленческих решений. Предмет исследования – процессы применения единообразного подхода формирования и использования технологий обработки больших объемов информационных ресурсов таможенных органов, инструментов и методов автоматической обработки структурированной и неструктурированной информации. Целью исследования является развитие информационно-аналитического обеспечения деятельности таможенных органов, научное сопровождение решения проблем повышения оперативности и качества принятия управленческих решений на основе обеспечения единообразного подхода при формировании и использовании технологий обработки больших объемов информационных ресурсов таможенных органов, инструментов и методов автоматической обработки структурированной и неструктурированной информации. Информационную базу исследования составили федеральные законы, нормативные правовые акты Правительства Российской Федерации, Евразийской экономической комиссии, научные публикации российских и зарубежных специалистов в области таможенного дела. Значительная часть информационного и фактического материала получена на основе анализа нормативных правовых актов ФТС России, материалов научно-исследовательских работ Российской таможенной академии, а также информационных ресурсов сети Интернет. В процессе исследования особое внимание уделено обеспечению единообразного использования технологий обработки больших объемов информационных ресурсов таможенных органов, инструментов и методов автоматической обработки структурированной и неструктурированной информации. Задачи НИР: 1 Анализ современного состояния развития методологии обработки больших объемов данных таможенных органов. 2 Исследование механизмов технологии обработки больших данных в таможенных органах. 3 Анализ использования инструментов и методов автоматической обработки структурированной и неструктурированной информации в таможенных органах. 4 Разработка предложений по использованию в таможенных органах основных программных средств обработки больших объемов данных с применением инструментов и методов автоматической обработки структурированной и неструктурированной информации. В настоящем отчёте представлены следующие полученные результаты: 1. Применение инструментов обработки больших данных в таможенных органах имеет преимущества с точки зрения управления рисками, эффективности и точности. Постоянное совершенствование инструментов обработки больших объемов данных играет ключевую роль в формировании будущего таможенных операций и пограничной безопасности. На структурированные данные приходится всего около 20% данных, но из-за высокой степени организации и производительности они составляют основу больших данных. В таможенных органах к структурированным данным относятся сведения, которые хранятся в базах данных или например, электронные копии таможенных документов: декларации на товары (ДТ), декларации таможенной стоимости (ДТС), корректировки таможенной стоимости и таможенных платежей (КТС). Неструктурированные данные – это информация, не имеющая установленной модели данных, или данные, которые еще не упорядочены заранее определенным образом. Распространенные примеры неструктурированных данных: текстовые файлы, видеофайлы, электронная почта, образы. Обязательным условием создания интегрированного решения по обработке структурированных и неструктурированных данных является наличие инструмента создания и редактирования онтологий. При этом действенным инструментарием, способным заменить программные средства Protege, которое хоть и имеет открытый доступ и является бесплатной, но тем не менее представляет собой американскую программу, выступает программный продукт «ОнтоМАСТЕР-Онтология». Он предоставляет возможность визуального редактирования и использования онтологий на языке OWL-DL в интернет-браузере и его можно будет включить в фонд алгоритмов и программ ФТС. 2. Используя потенциальные преимущества обработки больших объемов данных, крайне важно учитывать проблемы безопасности данных и конфиденциальности. Таможенные органы должны обеспечить наличие надлежащих мер предосторожности для защиты конфиденциальной информации и соблюдения правил защиты данных. Для поддержания конфиденциальности и целостности данных могут использоваться строгий контроль доступа к данным, методы шифрования и анонимизации. 3. Предложена схема метода адаптивного управления распределением информационных потоков контроля за перемещением товаров через таможенную границу ЕЭАС посредством анализа больших объемов данных о товарах, пересекающих границу, и участниках ВЭД. Это в свою очередь подтверждается тем, что в настоящий момент сформирован ЦИТТУ контракт на государственные закупки, касающийся выполнения работ по миграции Единой автоматизированной информационной системы таможенных органов Федеральной таможенной службы Российской Федерации в ГЦОД ЕАИС ТО «Тверь». Результатом выполнения данного контракта станет возможность осуществлять автоматическую обработку структурированной и неструктурированной информации в ГЦОД ЕАИС ТО «Тверь». 4. Предложено продолжить использование государственной единой облачной платформы (ГЕОП). Использование таможенными органами сервисной модели потребления «облачных» сервисов и услуг центров обработки больших данных позволяет: повысить стабильность функционирования информационно-телекоммуникационных систем; повысить безопасность содержащейся информационных ресурсов; снизить затраты на развитие и модернизацию информационно-телекоммуникационной инфраструктуры. 5. Предлагается изменить весь процесс сбора данных и сформировать единую цифровую базу, позволяющую обнаружить всю информацию об объектах таможенного контроля и которая связана с программным обеспечением других государственных органов. Условием является то, что данное усовершенствование предполагает получение опыта зарубежными таможенными администрациями в рамках Всемирной таможенной организации (ВТамО). 6. Предложено, при создании онтологий, в качестве базы для обработки больших объемов данных с применением инструментов и методов автоматической обработки структурированной и неструктурированной информации использовать программное средство «ОнтоМастер-Онтология» не исключая возможности применения программы Protégé в качестве резервного инструментария. 7. Проведен анализ отечественных ИТ-компаний, продукты которых могут стать альтернативой зарубежному программному обеспечению. Arenadata — российская ИТ-компания, разработчик первых отечественных Big Data решений, основанных на свободном программном обеспечении с открытым исходным кодом без использования проприетарных компонентов. Для обеспечения управления предложена к использованию Arenadata DB (ADB) – это масштабируемая кластерная СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом. 8. Предложена экосистема Hadoop  —  это платформа (фреймворк) для решения задач обработки структурированной и неструктурированной информации при работе с большими данными, применима к деятельности таможенных органов. Hadoop не является языком программирования или сервисом. В исследовании Hadoop рассматривается как набор сервисов для загрузки, хранения, анализа и поддержки больших данных, который можно использовать в качестве базы данных, хранилища данных, инструмента обработки и анализа данных, которые формируются в недрах таможенных органов. Конкретные сценарии использования в данном случае будут таковы: 1. Хранение больших объемов документов, например таможенных декораций. 2. Справочные данные, применяемые таможенными органами. 3. Непрерывный сбор данных в режиме реального времени с датчиков, сенсоров, камер видеонаблюдения и т.п. для осуществления таможенного контроля. В виде инструмента обработки и анализа данных Hadoop так же проявляет себя очень эффективно: 1. Анализ рисков - благодаря собранным данным и параллельной обработке, программа позволяет быстро просчитать риски и выявить слабые места. 2. Оперативное обновление данных - Hadoop позволяет вносить дополнительную информацию в имеющиеся данные, что способствует устранению проблемы с нехваткой нужной информации. 9. Разработаны предложения по реализации проекта обработки больших данных по определенным начальным условиям. При этом источником структурированной информации выступают, например, таможенные декларации и иные подобного рода документы. Источником неструктурированной информации, которая также подлежит анализу выступают снимки ИДК и любая иная неструктурированная информация. 10. Предложено к использованию в Федеральной таможенной службе российское программное обеспечение: в 2017 году Минкомсвязь РФ включило Arenadata Hadoop в Единый реестр российских программ для электронных вычислительных машин и баз данных. В 2018 и 2019 аналогичным образом были зарегистрированы ADB и ADS. В реестр российского программного обеспечения 2 августа 2023 года включили первый программно-аппаратный комплекс для обработки больших данных. Возможности «Машина больших данных Скала-Р МБД.Х» включают в себя полный комплект средств экосистемы Hadoop с федеральным уровнем поддержки. Значимость полученных результатов исследования для науки, образования и деятельности таможенных органов Российской Федерации. Значимость результатов исследования для науки заключается в развитии теоретических основ разработки и применения методов аналитики больших данных. Основные выводы и положения исследования могут быть полезны при проведении научных исследований в интересах решения задач совершенствования стратегического управления ФТС России, а также в целях разработки и актуализации образовательных программ по подготовке и повышению квалификации специалистов ФТС России на базе Российской таможенной академии. Значимость результатов исследования для образования заключается в возможности актуализации курсов лекций и практических занятий по направлению подготовки 09.03.03 – Прикладная информатика, направленность (профиль) «Прикладная информатика в государственных информационных системах». Значимость результатов исследования для таможенной деятельности состоит в возможности их использования для целей повышения эффективности разработки, принятия и реализации стратегических управленческих решений. Области применимости полученных результатов исследования. Результаты исследования могут быть использованы: а) ЦИТТУ ФТС России совместно с заинтересованными структурными подразделениями ФТС России, региональными таможенными управлениями, таможнями, непосредственно подчиненными ФТС России, для целей реализации стратегических директив ФТС России в рамках развития механизмов принятия стратегических управленческих решений; б) развитие информационно-аналитического обеспечения деятельности таможенных органов, а также научное сопровождение решения проблем повышения оперативности и качества принятия стратегических управленческих решений на основе обеспечения единообразного подхода при формировании и использовании информационных ресурсов таможенных органов и методов анализа больших данных; в) в учебном процессе Российской таможенной академии в рамках направления подготовки 09.03.03 – Прикладная информатика, направленность (профиль) «Прикладная информатика в государственных информационных системах».