«Разработка системы бизнес-аналитики с конструктором нейросетей» (договор №221ГРЦТС10-D5/76591 от 04.05.2022) (заключительный)

Отчетом по трем этапам выполнения НИОКР является разработка системы бизнес-аналитики с конструктором нейросетей, состоит из 231 страницы, содержит 203 изображения, 11 таблиц. Целью первого этапа являлась разработка следующего функционала: • Работа с источниками данных: JDBC, Odata, Справочники; • Создание модели виртуальной DWH; • Аутентификация через единый удостоверяющий центр (Spring Boot); • Разработка функционала для управления ролевой моделью; • Разработка и настройка ETL для виртуальной DWH; • Настройка экспорта данных в разных форматах; • Встраивание виджетов во фронтенд на Vue.js; • Создание списка виджетов и их сохранение: кто, когда, последнее обновление; • Возможность смены типа графика у виджетов для однородной структуры данных; • Разработка функционала создания и управления дашбордами на Vue.js. Для достижения цели первого этапа НИОКР были решены все поставленные задачи: а) Разработаны специальные коннекторы для получения данных из различных внешних источников; б) Разработана модель виртуального хранилища данных для обеспечения получения данных из коннекторов; в) Разработана система безопасности для обеспечения аутентификации через единый удостоверяющий центр (Spring Boot); г) Разработана ролевая и групповая модель доступа и функционал для ее управления и настройки; д) Разработан функционал для управления и настройки ETL-процесса; е) Разработан функционал для экспорта данных в разных форматах; ж) Встроены все необходимые визуальные виджеты в основной фронт системы; з) Все виджеты хранятся в одном месте в системе в вид списка, для каждого виджета реализовано сохранение истории о создателе, дате создания, дате обновления; и) Реализован функционал при создании виджета простого изменения типа виджета для выбранных данных; к) Разработан функционал для управления дашбордами. Каждая задача нашла отражение в соответствующей главе настоящего НТО. Все работы по проекту выполнены в объеме, соответствующем календарному плану и техническому заданию. Целью второго этапа являлась разработка следующего функционала: • Интеграция с LDAP; • Добавление нереляционных методов расчета (python) для DWH; • Подключение библиотек pandas, NumPy, SciPy, Matplotlib и т.д. для DWH; • Внедрение Druid investigation console - повторное использование данных Druid в DWH; • Разработка конструктора нейросетей; • Разработка поиска данных на дашбордах; • Разработка возможности кросс-фильтрации и множественного отбора на дашборде (интерактивность дашборда); • Разработка интерфейса для разделов ETL; • Разработка навигации между разделами. Для достижения цели второго этапа НИОКР были решены все поставленные задачи: а) Реализована интеграция с LDAP; б) Разработаны и добавлены нереляционные методы расчета; в) Разработана и внедрена Druid investigation console; г) Разработан конструктор нейросетей; д) Разработан функционал поиска данных на дашбордах; е) Разработан функционал кросс-фильтрации и множественного отбора; ж) Разработан интерфейс для ETL; з) Разработан функционал навигации между разделами системы. Каждая задача нашла отражение в соответствующей главе настоящего НТО. Все работы по проекту выполнены в объеме, соответствующем календарному плану и техническому заданию. Целью третьего этапа являлась разработка следующего функционала: • Добавление формул в виджетах - предиктивная и прескриптивная аналитика; • Создание конструктора отчетов; • Интеграция с внешними аналитическими инструментами (Mathlab, Jupyter); • Разработка инструментов Backup & Recovery; • Разработка конструктора нейросетей: o определение количества слоев, нейронов в каждом слое, весовых коэффициентов; o мониторинг работы сети; o обучение сети; o помещение результатов работы сети (например, классификация данных) в хранилище; o протоколирование результатов работы; o формирование рекомендаций для принятия решений. • Администрирование всей системы через единый интерфейс; • Тестирование: o Формул в виджетах; o Конструктор отчетов; o Конструктор нейросетей. • Комплексное тестирование системы в целом и внесение корректировок, выявленных в ходе тестирования; • Публикация виджетов (панелей) во внешних источниках и создание историй (срезов); • Интеграция конструктора нейросетей со средствами визуального представления данных и аналитики. Для достижения цели третьего этапа НИОКР были решены все поставленные задачи: а) Добавлены формулы в виджеты и реализована виртуальная колонка; б) Создан Конструктор отчетов; в) Осуществлена интеграция Mathlab и Jupyter г) Разработаны инструменты Backup & Recovery д) Разработан конструктор нейросетей; е) Реализована возможность управления всей системой через единый раздел администрирования; ж) Проведено тестирование формул в виджетах, конструктора отчетов и конструктора нейросетей; з) Проведено комплексное тестирование системы; и) Создан механизм публикации (виджетов) во внешних источниках; к) Создан механизм интеграции конструктора нейросетей со средствами визуального представления данных. Все работы по проекту выполнены в объеме, соответствующем календарному плану и техническому заданию.