ОТЧЕТ о выполнении НИОКР по теме: "Разработка дедуктивной базы знаний «Deductive Lake House (KaaS)» Этап No1"Разработка адаптеров для интеграции с источниками данных, проектирование, реализация каталога данных и правил нормализации/гармонизации/стандартизации данных: Разработка технической архитектуры продукта; Разработка и проектирование API для push / pull запросов; Тестирование API для push / pull запросов; Прием CDC потоков данных; Проектирование и разработка API регистрации потоков на основании правил нормализации / гармонизации / стандартизации данных; Формирование родословной данных; Проектирование и описание методологии data governance (крупноблочно); Создание функциональной архитектуры продукта; Создание прототипа пользовательского интерфейса работы с моделями данных; Проектирование и разработка API регистрации логических слоев данных и правил трансформации; Тестирование API для регистрации логических слоев и правил трансормации данных; Тестирование функциональности 1-го этапа (интеграционное): API, прием потоков данных, пользовательского интерфейса" (промежуточный).

Объектом разработки является программное обеспечение, реализовывающее алгоритмы управления данными для непрерывного обеспечения качества и оперативного моделирования данных Цель выполнения НИОКР – создание программного продукта, предоставляющего решения для интеграции данных, качества данных, управления данными, подготовки данных и работе с большими данными. В процессе работы проводилась разработка и тестирование программного обеспечения, реализующего алгоритмы управления данными. Новизной разработки является: - Двусторонняя модель взаимодействия с источниками заложена в архитектуру решения. Данная модель отсутствует у конкурентов в РФ - Используемые технологии позволяют не нагружать источники данных при импорте Основные технико-эксплуатационные показатели: - стабильная работа программного кода при увеличение количества источников данных и объемов данных (на примере увеличение источников от 2 до 10, где количество обрабатываемых таблиц >=40). - скорость адаптации системы под динамическое изменение потоков данных (<=1 час) - скорость реакции системы при интеграции нового источника (<=4 часа) - пропускная способность при трансформации данных системой (ограничена только пропускной способностью дисков и сети) - скорость донесения информации до конечного хранилища данных (<= 1 мин) - запуск программного кода в отдельных контейнерах. Степень внедрения - проведены тестовые испытания функциональности первого этапа разработки согласно протоколам, повторным тестированием выявлено устранение всех замечаний. Текущий программный код функционирует и решает часть задач в управлении данными. Разработка программного обеспечения будет продолжена в соответствии с запланированной этапностью работ