Исследование и выбор методов подготовки, трансформации, интеграции и анализа данных. Разработка архитектуры прототипа интеллектуальной платформы для анализа данных. Разработка компонентов для подключения к различным источникам данных. Разработка no-code конструктора процессов подготовки и трансформации данных. Тестирование подключения к источникам данных, выполнения операций подготовки и трансформации данных и работоспособности no-code конструктора процессов. Анализ результатов тестирования и доработка подключения к источникам данных, выполнения операций подготовки и трансформации данных и работоспособности no-code конструктора процессов.

Данный промежуточный научно-технический отчёт НИОКР «Создание интеллектуальной платформы для анализа данных» посвящён выполнению первого этапа работ по разработке интеллектуальной системы, объединяющей традиционные методы ETL/ELT и современные подходы на базе искусственного интеллекта и больших языковых моделей (LLM). В отчёте подробно описаны исследования, проектирование, разработка и тестирование ключевых компонентов платформы, а также проведён сравнительный анализ существующих решений. Основные направления работы включают: • Исследование методов обработки данных. Выполнен анализ современных методов подготовки, трансформации, интеграции и анализа данных. Рассмотрены как традиционные подходы (ETL и ELT), так и инновационные технологии, включающие применение алгоритмов машинного обучения, автоматизированного управления процессами, а также LLM для предобработки неструктурированных данных. Особое внимание уделено методам API-интеграций, коннекторам для реляционных и облачных баз, а также инструментам веб-скрейпинга с учётом правовых и технических аспектов. • Разработка архитектуры платформы. Сформирована концепция интеллектуальной платформы, способной гибко настраивать процессы обработки данных. Выбран микросервисный подход, позволяющий обеспечить масштабируемость, отказоустойчивость и безопасность системы. Архитектура предусматривает хранение промежуточных результатов, логирование выполнения операций и интеграцию с различными источниками данных (базы, API, файлы, облачные хранилища). • Создание компонентов подключения и интеграции. Разработаны и протестированы модули для автоматизированного подключения к разнородным источникам данных, включая SQL-базы, REST API, файловые и облачные хранилища. Особое внимание уделено реализации коннекторов, обеспечивающих автоматическое определение схем данных и их маппинг для последующей обработки. • Разработка no-code конструктора ETL-процессов. Важным результатом этапа стало создание визуального конструктора с drag-and-drop интерфейсом, позволяющего пользователям без навыков программирования настраивать процессы очистки, нормализации, фильтрации, дедупликации, агрегации и объединения данных. Конструктор обеспечивает настройку расписания выполнения конвейеров, контроль промежуточных результатов и интеграцию с компонентами платформы. • Тестирование и оптимизация. Проведено комплексное функциональное, интеграционное и UX-тестирование системы. Проверены корректность подключения к источникам, обработка данных, работоспособность API-интеграций, файловой обработки и веб-скрейпинга. В ходе тестирования выявлены и устранены ошибки, оптимизированы алгоритмы обработки, что позволило сократить время выполнения ETL-процессов и повысить надёжность системы. Также реализованы механизмы контроля доступа с аутентификацией и разграничением прав пользователей. • Основные выводы и перспективы дальнейшей разработки. Выполненные работы подтвердили соответствие разработанных модулей требованиям технического задания и календарного плана. Созданная технологическая основа позволяет на следующем этапе интегрировать компоненты машинного обучения, расширить функциональные возможности аналитических процессов и углубить применение LLM для обработки неструктурированных данных. Дальнейшее развитие платформы планируется в направлении автоматизации аналитических процессов, повышения производительности и улучшения пользовательского опыта. Таким образом, этап 1 НИОКР успешно завершён: разработаны и протестированы ключевые компоненты интеллектуальной платформы, обеспечивающие универсальность, масштабируемость и адаптивность системы. Результаты работ создают прочную базу для последующей интеграции продвинутых аналитических и AI-инструментов, что позволит существенно расширить функциональные возможности платформы в будущем.