Проектирование платформы для аналитики корпоративных данных Финансового университета FINDATALAKE

Data Lake (Озеро данных) – это метод хранения данных системой или репозиторием в натуральном (RAW) формате, который предполагает одновременное хранение данных в различных схемах и форматах. Используются blob-объект (binary large object) или файл. Идея озера данных в том, чтобы иметь логически определенное, единое хранилище всех данных в организации (enterprise data) начиная от сырых, необработанных исходных данных (RAW data) до предварительно обработанных (transformed) данных, которые используются для различных задач: отчеты, визуализация, аналитика и машинное обучение. Data Lake (озеро данных) включает структурированные данные из реляционных баз данных (строки и колонки), полуструктурированные данные (CSV, лог файлы, XML, JSON), неструктурированные данные (почтовые сообщения, документы, pdf) и бинарные данные (видео, аудио, графические файлы). Data Lake (озеро данных), кроме методов хранения и описания данных, предполагает определение источников и методов пополнения данных. Цель создания FinDataLake: создание платформы для аналитики корпоративных данных Финансового университета, обеспечивающей интеграцию данных для решения задач прогнозирования и аналитики с применением технологий машинного обучения в едином хранилище на основе технологий больших данных и семантических технологий Основные задачи FinDataLake:  Публикация данных для общего использования данных в аналитических и прогнозных моделях.  Кооперативный доступ к данным: возможность с минимальными административными ограничениями манипулировать данными, в том числе выполнять их преобразование.  Использование открытой онтологии данных для их разметки и интеграции и возможности самостоятельно расширять набор типов данных онтологии.  Облегчение информационно-аналитического поиска в рамках всех видов данных внутри хранилища, в том числе поиск по типам информационных объектов.  Возможность построения сложных аналитических и прогнозных моделей на основе интегрированных данных хранилища FINDATALAKE.  Возможность интеграции данных из FINDATALAKE c FINDATAHUB. Для реализации поставленной цели должны быть выполнены следующие работы:  Разработать архитектуру физического уровня FINDATALAKE в составе: серверное оборудование, коммутационное оборудование, локальные хранилища данных, облачные хранилища данных. Архитектура должна включать схему администрирования и управления, коммутационную схему, схему сетевого взаимодействия на уровнях интранет и интернет.  Разработать архитектуру функционального уровня FINDATALAKE реализующего распределенное хранение больших данных в составе экосистемы Hadoop. Архитектура должна включать структурную схему хранилища объектов, функциональную схему взаимодействия компонентов экосистемы Hadoop.  Разработать проектную документацию на создание интерфейса ввода (записи) объектов.  Разработать проектную документацию на создание интерфейса мониторинга и учета объектов.  Разработать политики разграничения прав доступа к данным.  Разработать проектную документацию на создание интерфейса чтения объектов.