Исследование и разработка программного инструментария на основе технологий Apache Hadoop/Spark и открытых кодов для анализа результатов предсказательного моделирования газодинамических процессов на сверх больших сетках

21 век ставит перед учеными и инженерами сложные задачи вызова, решение которых позволит в условиях острой конкуренции выйти с высокими достижениями на глобальные рынки научных достижений. К числу таких задач относятся фундаментальные задачи моделирования на суперкомпьютерах многомасштабных процессов в природе и создаваемых технических устройствах. Значительная часть задач вызова охватывает много дисциплинарные области знаний, что усложняет разработку математических методов и программных технологий создания проблемно ориентированных кодов моделирования. Это также требует создания специальных высокопроизводительных вычислительных систем пета и экза флопсной производительности. Уровень развития высокопроизводительных суперкомпьютеров в мире и достигнутый в настоящее время уровень развития специализированных проблемно-ориентированных программных кодов предсказательного моделирования позволяет в настоящее время в необходимых случаях увеличить разрешающую способность вычислительных сеток до величин порядка миллиарда узлов и более. Современные средства научной визуализации уверенно справляются с задачами отображения стационарных изображений, даже в области больших данных. Программные и аппаратные средства предсказательного моделирования, доступные широкому кругу российских ученых, позволяют производить газодинамические расчеты на сетках объемом до 10 млрд. ячеек, в то время как, средства визуализации на таких сетках, пока отстают. Файлы результатов моделирования нестационарных процессов на сверх больших сетках представляют собой огромные массивы данных. Огромные размеры этих файлов порождают проблему научной визуализации этих данных. Анализ глобального рынка программных средств научной визуализации данных на сверх больших сетках с числом узлов до миллиарда показывает на отсутствие надежных инструментария анализа этих результатов. Известные бренды научной визуализации, такие как ParaView, TechPlot, COVISE, TechViz в своих обзорах не приводят сведений об эффективной визуализации результатов моделирования на сетках свыше миллиарда улов. В тоже время, необходимость научной визуализации результатов моделирования на сверх больших сетках весьма актуальна и востребована создателями сверхзвуковых и гиперзвуковых летательных аппаратов. Научная проблема, на решение которой направлен проект, формулируется как проблема эффективной и, что важно, быстрой обработки сверх больших данных (Big Data) в части научной визуализации и анализа результатов предсказательного моделирования внешней и внутренней аэродинамики современных летательных аппаратов на сверх больших сетках средствами специализированного программного обеспечения и средствами программно-аппаратных комплексов виртуального окружения типа X-sided CAVE 3D и HMD HTC VIVE. В проекте предлагается провести исследования существующих алгоритмов открытых и доступных кодов научной визуализации больших данных с целью выявления причин неэффективного их исполнения. На основе проведенного исследования коллектив исполнителей проекта планирует предложить новый эффективный инструментарий на основе технологий Apache Hadoop/Spark и новых разрабатываемых в рамках этого проекта кодов анализа результатов предсказательного моделирования газодинамических процессов на сверх больших сетках. Основные задачи проекта сосредоточены в области построения алгоритмов обработки больших данных (Big Data) результатов, полученных в результате моделирования газодинамических течений при проектировании современных летательных аппаратов и авиационных двигателей . Предварительная обработка результатов расчетов на платформе Apache Hadoop/Spark сделает возможной интерактивную визуализацию в существующих средствах научной графики. Поскольку анализ глобального рынка программных средств научной визуализации данных на сетках с числом узлов до нескольких миллиардов показывает на отсутствие надежных и быстрых инструментов анализа этих результатов мире, то создание таких инструментов соответствовало бы в известной мере прорыву в этом направлении. К тому же известные бренды научной визуализации, такие как ParaView, TechPlot, COVISE, TechViz в своих обзорах не приводят сведений об эффективной и быстрой визуализации результатов моделирования на сетках свыше миллиарда улов. В проекте речь идет о формировании цепочки технологий научной визуализации больших данных. От выполнения моделирования на современном суперкомпьютере сложного газодинамического течения с последующим экспортом файлов результатов (больших данных), на основе предлагаемых здесь технологий Apache Hadoop/Spark и существенной переработке открытых кодов, в систему виртуального окружения типа X-sided CAVE 3D (Computer Aided Virtual Environment) и/или устройства типа HMD HTC VIVE.