Разработка новых подходов и методов построения инструментов для работы со сверхбольшими архивами данных дистанционного зондирования с использованием распределенных вычислительных ресурсов

В последние годы наблюдается резкий рост количества высококачественных спутниковых систем дистанционного зондирования Земли (ДЗЗ), что приводит к резкому росту объемов получаемых с них данных. Поэтому сегодня возникает необходимость создания новых подходов и технологий, обеспечивающих организацию эффективной работы с такой информацией. Одной из наиболее актуальных задач является создание новых инструментов для работы с данными, находящимися в постоянно пополняющихся распределенных архивах центров сбора, обработки и архивации спутниковой информации.Следует отметить, что быстрое развитие технологий распределенного получения и анализа информации позволило начать создание web-инструментов для распределенной работы с данными спутниковых наблюдений, во многом не уступающим специализированным настольным приложениям. Например, в Институте космических исследований Российской академии наук (ИКИ РАН) создана технология, позволяющая разрабатывать достаточно сложные web-интерфейсы работы с пространственными данными (технология GEOSMIS). На основе данной технологии созданы специализированные инструменты, позволяющие проводить анализ данных из распределенных сверхбольших архивов, накопленных в различных центрах приема и архивации. Эти инструменты позволяют не только осуществлять оперативную выборку необходимой информации, но и проводить ее обработку с использованием удаленных вычислительных ресурсов. Методические основы и базовое программное обеспечение для создания таких инструментов были разработаны при активном участии авторов настоящего проекта. В то же время по мере роста востребованности подобных инструментов возникает необходимость в разработке новых методов и подходов, обеспечивающих возможность эффективного использования в их работе различных распределенных вычислительных ресурсов. Решению данной проблемы и посвящен настоящий проект. В нем, в частности, предполагается:•разработать подходы к организации систем распределенной обработки спутниковых данных, ориентированных на работу со сверхбольшими постоянно обновляющимися архивами информации;•разработать методы управления распределенными ресурсами, ориентированными на работу со сверхбольшими постоянно обновляющимися архивами информации, в том числе автоматического выбора вычислительных мощностей для выполнения конкретной процедуры обработки, исходя из минимизации затрат на передачу из используемых распределенных систем хранения данных, необходимых для работы процедуры;•проверить эффективность создаваемых подходов и методов на примере создания специализированных web-интерфейсов для анализа данных, ориентированных на решение различных задач, связанных с исследованием состояния растительного покрова, морской поверхности и катастрофических природных явлений (в том числе, извержений вулканов).