Программный модуль для автоматического краулинга ФЭБ "Русская литература и фольклор" с динамически формируемым деревом содержания

06.12.2023

Программный модуль предназначен для автоматического извлечения веб-страниц с портала ФЭБ, имеющего динамически формируемое содержание, реализованное на основе технологии ASP.NET. Программный модуль может использоваться любым пользователем, перед которым стоит задача автоматизации сохранения данных с портала ФЭБ. Тип ЭВМ: PC. ОС: Windows 7 и выше, Linux-совместимые ОС (Astra Linux, Ubuntu/Debian, Redhat, и др.). Функциональные возможности программного модуля: Осуществляется автоматическое рекурсивное сканирование страниц портала на предмет поиска ссылок, содержащих текст. По результатам сканирования формируется полный индекс доступных ссылок. По составленному индексу страницы сохраняются на устройстве, с которого была запущена программа в виде html-документа. В дополнение к индексу сохраняется структура портала для сохранения иерархии организации документов.

ГРНТИ

28.23.01 Общие вопросы искусственного интеллекта

Ключевые слова

Краулер

сохранение материалов

ФЭБ

сканер

Детали

Тип РИД

Программа для ЭВМ

Сферы применения

Разработанный программный модуль может быть использована для сохранения в локальном хранилище данных материалов с портала ФЭБ «Русская литература и фольклор» с сохранением иерархии организации материалов.

Ожидается

Исполнитель

Исполнители

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"

Заказчик

Похожие документы

Программный модуль для автоматического краулинга ФЭБ "Русская литература и фольклор" с динамически формируемым деревом содержания

1.000

РИД

Программный модуль для составления индекса литературных произведений на основе заголовков в файлах формата TEI

0.921

РИД