Парсинг сетевых данных

Программа предназначена для парсинга сетевых данных и их последующего анализа. Парсингможет осуществляться как с ресурсов, требующих авторизацию пользователей, так и с ресурсов,на которых авторизация пользователей не требуется. Основой для парсинга является содержимоевеб-страниц, выбор которых осуществляется пользователем программы посредством«get-запросов». Программа преобразует и структурирует сетевые данные в текстовый массив.Это позволяет: извлекать сетевые данные из анализируемого массива - ключевые слова; извлекатьданные для проведения фолксономического анализа, в том числе анализа тональности хэштегов;извлекать цитируемых авторов социальных сетей; анализировать частотность используемыхслов; анализировать полуструктурированные выражения с заданным словом, т.е. извлекатьфакты; производить анализ тональности анализируемого массива; извлекать и анализироватьнаиболее частотные словосочетания, использующиеся в анализируемом массиве.