[发明专利]同话题定位跟踪式论坛爬虫系统

摘要

本发明公开了一种同话题定位跟踪式论坛爬虫系统，包括以下部件：非文本粗略过滤器，非文本精确过滤器，超链接补全器，纯网页超链接存储库，同话题定位跟踪器，同话题网页超链接存储库，网页组数据下载器，统一编号器，网页组数据存储库，以及纯网页超链接供应器。通过应用本发明所描述的系统，可以有效地解决爬虫系统采集论坛数据大量冗余和凌乱无序的问题；可以为搭建论坛搜索引擎系统的重要组成部分——论坛数据采集系统提供通用可靠的搭建框架；显著降低论坛爬虫系统的开发难度，进一步有效地降低论坛搜索引擎系统开发成本。

主权项

1. 一种同话题定位跟踪式论坛爬虫系统，其特征在于包括：非文本粗略过滤器，用于提取网页中的所有超链接；非文本精确过滤器，用于过滤去除所有指向不是文本信息的超链接；超链接补全器，用于修正并且补完整超链接；纯网页超链接存储库，用于保存网页中所有指向纯文本信息的超链接；同话题定位跟踪器，用于定位并且跟踪一系列同一话题的网页组；同话题网页超链接存储库，用于存储在所述同话题定位跟踪器中被定位并且跟踪一系列同一话题的网页组的超链接；网页组数据下载器，用于保存在所述同话题网页超链接存储库中被超链接指向的网页组；统一编号器，用于为在所述网页组数据下载器中保存的网页组数据进行统一分配标识号码；网页组数据存储库，用于存储在所述网页组数据下载器中下载的数据；纯网页超链接供应器，用于向所述非文本粗略过滤器提供需要处理的超链接。