[发明专利]一种主题网络爬虫系统的设计方法

权利要求书

1、一种主题网络爬虫系统的设计方法，其特征在于：本设计方法包括以下步骤：

(1)、建立主题词库，确立搜索主题，为每个主题确立不同权值；

(2)、设定阈值，对爬取网页进行过滤，剔除主题相关度低于设定阈值的网页；

(3)、计算网页重要程度，确定网页的访问顺序；

(4)、为方便主题爬虫处理链接和计算主题相关度，建立4个URL队列：待分析的URL队列Waiting queue、正在分析的URL队列Running queue、分析完成的URL队列Completedqueue、错误或抛弃的URL队列Exceptions queue。

2、根据权利要求1所述的一种主题网络爬虫系统的设计方法，其特征在于：步骤(1)建立主题词库，确立搜索主题，为每个主题确立不同权值，得到本方法的主题词库，其步骤包括：

1)、给定一个跟主题信息主题有关的网页集合，该网页集合来自建立的专业网站数据库，具有有代表性和全面概括性，由程序自动将这些网页里面共同的特征进行提取，并根据频率确定权值；

2)、手工设置一组关于主题信息的关键词并分配权值。

3、根据权利要求1所述的一种主题网络爬虫系统的设计方法，其特征在于：步骤2对爬取网页进行过滤，剔除主题相关度低于设定阈值的网页，其实现方法：采用向量空间模型算法(Vector Space Model，VSM)计算网页主题相关度，实现网页过滤。

4、根据权利要求1所述的一种主题网络爬虫系统的设计方法，其特征在于：步骤3计算网页重要程度，确定网页的访问顺序，其实现方法：应用超链接分析算法来判断URL的重要性，从而得到网页的重要程度。