[发明专利]基于垂直搜索和聚焦爬虫的网页分类技术

权利要求书

1.一种基于垂直搜索和聚焦爬虫技术的网页分类识别方法，其特征在于该方法的步骤为：

(1)读取预设网址导航站点的URL列表，判断URL列表是否为空，若为空，则转步骤(8)；

(2)取出一个站点URL，将其放入未访问的URL列表(UV_URL列表)中。

(3)如果UV_URL列表为空，则转步骤(1)；

(4)从UV_URL列表中取出一个URL，根据表V_URL判断此URL是否被访问过，若是，则转步骤(3)；

(5)对取得的URL进行网页源码获取，利用垂直搜索技术和聚焦爬虫技术对网页内容解析，获取此站点下的网页类别信息及各个类别中对应的网址信息；

(6)将网页类别信息及各个类别中对应的网址信息加入到Category列表中；

(7)从表UV_URL中删除URL，并将其添加到V_URL中，转向(1)；

(8)结束。

2.网页内容解析法，它是基于垂直搜索和聚焦爬虫技术的网页分类识别方法中的核心方法。其特征在于通过垂直搜索和聚焦爬虫技术来准确识别导航网站的网址分类和对应分类下的网址信息，其方法步骤为：

(1)利用聚焦爬虫抓取网页的源文件；

(2)判断此网页是否满足正则表达式定时学习器模式学习得到的网页结构特征，若不满足，转步骤(6)；

(3)利用正则表达式抽取网页的结构化信息，此结构化信息即为网址分类信息的内容块；

(4)根据正则表达式从结构化信息块中提取符合要求的新链接；

(5)将新链接加入URL队列中；

(6)判断URL队列是否为空，若为空，则转步骤(8)；

(7)取出一个URL，判断此URL是否满足搜索策略，若满足，则将此URL加入到网址类别表Category中，并同时转向步骤(1)；否则，转向步骤(6)；

(8)结束。