[发明专利]网页处理方法和装置

权利要求书

1.一种网页处理方法，其特征在于，包括：

爬取目标网站的所有页面上的超链接信息，其中，所述目标网站的页面包括：首页、栏目列表页、内容页；

根据爬取的页面的网址和所述超链接信息建立页面之间的导航关系，得到第一导航关系；

根据所述第一导航关系确定与目标栏目列表页相关联的内容页；

其中，根据所述第一导航关系确定与目标栏目列表页相关联的内容页，包括：

根据所述第一导航关系筛选出第三页面，筛选出的全部所述第三页面构成第三页面集合，所述第三页面为与所述目标栏目列表页具有双向导航关系的页面；

从所述第三页面集合中筛选出第四页面，筛选出的全部所述第四页面构成第四页面集合，其中，所述第四页面为所述第三页面集合中除所述栏目列表页和所述首页以外的页面；

将所述第四页面集合中的页面作为所述目标栏目列表页关联的内容页；

其中，从所述第三页面集合中筛选出第四页面，包括：

获取所述目标网站的首页和所有栏目列表页的网址；

依次将所述第三页面集合中所有所述第三页面的网址与所述目标网站的首页的网址、所述所有栏目列表页的网址分别进行匹配；

如果所述第三页面的网址与所述目标网站的首页的网址、所述所有栏目列表页的网址均匹配失败，则确定所述第三页面为所述第四页面。

2.根据权利要求1所述的方法，其特征在于，根据爬取的页面的网址和所述超链接信息建立页面之间的导航关系，得到第一导航关系，包括：

爬取第一页面上的超链接信息，得到第一超链接信息，其中，所述第一页面为所述目标网站的任意一个页面；

根据所述第一页面的网址和所述第一超链接信息建立所述第一页面与其他页面之间的导航关系，得到第二导航关系；

汇总所有的第二导航关系，得到所述第一导航关系。

3.根据权利要求2所述的方法，其特征在于，根据所述第一页面的网址和所述第一超链接信息建立所述第一页面与其他页面之间的导航关系，得到第二导航关系，包括：

将所述第一页面中所述第一超链接信息所链接的页面作为第二页面；

绘制所述第一页面与全部所述第二页面之间的导航关系，得到所述第二导航关系。

4.一种网页处理装置，其特征在于，包括：

爬取单元，用于爬取目标网站的所有页面上的超链接信息，其中，所述目标网站的页面包括：首页、栏目列表页、内容页；

建立单元，用于根据爬取的页面的网址和所述超链接信息建立页面之间的导航关系，得到第一导航关系；

确定单元，用于根据所述第一导航关系确定与目标栏目列表页相关联的内容页；

其中，所述确定单元包括：

查找子单元，用于根据所述第一导航关系筛选出第三页面，筛选出的全部所述第三页面构成第三页面集合，所述第三页面为与所述目标栏目列表页具有双向导航关系的页面；

筛选子单元，用于从所述第三页面集合中筛选出第四页面，筛选出的全部所述第四页面构成第四页面集合，其中，所述第四页面为所述第三页面集合中除所述栏目列表页和所述首页以外的页面；

确定子单元，用于将所述第四页面集合中的页面作为所述目标栏目列表页关联的内容页；

其中，所述筛选子单元包括：

获取模块，用于获取所述目标网站的首页和所有栏目列表页的网址；

匹配模块，用于依次将所述第三页面集合中所有所述第三页面的网址与所述目标网站的首页的网址、所述所有栏目列表页的网址分别进行匹配；

第二确定模块，用于在所述第三页面的网址与所述目标网站的首页的网址、所述所有栏目列表页的网址均匹配失败的情况下，则确定所述第三页面为所述第四页面。

5.根据权利要求4所述的装置，其特征在于，所述爬取的页面为多个，所述建立单元包括：

爬取子单元，用于爬取第一页面上的超链接信息，得到第一超链接信息，其中，所述第一页面为所述目标网站的任意一个页面；

建立子单元，用于根据所述第一页面的网址和所述第一超链接信息建立所述第一页面与其他页面之间的导航关系，得到第二导航关系；

汇总子单元，用于汇总所有的第二导航关系，得到所述第一导航关系。