[发明专利]栏目页的确定方法和装置

说明书

本发明公开了一种栏目页的确定方法和装置。其中，该方法包括：爬取目标网站的页面上的超链接信息，其中，目标网站的页面包括：首页、栏目页、内容页；根据页面的网址和爬取到的超链接信息建立页面之间的导航关系，得到用于指示目标网站的页面之间的链接情况的第一导航关系；根据第一导航关系确定目标页面的导航关系参数，其中，目标页面的导航关系参数用于指示目标页面与目标网站的其他页面之间的链接情况，其中，目标页面是目标网站的任意一个页面；根据目标页面的导航关系参数确定目标页面是否为栏目页。本发明解决了现有技术中无法准确高效获取网站的栏目页的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种栏目页的确定方法和装置。

背景技术

一个网站基本上是由首页、栏目页和内容页组成的。首页是网站的入口。内容页是网站访客获取具体信息的网页。栏目页是一个网站的网站首页到具体内容页之间的过渡页面，根据网站的整体结构及发布信息的类别设立。栏目页是对内容页的分类，帮助网站访客找到需要的信息。

例如，图1中最上面被矩形框框起来的区域都是栏目页的超链接，单击“新闻”，会得到图2所示出的网页。图2已经为“新闻”分类的栏目页了。被矩形框框起来的区域发生了变化，也就是说在“新闻”分类下，出现深一层的分类。

一个网站的栏目页信息，对于网站监测和分析是很有价值的数据。

目前，获取一个网站的栏目页的方法主要有两种：

第一种：

人工浏览网站，整理网站的栏目页。该方法的缺点很明显：一、效率低下，如果需要处理成百上千家网站，时间成本和人工成本都耗费巨大；二、滞后性，如果网站添加了新栏目页，人工无法第一时间添加，甚至会造成长时间遗漏栏目页的情况。

第二种：

使用网站提供的网站地图中的数据作为栏目页，例如，图3为腾讯网的网站地图。这种方法的问题是：网站地图列举的栏目页只包含了部分栏目页，数据有缺失。如腾讯网的新闻模块有很多栏目(如图2所示)，但是网站地图中只列举了5个。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种栏目页的确定方法和装置，以至少解决现有技术中无法准确高效获取网站的栏目页的技术问题。

根据本发明实施例的一个方面，提供了一种栏目页的确定方法，包括：爬取目标网站的页面上的超链接信息，其中，所述目标网站的页面包括：首页、栏目页、内容页；根据页面的网址和爬取到的超链接信息建立页面之间的导航关系，得到用于指示所述目标网站的页面之间的链接情况的第一导航关系；根据所述第一导航关系确定目标页面的导航关系参数，其中，所述目标页面的导航关系参数用于指示所述目标页面与所述目标网站的其他页面之间的链接情况，其中，所述目标页面是所述目标网站的任意一个页面；根据所述目标页面的导航关系参数确定所述目标页面是否为栏目页。

进一步地，所述目标页面的导航关系参数为与所述目标页面具有双向导航关系的页面的数量，根据所述第一导航关系确定目标页面的导航关系参数；根据所述目标页面的导航关系参数确定所述目标页面是否为栏目页，包括：根据所述第一导航关系确定与所述目标页面具有双向导航关系的页面的数量；判断与所述目标页面具有双向导航关系的页面的数量是否大于等于预设数量；如果与所述目标页面具有双向导航关系的页面的数量大于等于所述预设数量，则确定所述目标页面为栏目页。

进一步地，根据页面的网址和爬取到的超链接信息建立页面之间的导航关系，得到用于指示所述目标网站的页面之间的链接情况的第一导航关系，包括：根据每个页面的网址和每个页面上爬取到的超链接信息建立每个页面与所述目标网站的其他页面之间的导航关系；将所有导航关系进行汇总，得到所述第一导航关系。