[发明专利]网页处理方法和装置

说明书

本发明公开了一种网页处理方法和装置。其中，该方法包括：爬取目标网站的所有页面上的超链接信息，其中，目标网站的页面包括：首页、栏目列表页、内容页；根据爬取的页面的网址和超链接信息建立页面之间的导航关系，得到第一导航关系；根据第一导航关系确定与目标栏目列表页相关联的内容页。本发明解决了现有技术中无法快速准确确定出栏目列表页关联的内容页的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种网页处理方法和装置。

背景技术

网站一般包含两种页面：内容页和列表页。内容页是包含具体文章信息的页面；而列表页起页面导航作用，使用排列好的超链接列表导航到内容页。网站栏目是对网站内容的分类，比如一般门户网站会有“新闻”、“体育”、“娱乐”等栏目。网站栏目页面一般是一个列表页，用来导航其各个内容页面。

在爬取网站数据的业务中，准确获取网站栏目列表页的所有内容页的数据，有着很实际的意义。例如，通过观测内容页的更新情况和栏目列表页的更新情况能够知道网站是否进行了更新。

网站页面都是HTML格式的文件，而列表页的列表部分一般都是由多个li标记组合而成。

XPath是一门可以在HTML文档中查找信息的语言，比如/li/h4就代表找出所有嵌套在li标记下的h4标记元素。

现有获取网站栏目列表页的所有内容页的方法，是爬取一个网站栏目页的列表项，需要检查网站栏目页的HTML源文件，找到列表项的xpath路径。在爬虫爬取下网站栏目页后，使用xpath进行文本解析得到列表项。

现有技术获取网站栏目列表页关联的内容页的方法主要有以下缺点：获取网站栏目页列表项的xpath需要很多的人工工作；况且有的网站会进行改版工作，此时xpath可能会改变，会造成解析不准确的情况。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网页处理方法和装置，以至少解决现有技术中无法快速准确确定出栏目列表页关联的内容页的技术问题。

根据本发明实施例的一个方面，提供了一种网页处理方法，包括：爬取目标网站的所有页面上的超链接信息，其中，所述目标网站的页面包括：首页、栏目列表页、内容页；根据爬取的页面的网址和所述超链接信息建立页面之间的导航关系，得到第一导航关系；根据所述第一导航关系确定与目标栏目列表页相关联的内容页。

进一步地，根据爬取的页面的网址和所述超链接信息建立页面之间的导航关系，得到第一导航关系，包括：爬取第一页面上的超链接信息，得到第一超链接信息，其中，所述第一页面为所述目标网站的任意一个页面；根据所述第一页面的网址和所述第一超链接信息建立所述第一页面与其他页面之间的导航关系，得到第二导航关系；汇总所有的第二导航关系，得到所述第一导航关系。

进一步地，根据所述第一页面的网址和所述第一超链接信息建立所述第一页面与其他页面之间的导航关系，得到第二导航关系，包括：将所述第一页面中所述第一超链接信息所链接的页面作为第二页面；绘制所述第一页面与全部所述第二页面之间的导航关系，得到所述第二导航关系。

进一步地，根据所述第一导航关系确定与目标栏目列表页相关联的内容页，包括：根据所述第一导航关系筛选出第三页面，筛选出的全部所述第三页面构成第三页面集合，所述第三页面为与所述目标栏目列表页具有双向导航关系的页面；从所述第三页面集合中筛选出第四页面，筛选出的全部所述第四页面构成第四页面集合，其中，所述第四页面为所述第三页面集合中除所述栏目列表页和所述首页以外的页面；将所述第四页面集合中的页面作为所述目标栏目列表页关联的内容页。