[发明专利]页面检测方法及客户端

说明书

本发明提供了一种页面检测方法及客户端。其中，方法包括：在针对网络进行旁路侦听的过程中抓取数据请求包，其中，数据请求包至少包括超文本传输协议请求包；确定数据请求包对应的链接是否为新链接，其中，新链接为链接库中未保存的链接；若是，利用对应的链接生成待爬虫库；提取待爬虫库中的任一链接：获取与任一链接对应的页面；提取页面的所有节点；根据所有节点检测页面是否包含新链接；当检测结果为是，获取新链接，并添加至待爬虫库，以供后续执行页面检测使用。依据本发明实施例提供的页面检测方法，能够达到自动抓取基于第二代互联网制作相关内容的网站的链接，完善爬虫操作效果的有益效果。

技术领域

本发明涉及页面检测领域，特别是涉及一种页面检测方法及客户端。

背景技术

随着网络科技的发展，功能更加完善的第二代互联网越来越受到人们的青睐。因此，根据第二代互联网制作相关内容的网站也逐渐增多。但现有技术中基于第一代互联网开发的爬虫引擎无法适应根据第二代互联网制作相关内容的网站。例如基于第一代互联网开发的爬虫引擎无法抓取大部分基于第二代互联网制作相关内容的网站的链接，不能够自动获取和/或触发基于第二代互联网自制相关内容的网站的异步事件和其他事件。

因此，现有技术中基于第一代互联网开发的爬虫引擎无法全面对页面进行检测，进而造成对用户的检索操作造成不良影响等后果。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的页面检测方法和相应的客户端。

依据本发明的一个方面，提供了一种页面检测方法，包括：在针对网络进行旁路侦听的过程中抓取数据请求包，其中，所述数据请求包至少包括超文本传输协议请求包；确定所述数据请求包对应的链接是否为新链接，其中，所述新链接为链接库中未保存的链接；若是，利用所述对应的链接生成待爬虫库；提取所述待爬虫库中的任一链接：获取与所述任一链接对应的页面；提取所述页面的所有节点；根据所述所有节点检测所述页面是否包含所述新链接；当检测结果为是，获取所述新链接，并添加至所述待爬虫库，以供后续执行页面检测使用。

可选地，根据所述所有节点检测所述页面是否包含所述新链接，包括：提取所述所有节点中的所有动态节点，其中，所述动态节点包括HTML节点；获取与所述所有动态节点一一对应的属性值；根据所述属性值检测所述所有动态节点中是否包含新链接；若是，则所述页面包含所述新链接；若否，则所述页面不包含所述新链接。

可选地，根据所述属性值检测所述所有动态节点中是否包含新链接，包括：根据所述属性值获取所述所有动态节点包含的所有事件，并保存至事件库；遍历所述事件库，依次触发所述事件库中的任一事件；判断所述触发操作是否生成所述新链接；若是，则所述所有动态节点中包含所述新链接；若否，则所述所有动态节点中不包含所述新链接。

可选地，依次触发所述事件库中的任一事件，包括：根据事件的类型选择相应的函数来触发所述事件。

可选地，所述根据事件的类型选择相应的函数来触发所述事件，包括：若所述事件的类型为鼠标单击事件，调用由Chrome浏览器的WebKit::WebElement提供的鼠标单击函数来触发所述鼠标单击事件。

可选地，根据所述属性值获取所述所有动态节点包含的所有事件，包括：提取所述属性值中任一属性值；根据所述任一属性值判断与其对应的动态节点中是否包含事件；若是，保存所述事件至事件库，并重复所述提取操作以及所述判断操作，直至保存所述所有动态节点包含的所有事件至事件库；若否，直接重复所述提取操作以及所述判断操作，直至保存所述所有动态节点包含的所有事件至事件库。

可选地，根据所述任一属性值判断与其对应的动态节点中是否包含事件，包括：通过调用Chrome浏览器的WebCore::EventTarget::hasEventListeners()函数判断与所述任一属性值对应的动态节点是否包含事件。