[发明专利]网页信息提取方法及设备

说明书

【技术领域】

本发明涉及通信技术，尤其涉及一种网页信息提取方法及设备。

【背景技术】

因特网（Internet）是到目前为止世界上最丰富和最密集的信息来源，可以采用网络爬虫技术，获取我们所需要的信息。所述网络爬虫技术是一个自动提取网页的程序，它通过指定的域名，从一个或若干目标网页的统一资源定位符（Uniform Resource Locator，URL）（即种子网页的URL）开始，获得目标网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到没有可继续访问的URL为止。其中，URL也被称为网页地址，即网页的链接信息，是Internet上标准的资源的地址。

然而，现有的网络爬虫技术无法保证网页信息提取的完备性和准确性。

【发明内容】

本发明的多个方面提供一种网页信息提取方法及设备，用以提高网页信息提取的完备性和准确性。

本发明的一方面，提供一种网页信息提取方法，包括：

获取待提取的网页；

根据所述网页的链接信息，确定与所述网页的链接信息对应的预先设置的网页结构，所述网页结构包括至少两个节点和所述每个节点之间的逻辑关系，所述每个节点对应一个链接信息；

利用所述网页结构，对所述网页进行解析，以获得满足所述网页结构的链接信息；

根据所述链接信息，获取所述链接信息对应的内容信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述网页的链接信息，确定与所述网页的链接信息对应的预先设置的网页结构之前，还包括：

根据至少一个网站的页面特征，设置与每个所述网站对应的所述网页结构。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用所述网页结构，对所述网页进行解析，包括：

根据脚本信息，确定所述网页中的待提取区域和/或待提取内容，所述脚本信息包括定位指令、提取指令、循环控制指令、区域控制指令和链接扩散指令中的至少一个指令；

根据所述待提取区域和/或所述待提取内容，以及利用所述网页结构，对所述网页进行解析。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据脚本信息，确定所述网页中的待提取区域和/或待提取内容之前，还包括：

根据提取需求，预先设置所述脚本信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

根据提取需求的变化，修改所述脚本信息。

本发明的另一方面，提供一种网页信息提取设备，包括：

获取单元，用于获取待提取的网页；

确定单元，用于根据所述网页的链接信息，确定与所述网页的链接信息对应的预先设置的网页结构，所述网页结构包括至少两个节点和所述每个节点之间的逻辑关系，所述每个节点对应一个链接信息；

解析单元，用于利用所述网页结构，对所述网页进行解析，以获得满足所述网页结构的链接信息；

所述获取单元，还用于根据所述链接信息，获取所述链接信息对应的内容信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述设备还包括设置单元，用于

根据至少一个网站的页面特征，设置与每个所述网站对应的所述网页结构。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述解析单元，具体用于

根据脚本信息，确定所述网页中的待提取区域和/或待提取内容，所述脚本信息包括定位指令、提取指令、循环控制指令、区域控制指令和链接扩散指令中的至少一个指令；以及根据所述待提取区域和/或所述待提取内容，以及利用所述网页结构，对所述网页进行解析。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述设置单元，还用于

根据提取需求，预先设置所述脚本信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述设置单元，还用于

根据提取需求的变化，修改所述脚本信息。