[发明专利]一种网页解析方法、系统及电子设备

权利要求书

1.一种网页解析方法，其特征在于，包括：

从待采集网页列表中确定第一待采集网页，确定所述第一待采集网页的地址信息，所述待采集网页列表中包括多个待采集网页，每个待采集网页对应一个地址信息；

基于所述第一待采集网页的地址信息确定所述第一待采集网页的特性信息；

基于所述第一待采集网页的特性信息确定符合所述特性信息的采集模式，基于所述采集模式采集所述第一待采集网页的网页信息；

解析并存储所述网页信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一待采集网页的地址信息确定所述第一待采集网页的特性信息，包括：

基于所述第一待采集网页的地址信息确定所述第一待采集网页是否为特定类型渲染网页，以及，确定所述第一待采集网页是否对所述第一待采集网页中存在的网页链接进行采集。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一待采集网页的特性信息确定符合所述特性信息的采集模式，包括：

若确定所述第一待采集网页为所述特定类型渲染网页，且仅对所述第一待采集网页进行采集，则确定所述第一待采集网页为动态非扩展类型的网页，确定动态非扩展采集模式；

若确定所述第一待采集网页为所述特定类型渲染网页，且对所述第一待采集网页中存在的网页链接进行采集，则确定所述第一待采集网页为动态扩展类型的网页，确定动态扩展采集模式；

若确定所述第一待采集网页为非特定类型渲染网页，且仅对所述第一待采集网页进行采集，则确定所述第一待采集网页为静态非扩展类型的网页，确定动态非扩展采集模式；

若确定所述第一待采集网页为非特定类型渲染网页，且对所述第一待采集网页中存在的网页链接进行采集，则确定所述第一待采集网页为静态扩展类型的网页，确定静态扩展采集模式。

4.根据权利要求1所述的方法，其特征在于，所述基于所述采集模式采集所述第一待采集网页的网页信息，包括：

基于所述采集模式下载所述第一待采集网页；

从下载的所述第一待采集网页中获取网页信息。

5.根据权利要求4所述的方法，其特征在于，还包括：

获得下载的所述第一待采集网页中存在的网页链接；

确定所述第一待采集网页中的网页链接是否与所述待采集网页列表中的待采集网页的地址信息相同；

若所述网页链接与所述待采集网页列表中每一待采集网页的地址信息均不相同，将所述网页链接作为一个地址信息存储至所述待采集网页列表。

6.根据权利要求1所述的方法，其特征在于，所述解析并存储所述网页信息，包括：

确定解析模板列表中是否有与所述网页信息匹配的解析模板；

若解析模板列表中存在与所述网页信息匹配的解析模板，则通过所述解析模板解析所述网页信息；

若所述解析模板列表中不存在与所述网页信息匹配的解析模板，则选择通用解析模板解析所述网页信息。

7.根据权利要求6所述的方法，其特征在于，还包括：

获得解析模板生成指令；

基于所述解析模板生成指令生成与所述网页信息匹配的特定解析模板；

基于所述特定解析模板解析所述网页信息。

8.一种网页解析系统，其特征在于，包括：

第一确定单元，用于从待采集网页列表中确定第一待采集网页，确定所述第一待采集网页的地址信息，所述待采集网页列表中包括多个待采集网页，每个待采集网页对应一个地址信息；

第二确定单元，用于基于所述第一待采集网页的地址信息确定所述第一待采集网页的特性信息；

采集单元，用于基于所述第一待采集网页的特性信息确定符合所述特性信息的采集模式，基于所述采集模式采集所述第一待采集网页对的网页信息；

解析单元，用于解析并存储所述网页信息。