[发明专利]网页信息的提取方法、装置、设备及存储介质

权利要求书

1.一种网页信息的提取方法，其特征在于，包括：

获取待提取网页中每一叶子节点的叶子节点路径；

根据所述叶子节点路径，获取所述叶子节点路径对应的所述叶子节点的叶子节点信息和所述叶子节点的父节点的父节点信息，得到所述叶子节点的节点信息；

其中，所述叶子节点的叶子节点信息包括：叶子节点的tag标签、叶子节点的class属性和叶子节点的文本长度；

其中，所述叶子节点的父节点的父节点信息包括：叶子节点对应的父节点的tag标签和叶子节点对应的父节点的class属性；

根据每一所述叶子节点路径和每一所述叶子节点的节点信息，构建文档对象模型DOM树；

所述根据每一所述叶子节点路径和每一所述叶子节点的节点信息，构建文档对象模型DOM树，包括：

根据每一所述叶子节点路径，构建DOM树框架；

将每一所述叶子节点的节点信息记录到所述DOM树框架中对应的所述叶子节点所在的位置，得到所述DOM树；

对所述DOM树中的每一节点进行遍历，并利用预先训练获得的神经网络识别模型对遍历到的每一所述叶子节点进行分析，得到每一所述叶子节点的分析结果；

根据每一所述叶子节点的所述分析结果，确定待提取信息的提取路径；

根据所述提取路径，从所述待提取网页中提取所述待提取信息。

2.根据权利要求1所述的网页信息的提取方法，其特征在于，所述获取待提取网页中每一叶子节点的叶子节点路径，包括：

获取所述待提取网页的超文本标记语言HTML源码；

对所述HTML源码进行解析，得到所述待提取网页包括的所有节点的路径信息；

对所述路径信息去重，得到所述待提取网页中每一所述叶子节点的所述叶子节点路径。

3.根据权利要求1所述的网页信息的提取方法，其特征在于，所述对所述DOM树中的每一节点进行遍历，并利用预先训练获得的神经网络识别模型对遍历到的每一所述叶子节点进行分析，得到每一所述叶子节点的分析结果，包括：

对所述DOM树中的每一节点进行遍历，并获取遍历到的每一所述叶子节点的节点信息；

按序将遍历到的每一所述叶子节点的节点信息输入预先训练获得的神经网络识别模型，并获取所述神经网络识别模型的输出结果，得到每一所述叶子节点的所述分析结果。

4.根据权利要求3所述的网页信息的提取方法，其特征在于，所述按序将遍历到的每一所述叶子节点的节点信息输入预先训练获得的神经网络识别模型，包括：

对于遍历到的每一所述叶子节点的节点信息，分别对所述叶子节点的tag标签、所述叶子节点的class属性、所述叶子节点对应的父节点的tag标签和所述叶子节点对应的父节点的class属性进行向量转换，得到四个词向量；

按序将遍历到的每一所述叶子节点对应的四个词向量和所述叶子节点的本文长度输入预先训练获得的神经网络识别模型。

5.根据权利要求1所述的网页信息的提取方法，其特征在于，所述根据每一所述叶子节点的所述分析结果，确定待提取信息的提取路径，包括：

根据每一所述叶子节点的所述分析结果，确定所述DOM树中需要保留的节点；

根据所述DOM树中需要保留的节点，确定待提取信息的提取路径。

6.根据权利要求5所述的网页信息的提取方法，其特征在于，所述根据每一所述叶子节点的所述分析结果，确定所述DOM树中需要保留的节点，包括：

对于所述DOM树中的每一所述父节点，根据所述父节点下所有子节点的分析结果，确定所述父节点是否需要保留；

在所述DOM树中标记需要保留的所述父节点，并根据每一所述叶子节点的所述分析结果标记需要保留的所述叶子节点，得到所述DOM树中需要保留的节点。

7.根据权利要求5所述的网页信息的提取方法，其特征在于，所述根据所述DOM树中需要保留的节点，确定待提取信息的提取路径，包括：

按照预设的遍历的方式对所述DOM树中需要保留的节点进行遍历，将遍历到的每一所述节点的tag标签按序添加到预先构建的存储介质，得到所述待提取信息的所述提取路径。