[发明专利]页面内容提取方法、模板的生成方法及装置、介质及设备

说明书

本公开涉及一种页面内容提取方法、模板的生成方法及装置、介质及设备。所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据第一特征路径，生成与当前页面分组对应的页面内容提取模板。因此，既可以有效保证所获得的页面内容提取模板的适用性，又可以有效提高页面内容提取模板的准确性。另外，便于根据不同页面结构的页面生成不同的页面内容提取模板，有效保证基于页面内容提取模板进行页面内容提取的准确度。

技术领域

本公开涉及页面内容抓取领域，具体地，涉及一种页面内容提取方法、模板的生成方法及装置、介质及设备。

背景技术

对网页信息进行抽取时，一般都需要确定出网页的布局结构，进而对页面内容进行抽取。在常见的机器学习进行页面内容抽取的方法中，无论是采用无监督的学习方式还是有监督的学习方式，都是对大量网页样本进行学习，而不同的地区、不同领域、甚至不同网站之间的网页布局都可能不相同，因此，通过机器学习的方式在确定其网页布局的准确率较低、进而影响网页信息抽取的准确率。

发明内容

本公开的目的是提供一种页面内容提取方法、模板的生成方法及装置、介质及设备。

为了实现上述目的，根据本公开的第一方面，提供一种页面内容提取模板的生成方法，所述方法包括：

根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；

针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；

针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径，生成与当前页面分组对应的页面内容提取模板。

可选地，所述根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，包括以下中的至少一者：

将在不同dom树中具有相同文本和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；

将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；

将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点子网分为一组，当该组节点子网中的节点子网数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点子网中的每个节点子网在所属dom树中的路径进行合并，获得所述第一特征路径。

可选地，在确定出所述第一特征路径之后，所述方法还包括：

将所述第一特征路径上的至少一个节点分别作为目标节点，执行如下操作：

确定当前页面分组下包括该目标节点且该目标节点在其中具有子节点的dom树为目标dom树；

当所述目标dom树为多个时，从多个所述目标dom树中的各条候选路径中，根据候选路径的子节点之间的相似度参数，确定能够被合并的候选路径，并对确定出的能够被合并的候选路径进行合并，获得第二特征路径，其中，所述候选路径为所述目标dom树中，所述目标节点与该目标节点的一个子节点形成的路径；

所述至少根据所述第一特征路径，生成与当前页面分组对应的页面内容提取模板，包括：