[发明专利]一种网页数据采集模板的生成方法和装置

说明书

本发明公开了一种采集网页数据模板的生成方法、装置、电子设备和计算机可读存储介质。该方法包括：接收对网页中至少一个目标元素的选取指令，确定选取的目标元素的DOM路径，确定选取的目标内容的DOM路径；根据所述DOM路径生成解析模板；接收用户对所述解析模板中DOM路径的修改操作得到目标解析模板，其中，修改后的所述DOM路径中，用通配规则表示目标内容的DOM路径中的特殊属性值；所述目标解析模板用于对所述网页中的目标元素进行采集。

技术领域

本申请涉及计算机技术领域，尤其涉及一种采集网页数据的方法、装置、电子设备和计算机可读存储介质。

背景技术

现有技术中，在抓取网页数据时，通常使用可扩展标记路径语言(XPath,XML PathLanguage)或用来指定可扩展标记语言(XML，eXtensible Markup Language)路径的选择器在网页中寻找指定位置的超文本标记语言(html，Hyper Text Markup Language)标签，然后通过html标签来识别路径进行目标数据的定位，这种定位方式通常使用html标签的名称、顺序、class、id作为标签定位规则。

这种定位方式可用于抽取网页内的特定元素，比如抽取某一论坛中的“主题、时间、评论量”，由于“主题、时间、评论量”可能为标签名称相同、但id不同或者class不同的元素，那么需要根据上述定位方式对这些目标元素分别编写定位代码，实现对不同目标元素的抓取。

虽然对各目标元素编写的定位代码可以实现对目标元素的抓取，但是针对不同的目标元素需要分别编写定位代码的实现方式，通用能力较弱。

发明内容

本申请实施例提供一种网页数据采集模板的方法和装置，解决了现有技术中抓取网页数据通用能力较弱的问题，实现了单模板抽取页面全部目标元素的能力。

本申请实施例采用下述技术方案：

一种采集网页数据模板的生成方法，包括：

接收对网页中至少一个目标元素的选取指令，确定选取的目标元素的DOM路径；

根据所述DOM路径生成解析模板；

接收用户对所述解析模板中DOM路径的修改操作得到目标解析模板，其中，修改后的所述DOM路径中，用通配规则表示目标内容的DOM路径中的特殊属性值；

所述目标解析模板用于对所述网页中的目标元素进行采集。

一种采集网页数据模板的生成装置，包括：

接收模块，用于接收对网页中至少一个目标元素的选取指令，确定选取的目标元素的DOM路径；

生成模块，用于根据所述DOM路径生成解析模板；

修改模块，用于接收用户对所述解析模板中DOM路径的修改操作得到目标解析模板，其中，修改后的所述DOM路径中，用通配规则表示目标元素的DOM路径中的特殊属性值；

所述目标解析模板用于对所述网页中的目标元素进行采集。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

接收选取的目标元素确定DOM路径，在根据所述DOM路径生成解析模板，并接收用户对所述解析模板中的DOM路径的修改操作的技术手段，一次选定至少一个目标元素，由选定的至少一个目标元素生成一套模板，可以实现单个模板同时抓取选定的各目标元素，在用通配规则表示根据选定的目标元素的DOM路径中的特殊属性值，进而可以实现单个模板抓取全部目标元素的能力。也就是说，上述技术方案克服了现有技术需要针对不同元素分别编写定位代码，通用能力较弱的问题，实现了单个解析模板可以抓取页面全部目标元素的能力，使得作为模板更加通用的抽取页面所需全部目标数据。

附图说明