[发明专利]基于xpath的数据采集方法、电子设备及存储介质

权利要求书

1.一种基于xpath的数据采集方法，其特征在于，包括：

接收列表页中的至少两个列表页点击事件，得到与所述列表页点击事件相对应的列表页点击元素的xpath路径；

对所述列表页点击元素的xpath路径进行合并，得到列表页合并路径，所述列表页合并路径是从父级节点向下直至第一个元素名相同且位置不同的叶子节点，并去掉所述叶子节点的位置信息后得到的xpath路径；

在所述列表页中查找与所述列表页合并路径具有相同路径的列表，生成列表页链接集合；

进入所述列表页链接集合中的任意一个链接，打开相应的详情页，根据所述详情页的页面采集对象确定采集模式，其中，所述采集模式是预先设定的，所述采集模式为分组模式，则所述详情页包含多个详情页分组节点，接收详情页分组节点点击元素的xpath路径；

根据详情页分组节点点击元素的xpath路径，得到详情页分组节点中与详情页分组节点点击元素相似的所有元素的xpath路径，生成详情页分组节点集合；

对详情页分组节点集合中任意一个详情页分组节点中的点击元素的xpath路径进行分组合并，得到详情页分组节点xpath路径，所述详情页分组节点xpath路径包含用于定位详情页分组节点的分组标记，所述分组标记位于组内点击元素的父节点元素所在位置的后面且紧邻所述父节点元素；

进入详情页分组节点集合中任意一个详情页分组节点，打开相应的分组节点，接收详情页点击元素的xpath路径；

根据详情页点击元素的xpath路径，通过文本提取的方式提取所述详情页点击元素所对应的文本信息；

根据所述详情页点击元素的xpath路径和所对应的文本信息对所述详情页分组节点集合中每一个详情页分组节点分别进行数据分组采集；

根据详情页分组节点点击元素的xpath路径，对所述列表页链接集合中的每一个链接分别进行数据采集。

2.如权利要求1所述的基于xpath的数据采集方法，其特征在于，根据详情页分组节点点击元素的xpath路径，得到详情页分组节点中与详情页分组节点点击元素相似的所有元素的xpath路径的步骤中，包括：

S901：接收详情页分组节点点击元素，根据详情页分组节点点击元素得到当前节点；

S902：获取当前节点的父节点，并依次遍历父节点下的子节点；

S903：判断所述子节点的节点类型是否为元素；

S904：若子节点的节点类型为元素，则判断子节点的节点名是否与当前节点的节点名相同；

S905：若节点名相同，则对位置信息进行累加计数，得到累加计数值；

S906：若累加计数值大于0，则根据预先设定，子节点的xpath路径使用位置信息；

S907：将当前节点的父节点作为新的当前节点，递归上述步骤S902-S906，直到新的当前节点为body节点或者带有id属性的节点，得到与详情页分组节点点击元素相似的所有元素的xpath路径。

3.如权利要求1所述的基于xpath的数据采集方法，其特征在于，对详情页分组节点集合中任意一个详情页分组节点中的点击元素的xpath路径进行分组合并的步骤中，包括：

对详情页分组节点点击元素的xpath路径的各级节点的节点名进行逐一比较；

若节点名比较结果一致，则保留详情页分组节点点击元素的xpath路径；

若节点名比较结果不一致，则获取详情页分组节点点击元素的元素属性信息，所述元素属性信息包括位置信息、动态标识ID信息和分组信息；

若元素属性信息为位置信息，则将详情页分组节点点击元素的xpath路径的位置信息替换为分组标记；

若元素属性信息为动态标识ID信息，则去掉详情页分组节点点击元素的xpath路径的动态标识ID信息；

若元素属性信息为分组信息，则判断分组信息是否一致；

若分组信息一致，则保留详情页分组节点点击元素的xpath路径的分组信息；

若分组信息不一致，则去掉详情页分组节点点击元素的xpath路径的分组信息。