[发明专利]一种数据分段采集方法及装置

权利要求书

1.一种数据分段采集方法，其特征在于，包括以下步骤：

获取采集数据库内先前采集节点对应的先前分段采集日志记录，所述先前分段采集日志记录至少记录所述先前采集节点采集的分段数据的分段记录开始节点以及分段记录结束节点，所述当前采集节点和所述先前采集节点之间为采集节点段；

获取所述采集节点段内平台数据库内的最先产生的数据记录以及最末产生的数据记录，以以下方式确定采集起点位置：

若所述先前分段采集日志记录无记录所述数据记录的数据，以所述最先产生的数据记录的数据采集节点作为所述采集起点位置；

若所述先前采集日志记录的数据和所述最末产生的数据记录有交叉，以所述先前采集日志记录内的所述分段记录结束节点作为所述采集起点位置；

所述当前采集节点以所述采集起点位置开始采集分段数据，并记录对应所述当前采集节点的分段采集日志记录。

2.根据权利要求1所述的数据分段采集方法，其特征在于，“若所述先前采集日志记录的数据和所述最末产生的数据记录有交叉”包括：若所述先前采集日志记录内的所述分段记录结束节点小于所述当前采集节点，且不大于所述最近的数据记录的数据采集节点。

3.根据权利要求1所述的数据分段采集方法，其特征在于，若所述先前采集日志记录内的所述分段记录结束节点小于所述当前采集节点，且等于所述最近的数据记录的数据采集节点，则不采集数据。

4.根据权利要求1所述的数据分段采集方法，其特征在于，若“所述先前分段采集日志记录无记录所述数据记录的数据”包括：所述先前分段采集日志记录中的分段采集任务名称和所述数据记录的数据名称不匹配。

5.根据权利要求1所述的数据分段采集方法，其特征在于，“获取采集数据库内先前采集节点对应的先前分段采集日志记录”包括：在当前采集节点触发数据采集任务，基于所述数据采集任务和所述当前采集节点查找所述先前分段采集日志记录。

6.根据权利要求5所述的数据分段采集方法，其特征在于，基于所述数据采集任务的任务名称和分段采集日志记录内的分段采集任务名称，基于所述先前采集节点和分段采集日志记录内的采集节点进行匹配查找，得到所述先前分段日志记录。

7.根据权利要求1所述的数据分段采集方法，其特征在于，“获取所述采集节点段内平台数据库内的最先产生的数据记录以及最末产生的数据记录”中，若数据记录对应的数据存在依赖关系，依据该数据依赖的被依赖数据的最末产生节点确定最末产生的数据记录。

8.根据权利要求7所述的数据分段采集方法，其特征在于，若数据记录对应的数据的属性来源来所述被依赖数据，则认为所述数据记录对应的数据存在依赖关系。

9.根据权利要求1所述的数据分段采集方法，其特征在于，所述采集节点为采集时间节点或者采集数据容量节点。

10.根据权利要求1所述的数据分段采集方法，其特征在于，应用于多应用端参与的平台服务端的数据采集。