[发明专利]数据全量导出方法、数据导出任务分配装置及数据导出节点装置

权利要求书

1.一种数据全量导出方法，其特征在于，包括：

数据导出任务分配装置针对待导出数据表中的每一数据单元，分析管理所述数据单元的服务单元，其中，所述待导出数据表中包括至少一个数据单元；

所述数据导出任务分配装置将所述待导出数据表中的每一数据单元导出任务分别分配至管理所述数据单元的服务单元所在的主机，以使所述主机上部署的数据导出节点装置根据其管理的各个数据单元的权重，将所述数据单元平均分配至各个线程池中进行数据导出，其中各个所述线程池中进行数据导出的所述数据单元的加权和相同；所述数据导出任务分配装置导出的所述数据单元为通过预设的筛选条件筛选后的所述数据导出单元；所述数据导出任务分配装置根据服务单元检测当前数据单元在HDFS的数据节点存储的副本后确定的完整度确定导出的所述数据单元的数据导出方式；

其中，所述筛选包括删除所述数据单元中的重复数据；

其中，所述数据导出方式包括以下至少一种：

若检测到当前待导出数据表中的全部数据单元在HDFS的数据节点都存储有完整的副本，则直接对所述数据表中的数据单元进行导出；

若检测到当前待导出数据表在HDFS的数据节点存储的副本的完整度低于预设的第一阈值的数据单元数量超过预设的第二阈值，则针对每一个服务单元，在数据导出过程中，从其他主机上部署的HDFS的数据节点获取待导出的不完整数据；

若检测到当前待导出数据表在HDFS的数据节点存储的副本的完整度低于预设的第一阈值的数据单元数量低于预设的第二阈值，则针对每一个服务单元，在数据导出之前，从其他主机上部署的HDFS的数据节点中获取待导出的数据将本地存储的副本补充完整；

其中，所述第二阈值为全部数据单元数量的80％。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述数据导出任务分配装置检测每一数据导出节点装置管理的待导出数据单元是否导出完毕；

若是，则所述数据导出任务分配装置判定所述待导出数据表中的全部数据导出完毕。

3.一种数据全量导出方法，其特征在于，包括：

数据导出节点装置接收数据导出任务分配装置分配的数据单元导出任务，所述数据单元导出任务对应的数据单元由管理所述数据单元的服务单元所在的主机上部署的数据导出节点装置管理；

数据导出节点装置根据所述数据单元导出任务，调用服务单元从其自身所在的主机上配置的HDFS的数据节点获取当前待导出的数据单元的副本，且所述数据节点存储有所述服务单元管理的全部数据单元的副本；

数据导出节点装置根据所述服务单元管理的各个数据单元的权重，将所述数据单元的副本平均分配至各线程池中进行数据导出，其中各个线程池中进行数据导出的数据单元的加权和相同；

所述方法，还包括：

数据导出节点装置通过预设的筛选条件对待导出数据单元的副本进行筛选；所述筛选包括删除所述待导出数据单元的副本中的重复数据；

所述方法还包括：

数据导出节点装置调用服务单元检测当前待导出数据表中的全部数据单元在HDFS的数据节点存储的副本的完整度；

根据所述副本的不同完整度，采用不同的数据导出方式；

所述数据导出方式，包括以下至少一种：

若检测到当前待导出数据表中的全部数据单元在HDFS的数据节点都存储有完整的副本，则直接对所述数据表中的数据单元进行导出；

若检测到当前待导出数据表在HDFS的数据节点存储的副本的完整度低于预设的第一阈值的数据单元数量超过预设的第二阈值，则针对每一个服务单元，在数据导出过程中，从其他主机上部署的HDFS的数据节点获取待导出的不完整数据；

若检测到当前待导出数据表在HDFS的数据节点存储的副本的完整度低于预设的第一阈值的数据单元数量低于预设的第二阈值，则针对每一个服务单元，在数据导出之前，从其他主机上部署的HDFS的数据节点中获取待导出的数据将本地存储的副本补充完整；

其中，所述第二阈值为全部数据单元数量的80％。

4.根据权利要求3所述的方法，其特征在于，所述数据导出节点装置通过预设的筛选条件对待导出数据单元的副本进行筛选之后，还包括：

数据导出节点装置将导出的所述数据单元的副本存储至预设的存储路径。