[发明专利]数据处理方法以及装置

权利要求书

1.一种数据处理方法，包括：

解析数据源中待传输的项目数据的数据分布信息；

调用映射规约算法，并基于所述数据分布信息对所述项目数据进行切分，生成多个数据分片；

调用数据库导入组件将所述多个数据分片中的项目数据传输至目标数据库表下预设数量的数据分区；

确定与所述多个数据分片中每个数据分片存在映射关系的数据分区的数量；

根据所述数据分区的数量对与所述多个数据分片中任意数据分片存在映射关系的数据分区进行优化，使得与每个数据分片存在映射关系的数据分区的数量相同；

其中，所述确定与所述多个数据分片中每个数据分片存在映射关系的数据分区的数量，包括：

根据传输结果建立所述多个数据分片与数据分区间的第二映射关系；

根据所述第二映射关系确定与所述多个数据分片中每个数据分片存在映射关系的数据分区的数量。

2.根据权利要求1所述的数据处理方法，所述生成多个数据分片之后，还包括：

对所述多个数据分片分别包含的项目数据进行排序，生成包含排序结果的多个目标数据分片；

相应的，所述调用数据库导入组件将所述多个数据分片中的项目数据传输至目标数据库表下预设数量的数据分区，包括：

调用数据库导入组件将所述多个目标数据分片中的项目数据传输至目标数据库表下预设数量的数据分区。

3.根据权利要求2所述的数据处理方法，所述调用数据库导入组件将所述多个目标数据分片中的项目数据传输至目标数据库表下预设数量的数据分区，包括：

将所述多个目标数据分片中包含的项目数据按照所述排序结果进行整合，生成数据源表，并建立所述多个目标数据分片与所述数据源表间的第一映射关系；

根据所述第一映射关系在所述数据源表中读取任一目标数据分片包含的项目数据，并调用数据库导入组件将所述任一目标数据分片包含的项目数据传输至所述目标数据库表下至少一个数据分区。

4.根据权利要求2所述的数据处理方法，所述调用数据库导入组件将所述多个目标数据分片中的项目数据传输至目标数据库表下预设数量的数据分区，包括：

确定数据分片的数量；

在所述数据库导入组件中构建对应数量的数据写模块，并调用所述对应数量的数据写模块分别将所述多个目标数据分片中的项目数据传输至目标数据库表下预设数量的数据分区。

5.根据权利要求2至4任意一项所述的数据处理方法，所述对所述多个数据分片分别包含的项目数据进行排序，生成包含排序结果的多个目标数据分片，包括：

根据所述数据分布信息确定待传输的项目数据的数据总量；

根据所述数据总量和数据分片的数量确定每个数据分片包含项目数据的数量；

根据所述每个数据分片包含项目数据的数量对所述多个数据分片分别包含的项目数据进行排序，生成包含排序结果的多个目标数据分片，其中，所述多个目标数据分片间的排序结果连续。

6.根据权利要求1所述的数据处理方法，所述解析数据源中待传输的项目数据的数据分布信息，包括：

确定数据源中待传输的项目数据对应的分位数图，并根据所述分位数图确定所述项目数据的数据分布信息；

相应的，所述调用映射规约算法，并基于所述数据分布信息对所述项目数据进行切分，生成多个数据分片，包括：

执行映射任务，基于所述数据分布信息将所述项目数据映射至不同的数据分片。

7.根据权利要求6所述的数据处理方法，所述生成多个数据分片之后，还包括：

执行规约任务，对所述多个数据分片分别包含的项目数据进行排序，生成包含排序结果的多个目标数据分片；

基于摘要合并理论将所述目标数据分片包含的项目数据按照所述排序结果进行合并，生成数据源表。