[发明专利]一种数据处理方法、装置及电子设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待进行数据合并处理的数据表的工作模式；

依据所述工作模式确定待进行数据合并处理的目标文件；

对所述目标文件进行数据合并处理；

若所述工作模式包括全量模式，依据所述工作模式确定待进行数据合并处理的目标文件，包括：

确定所述数据表是否存在分区；

若不存在分区，将所述数据表对应的所有文件作为所述目标文件；

若存在分区，分别将所述数据表中每一分区对应的所有文件作为所述目标文件；

若所述工作模式包括增量模式，所述依据所述工作模式确定待进行数据合并处理的目标文件，包括：

将所述数据表中新增数据所在的分区对应的文件作为所述目标文件；

若所述工作模式包括镜像表模式，所述依据所述工作模式确定待进行数据合并处理的目标文件，包括：

依据预设镜像表，确定所述数据表中的新增数据对应的多个目标分区；所述目标分区为所述数据表中与所述预设镜像表的数据分区对应的已有分区；

将所述新增数据中对应每一所述目标分区的数据对应的文件，以及所述目标分区对应的原有文件作为所述目标文件。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标文件进行数据合并处理，包括：

获取预设合并文件数量；

依据所述预设合并文件数量，确定每一合并后的单文件的大小；

依据每一合并后的单文件的大小，对所述目标文件进行数据合并处理；

或，获取预设合并后的单文件的文件大小；

依据所述预设合并后的单文件的文件大小，确定合并后的文件的数量；

依据所述合并后的文件的数量，对所述目标文件进行数据合并处理；

或，获取当前可用资源、所述目标文件的大小以及数量；

依据所述当前可用资源、所述目标文件的大小以及数量，计算每一合并后的单文件的文件大小；

依据每一合并后的单文件的文件大小，对所述目标文件进行数据合并处理。

3.根据权利要求1所述的数据处理方法，其特征在于，在所述对所述目标文件进行数据合并处理之前，还包括：

从所述目标文件中筛选出文件大小不符合预设大小的目标文件，并作为新的目标文件。

4.根据权利要求1所述的数据处理方法，其特征在于，在所述对所述目标文件进行数据合并处理之后，还包括：

依据数据合并处理的结果，更新所述数据表。

5.一种数据处理装置，其特征在于，包括：

模式获取模块，用于获取待进行数据合并处理的数据表的工作模式；

文件确定模块，用于依据所述工作模式确定待进行数据合并处理的目标文件；

合并处理模块，用于对所述目标文件进行数据合并处理；

若所述工作模式包括全量模式，所述文件确定模块包括：

分区确定子模块，用于确定所述数据表是否存在分区；

文件确定子模块，用于若不存在分区，将所述数据表对应的所有文件作为所述目标文件；若存在分区，分别将所述数据表中每一分区对应的所有文件作为所述目标文件；

若所述工作模式包括增量模式，所述文件确定模块包括：

第二文件确定子模块，用于将所述数据表中新增数据所在的分区对应的文件作为所述目标文件；

若所述工作模式包括镜像表模式，所述文件确定模块包括：

分区确定子模块，用于依据预设镜像表，确定所述数据表中的新增数据对应的多个目标分区；所述目标分区为所述数据表中与所述预设镜像表的数据分区对应的已有分区；

第三文件确定子模块，用于将所述新增数据中对应每一所述目标分区的数据对应的文件，以及所述目标分区对应的原有文件作为所述目标文件。

6.一种电子设备，其特征在于，包括：存储器和处理器；

其中，所述存储器用于存储程序；

处理器调用程序并用于：

获取待进行数据合并处理的数据表的工作模式；

依据所述工作模式确定待进行数据合并处理的目标文件；

对所述目标文件进行数据合并处理；

若所述工作模式包括全量模式，依据所述工作模式确定待进行数据合并处理的目标文件，包括：

确定所述数据表是否存在分区；

若不存在分区，将所述数据表对应的所有文件作为所述目标文件；

若存在分区，分别将所述数据表中每一分区对应的所有文件作为所述目标文件；

若所述工作模式包括增量模式，所述依据所述工作模式确定待进行数据合并处理的目标文件，包括：

将所述数据表中新增数据所在的分区对应的文件作为所述目标文件；

若所述工作模式包括镜像表模式，所述依据所述工作模式确定待进行数据合并处理的目标文件，包括：

依据预设镜像表，确定所述数据表中的新增数据对应的多个目标分区；所述目标分区为所述数据表中与所述预设镜像表的数据分区对应的已有分区；

将所述新增数据中对应每一所述目标分区的数据对应的文件，以及所述目标分区对应的原有文件作为所述目标文件。