[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据配置文件，读取待同步数据并存储至预设内存结构中；

在所述预设内存结构中，对所述待同步数据的数据列按照所述数据列的行键值进行排序，生成序列集合；

根据所述配置文件，确定所述待同步数据要同步的目标存储器中多个存储分区对应的行键值；

根据所述序列集合中序列与行键值的对应关系，将所述待同步数据存储到所述目标存储器中。

2.根据权利要求1所述的方法，其特征在于，在所述预设内存结构中，对所述待同步数据的数据列按照所述数据列的行键值进行排序，生成序列集合包括：

在所述预设内存结构中，对所述待同步数据进行转换，生成列名有序集合，其中，所述列名有序集合包括所述待同步数据中除指定为行键值的数据列之外的所有数据列的序列，所述序列包括所述数据列的列名以及所述数据列的数据记录对应的列值；

根据所述列名有序集合中的行键值，对所述列名有序集合中的序列进行排序，生成序列集合。

3.根据权利要求1所述的方法，其特征在于，根据配置文件，读取待同步数据并存储至预设内存结构中包括：

根据所述配置文件，确定用于发送所述待同步数据的源装置和接收所述待同步数据的目标装置，其中，所述配置文件用于所述源装置和目标装置进行访问，所述配置文件包括所述源装置的标识，所述目标装置的标识，以及所述待同步数据所需的资源量；

从所述源装置中获取所述待同步数据，将所述待同步数据存储至所述预设内存结构中。

4.根据权利要求3所述的方法，其特征在于，根据所述配置文件，确定所述待同步数据要同步的目标存储器中多个存储分区对应的行键值包括：

根据所述配置文件获取所述目标存储器的多个存储单元，以及每个存储单元对应的多个分区，其中，多个所述存储单元用于存储所述待同步数据；

根据多个分区的分区范围，确定不同分区对应的行键值，其中，所述分区范围包括所述分区的开始记录编号至结束记录编号。

5.根据权利要求4所述的方法，其特征在于，根据所述配置文件获取所述目标存储器的多个存储单元，以及每个存储单元对应的多个分区包括：

根据所述目标存储器获取所述配置文件；

根据所述配置文件中的所述待同步数据所需的资源量，确定所述目标存储器中的多个存储单元；

根据多个所述存储单元，确定每个存储单元对应的多个分区。

6.根据权利要求1所述的方法，其特征在于，根据所述序列集合中序列与行键值的对应关系，将所述待同步数据存储到所述目标存储器中包括：

将所述序列集合拆分为多个序列，将多个所述序列与所述行键值一一对应；

根据多个序列和所述序列对应的行键值，生成所述目标存储器的存储格式文件；

将所述存储格式文件导入所述目标存储器，以将所述待同步数据存储到所述目标存储器中。

7.根据权利要求6所述的方法，其特征在于，将所述存储格式文件导入所述目标存储器包括：

通过批量数据文件加载工具将所述存储格式文件批量加载至所述目标存储器。

8.一种数据处理装置，其特征在于，包括：

读取模块，用于根据配置文件，读取待同步数据并存储至预设内存结构中；

生成模块，用于在所述预设内存结构中，对所述待同步数据的数据列按照所述数据列的行键值进行排序，生成序列集合；

确定模块，用于根据所述配置文件，确定所述待同步数据要同步的目标存储器中多个存储分区对应的行键值；

存储模块，用于根据所述序列集合中序列与行键值的对应关系，将所述待同步数据存储到所述目标存储器中。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据处理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。