[发明专利]数据处理方法、装置、电子设备和计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取目标读取线程，基于所述目标读取线程在源端数据库中读取目标数据；

对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包；

获取所述多个目标数据包对应的目标写出线程组；

基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包，包括：

基于所述目标读取线程，对所述读取的目标数据以预设规则进行封装，得到多个封装数据包；

将所述封装数据包缓存至所述目标读取线程对应的输出队列，得到所述多个目标数据包。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标读取线程，对所述读取的目标数据以预设规则进行封装，得到多个封装数据包，包括：

获取所述读取的目标数据的数据量；

根据所述预设规则和所述读取的目标数据的数据量，对所述读取的目标数据进行封装，得到所述多个封装数据包；其中，各封装数据包中的数据量为所述预设规则对应的预设数据量。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库，包括：

获取所述目标写出线程组中各目标写出线程对应的输入队列；

将所述多个目标数据包分配至各目标写出线程对应的输入队列；

基于各目标写出线程，将分配至各目标写出线程对应的输入队列的目标数据包中的数据写入所述目标数据库。

5.根据权利要求4所述的方法，其特征在于，所述将所述多个目标数据包分配至各目标写出线程对应的输入队列，包括：

获取动态分配线程，所述动态分配线程用于对所述输出队列中的所述多个目标数据包进行读取；

基于所述动态分配线程，将读取的目标数据包分配至各目标写出线程对应的输入队列。

6.根据权利要求4或5所述的方法，其特征在于，所述基于各目标写出线程，将分配至各目标写出线程对应的输入队列的目标数据包中的数据写入所述目标数据库，包括：

通过各目标写出线程，对分配至所述各目标写出线程对应的输入队列中的目标数据包进行读取；

对各目标写出线程从对应的输入队列中读取的目标数据包进行拆包处理，得到各目标写出线程对应的待装载数据；

通过各目标写出线程，将各目标写出线程对应的待装载数据写入所述目标数据库。

7.根据权利要求5所述的方法，其特征在于，所述基于所述动态分配线程，将读取的目标数据包分配至各目标写出线程对应的输入队列，包括：

实时获取各目标写出线程对应的输入队列的输入队列长度；

对比获取的各输入队列的输入队列长度，确定所述输入队列长度最短的输入队列；

将读取的目标数据包分配至所述输入队列长度最短的输入队列。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于获取目标读取线程，基于所述目标读取线程在源端数据库中读取目标数据；

处理模块，用于对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包；

所述获取模块，还用于获取所述多个目标数据包对应的目标写出线程组；

装载模块，用于基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库。

9.一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据处理方法。