[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据；

根据所述数据处理配置文件中的线程并发数目将读取到的所述待逐条处理数据分配给总数目与所述线程并发数目相同的多个数据处理线程；

控制所述多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与所述待逐条处理数据对应的反馈数据文件；

将得到的所述反馈数据文件批量写入到所述目标数据库服务器中。

2.根据权利要求1所述的方法，其特征在于，所述数据处理配置文件中还包括目标数据对象及目标读取数目，所述根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据的步骤包括：

向所述目标访问地址对应的目标数据库服务器发送包括有所述目标数据对象及所述目标读取数目的数据读取指令，以从所述目标数据库服务器处获取与所述目标数据对象对应的待逐条处理数据，其中所述待逐条处理数据对应的数据条数与所述目标读取数目相同。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理配置文件中的线程并发数目将读取到的所述待逐条处理数据分配给总数目与所述线程并发数目相等的多个数据处理线程的步骤包括：

根据所述线程并发数目及所述待逐条处理数据的数据条数将所述待逐条处理数据划分为多份逐条处理子数据，其中所述逐条处理子数据对应的总份数与所述线程并发数目相同；

将多份所述逐条处理子数据对应分配给所述多个数据处理线程，其中每个数据处理线程对应一份逐条处理子数据。

4.根据权利要求3所述的方法，其特征在于，所述控制所述多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与所述待逐条处理数据对应的反馈数据文件的步骤包括：

并行控制每个数据处理线程逐条地对被分配给该数据处理线程的所述逐条处理子数据进行数据加工处理，得到对应的结果数据；

将每个数据处理线程所对应的结果数据进行数据合并，得到对应的结果数据集；

对所述结果数据集进行数据格式转换，得到与读取到的所述待逐条处理数据对应的反馈数据文件。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述方法还包括：

对数据处理配置文件中的目标访问地址、线程并发数目、目标数据对象及目标读取数目进行配置。

6.一种数据处理装置，其特征在于，所述装置包括：

数据读取模块，用于根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据；

数据分配模块，用于根据所述数据处理配置文件中的线程并发数目将读取到的所述待逐条处理数据分配给总数目与所述线程并发数目相同的多个数据处理线程；

加工处理模块，用于控制所述多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与所述待逐条处理数据对应的反馈数据文件；

数据反馈模块，用于将得到的所述反馈数据文件批量写入到所述目标数据库服务器中。

7.根据权利要求6所述的装置，其特征在于，所述数据处理配置文件中还包括目标数据对象及目标读取数目，所述数据读取模块根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据的方式包括：

向所述目标访问地址对应的目标数据库服务器发送包括有所述目标数据对象及所述目标读取数目的数据读取指令，以从所述目标数据库服务器处获取与所述目标数据对象对应的待逐条处理数据，其中所述待逐条处理数据对应的数据条数与所述目标读取数目相同。