[发明专利]数据处理方法及装置

说明书

本发明实施例提供一种数据处理方法及装置，所述方法包括：根据数据处理配置文件中的目标访问地址从目标访问地址对应的目标数据库服务器处批量读取待逐条处理数据；根据数据处理配置文件中的线程并发数目将读取到的待逐条处理数据分配给总数目与线程并发数目相同的多个数据处理线程；控制多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与待逐条处理数据对应的反馈数据文件；将得到的所述反馈数据文件批量写入到目标数据库服务器中。所述数据处理方法能够分担数据库批量逐条处理数据的任务压力，实现并向高效的逐条数据加工处理，以扩充该数据库的应用场景范围。

技术领域

本发明涉及数据库管理技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

随着科学技术的不断发展，大数据处理技术对数据库的数据批量处理性能的要求愈发严格，大数据处理技术所需求的数据库应当在不同的应用场景均能具有极强的数据处理性能。但目前而言，很多数据库在被应用到需要对大批量数据进行按序逐条处理的应用环境中时，会因自身数据库的架构特性而耗费大量时间在数据查询获取的过程中，从而降低数据库的数据处理效率，使数据库无法在类似应用环境中具备高强度的数据处理性能。

发明内容

为了克服现有技术中的上述不足，本发明的目的在于提供一种数据处理方法及装置，所述数据处理方法能够分担数据库批量逐条处理数据的任务压力，实现并向高效的逐条数据加工处理，以扩充该数据库的应用场景范围。

就方法而言，本发明实施例提供一种数据处理方法，所述方法包括：

根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据；

根据所述数据处理配置文件中的线程并发数目将读取到的所述待逐条处理数据分配给总数目与所述线程并发数目相同的多个数据处理线程；

控制所述多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与所述待逐条处理数据对应的反馈数据文件；

将得到的所述反馈数据文件批量写入到所述目标数据库服务器中。

就装置而言，本发明实施例提供一种数据处理装置，所述装置包括：

数据读取模块，用于根据数据处理配置文件中的目标访问地址从与所述目标访问地址对应的目标数据库服务器处批量读取对应匹配的待逐条处理数据；

数据分配模块，用于根据所述数据处理配置文件中的线程并发数目将读取到的所述待逐条处理数据分配给总数目与所述线程并发数目相同的多个数据处理线程；

加工处理模块，用于控制所述多个数据处理线程并行地对各自分配到的待逐条处理数据进行数据加工处理，得到与所述待逐条处理数据对应的反馈数据文件；

数据反馈模块，用于将得到的所述反馈数据文件批量写入到所述目标数据库服务器中。