[发明专利]一种数据处理方法及装置

说明书

本发明实施例提供了一种数据处理方法及装置，从目标数据库中全量读取待处理的业务数据，并按照预设分类规则将业务数据存储至多个缓存中；根据业务数据的分类结果，创建多个数据处理任务；将多个数据处理任务分配给预设数量的数据处理线程，以触发数据处理线程基于数据处理任务对相应的缓存中的业务数据进行处理。通过预先批量的从数据库中读取待处理的业务数据，并将读取的数据全量加载到多个缓存中进行分类整理，程序运行中，采用多个处理线程从多个缓存中取出待处理的业务数据进行处理，这样并行执行的多个处理线程直接对接多个缓存，从而处理线程数量的增加不会对数据库造成压力，实现了高并发、高扩展、大大提高了数据处理的运行效率。

技术领域

本发明涉及移动通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

移动互联网时代，中国移动成为移动互联网产业链的一环，面对用户量的增长和业务的发展，数据量也在快速增长，对业务支撑系统中批量处理的操作的处理性能提出了新的挑战。

现有技术主要依赖数据库的性能，使用数据库DML语言对千万级别的数据进行操作，对使用的数据库及主机性能要求就很高，目前使用的oracle数据库，成本很高，扩展难度大，大批量并发操作时，争抢资源现象严重，导致各模块运行效率都很低。

由此可知，从数据库查询数据，进行计算生成计算结果，保存到数据库。这种处理模式为了提高处理性能，增加并行，最终导致对数据库的压力增大，运行效率低。

发明内容

本发明实施例的目的是提供一种数据处理方法及装置，以解决现有数据处理模式为了提高处理性能，增加并行，最终导致对数据库的压力增大，运行效率低的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种数据处理方法，包括：

从目标数据库中全量读取待处理的业务数据，并按照预设分类规则将所述业务数据存储至多个缓存中；

根据所述业务数据的分类结果，创建多个数据处理任务；

将多个所述数据处理任务分配给预设数量的数据处理线程，以触发所述数据处理线程基于所述数据处理任务对相应的所述缓存中的业务数据进行处理。

第二方面，本发明实施例提供了一种数据处理装置，包括：

业务数据读取模块，用于从目标数据库中全量读取待处理的业务数据，并按照预设分类规则将所述业务数据存储至多个缓存中；

处理任务创建模块，用于根据所述业务数据的分类结果，创建多个数据处理任务；

数据处理触发模块，用于将多个所述数据处理任务分配给预设数量的数据处理线程，以触发所述数据处理线程基于所述数据处理任务对相应的所述缓存中的业务数据进行处理。

第三方面，本发明实施例提供了一种计算机设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的数据处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的数据处理方法的步骤。