[发明专利]一种数据处理的方法以及装置

说明书

本申请属于数据处理技术领域，公开了一种数据处理的方法以及装置，本申请公开的一种数据处理的方法包括，当确定有目标数据集合需要更新且当前运行的协程总数量低于预设数量阈值时，创建目标协程，并调用目标协程，以数据切片为数据更新单位，对数据库中存储的目标数据集合进行批量数据更新，以及在数据更新结束后，释放目标协程。这样，采用协程进行数据处理以及对数据库进行批量数据处理，降低了耗费的系统资源，提高了数据处理效率以及系统性能。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理的方法以及装置。

背景技术

随着互联网技术的发展以及互联网应用的普及，互联网服务对数据处理的效率的要求也不断提高。

现有技术下，在数据拉取以及数据更新时，通常采用线程多任务并行处理的方式。

但是，线程调度时需要内核态和用户态的频繁切换，性能较低，还需要耗费大量的系统资源和时间，再者，对数据库的操作频率也较高，会进一步耗费大量的系统资源。

由此，在数据处理时，需要一个可以降低耗费的系统资源，提高数据处理效率以及系统性能的数据处理技术方案。

发明内容

本申请实施例提供一种数据处理的方法以及装置，用以在进行数据处理时，降低耗费的系统资源，提高数据处理效率以及系统性能。

一方面，提供一种数据处理的方法，包括：

确定有目标数据集合需要进行数据更新时，获取当前运行的协程总数量；

当协程总数量低于预设数量阈值时，为目标数据集合创建目标协程，并将协程总数量加1，预设数量阈值是根据资源配置信息确定的；

调用目标协程，以数据切片为数据更新单位，对数据库中存储的目标数据集合进行数据更新；

释放目标协程，并将协程总数量减1。

一方面，提供一种数据处理的装置，包括：

获取单元，用于确定有目标数据集合需要进行数据更新时，获取当前运行的协程总数量；

创建单元，用于当协程总数量低于预设数量阈值时，为目标数据集合创建目标协程，并将协程总数量加1，预设数量阈值是根据资源配置信息确定的；

更新单元，用于调用目标协程，以数据切片为数据更新单位，对数据库中存储的目标数据集合进行数据更新；

释放单元，用于释放目标协程，并将协程总数量减1。

一方面，提供一种控制设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任一种数据处理的方法的步骤。

一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种数据处理的方法的步骤。

一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种数据处理的各种可选实现方式中提供的方法。

本申请实施例提供的一种数据处理的方法以及装置中，每当确定有目标数据集合需要更新，且当前运行的协程总数量低于预设数量阈值时，创建目标协程，并调用目标协程，以数据切片为数据更新单位，对数据库中存储的目标数据集合进行批量数据更新，以及在本次数据更新结束后，释放目标协程。这样，采用协程进行数据处理以及对数据库进行批量数据处理，降低了耗费的系统资源，提高了数据处理效率以及系统性能。