[发明专利]分布式计算系统中的数据处理方法和装置

说明书

技术领域

本公开涉及数据处理技术，尤其涉及一种分布式计算系统中的数据处理方法和装置。

背景技术

随着互联网的发展，人类正式进入了信息爆炸时代，海量数据的计算和存储迫切需要，常规的单机计算模式已经不能支撑如此巨大的数据量，因此，分布式计算系统与云计算出现。分布式计算系统将任务分担到多台机器上，让每台机器都承担一部分的计算和数据存储任务。

在目前的分布式计算系统中，不同任务的执行都是独立的，即使任务十分相似，例如请求相同的数据、做类似的操作，也需要从头开始执行整个计算流程，资源的浪费现象严重。

发明内容

为克服相关技术中存在的问题，本公开提供一种分布式计算系统中的数据处理方法和装置。

根据本公开实施例的第一方面，提供一种分布式计算系统中的数据处理方法，包括：

接收数据处理请求，所述数据处理请求用于请求对待处理任务进行处理；

判断处理完成的任务中是否存在所述待处理任务的相似任务；

如果所述处理完成的任务中存在所述待处理任务的相似任务，则从内存中读取所述待处理任务的相似任务的中间处理结果，所述内存中存储有所述处理完成的任务的中间处理结果；

根据所述待处理任务的相似任务的中间处理结果对所述待处理任务进行处理。

可选的，所述方法还包括：

如果所述处理完成的任务中不存在所述待处理任务的相似任务，则从磁盘中读取所述待处理任务的源数据；

根据所述待处理任务的源数据对所述待处理任务进行处理；

将所述待处理任务的中间处理结果存储到所述内存中。

可选的，所述将所述待处理任务的中间处理结果存储到所述内存中之前，还包括：

从所述数据处理请求中获取存储指示信息，所述存储指示信息用于指示将所述待处理任务的中间处理结果存储到所述内存中；

将所述待处理任务的中间处理结果存储到所述内存中，包括：

根据所述存储指示信息将所述待处理任务的中间处理结果存储到所述内存中。

可选的，所述判断处理完成的任务中是否存在所述待处理任务的相似任务之前，还包括：

通过对所述数据处理请求进行语法分析，提取所述待处理任务的关键信息；

所述判断处理完成的任务中是否存在所述待处理任务的相似任务，包括：

判断数据库中是否存在与所述待处理任务的关键信息匹配的任务，所述数据库中存储有所述处理完成的任务的关键信息；

当所述数据库中存在与所述待处理任务的关键信息匹配的任务时，确定所述处理完成的任务中存在所述待处理任务的相似任务；

当所述数据库中不存在与所述待处理任务的关键信息匹配的任务时，确定所述处理完成的任务中不存在所述待处理任务的相似任务。

可选的，所述数据库中还存储有所述处理完成的任务在所述内存中的地址；

所述从内存中读取所述待处理任务的相似任务的中间处理结果，包括：

从所述数据库中查找所述待处理任务的相似任务在所述内存中的地址；

根据所述待处理任务的相似任务在所述内存中的地址，从所述内存中读取所述待处理任务的相似任务的中间处理结果。

可选的，任务的关键信息包括以下信息中的一个或多个：任务的源数据的地址、表名、列名和过滤条件。

可选的，所述方法还包括：

根据所述处理完成的任务的中间处理结果的访问频率，对所述内存中存储的所述处理完成的任务的中间处理结果进行淘汰。

根据本公开实施例的第二方面，提供一种分布式计算系统中的数据处理装置，包括：

接收模块，被配置为接收数据处理请求，所述数据处理请求用于请求对待处理任务进行处理；

判断模块，被配置为判断处理完成的任务中是否存在所述待处理任务的相似任务；

第一读取模块，被配置为当所述处理完成的任务中存在所述待处理任务的相似任务时，从内存中读取所述待处理任务的相似任务的中间处理结果，所述内存中存储有所述处理完成的任务的中间处理结果；

第一处理模块，被配置为根据所述待处理任务的相似任务的中间处理结果对所述待处理任务进行处理。

可选的，所述装置还包括：

第二读取模块，被配置为当所述处理完成的任务中不存在所述待处理任务的相似任务时，从磁盘中读取所述待处理任务的源数据；

第二处理模块，被配置为根据所述待处理任务的源数据对所述待处理任务进行处理；