[发明专利]分布式计算系统中的数据处理方法和装置

权利要求书

1.一种分布式计算系统中的数据处理方法，其特征在于，包括：

接收数据处理请求，所述数据处理请求用于请求对待处理任务进行处理；

判断处理完成的任务中是否存在所述待处理任务的相似任务；

如果所述处理完成的任务中存在所述待处理任务的相似任务，则从内存中读取所述待处理任务的相似任务的中间处理结果，所述内存中存储有所述处理完成的任务的中间处理结果；

根据所述待处理任务的相似任务的中间处理结果对所述待处理任务进行处理。

2.根据权利要求1所述的方法，其特征在于，还包括：

如果所述处理完成的任务中不存在所述待处理任务的相似任务，则从磁盘中读取所述待处理任务的源数据；

根据所述待处理任务的源数据对所述待处理任务进行处理；

将所述待处理任务的中间处理结果存储到所述内存中。

3.根据权利要求2所述的方法，其特征在于，所述将所述待处理任务的中间处理结果存储到所述内存中之前，还包括：

从所述数据处理请求中获取存储指示信息，所述存储指示信息用于指示将所述待处理任务的中间处理结果存储到所述内存中；

将所述待处理任务的中间处理结果存储到所述内存中，包括：

根据所述存储指示信息将所述待处理任务的中间处理结果存储到所述内存中。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述判断处理完成的任务中是否存在所述待处理任务的相似任务之前，还包括：

通过对所述数据处理请求进行语法分析，提取所述待处理任务的关键信息；

所述判断处理完成的任务中是否存在所述待处理任务的相似任务，包括：

判断数据库中是否存在与所述待处理任务的关键信息匹配的任务，所述数据库中存储有所述处理完成的任务的关键信息；

当所述数据库中存在与所述待处理任务的关键信息匹配的任务时，确定所述处理完成的任务中存在所述待处理任务的相似任务；

当所述数据库中不存在与所述待处理任务的关键信息匹配的任务时，确定所述处理完成的任务中不存在所述待处理任务的相似任务。

5.根据权利要求4所述的方法，其特征在于，所述数据库中还存储有所述处理完成的任务在所述内存中的地址；

所述从内存中读取所述待处理任务的相似任务的中间处理结果，包括：

从所述数据库中查找所述待处理任务的相似任务在所述内存中的地址；

根据所述待处理任务的相似任务在所述内存中的地址，从所述内存中读取所述待处理任务的相似任务的中间处理结果。

6.根据权利要求4所述的方法，其特征在于，任务的关键信息包括以下信息中的一个或多个：任务的源数据的地址、表名、列名和过滤条件。

7.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

根据所述处理完成的任务的中间处理结果的访问频率，对所述内存中存储的所述处理完成的任务的中间处理结果进行淘汰。

8.一种分布式计算系统中的数据处理装置，其特征在于，包括：

接收模块，被配置为接收数据处理请求，所述数据处理请求用于请求对待处理任务进行处理；

判断模块，被配置为判断处理完成的任务中是否存在所述待处理任务的相似任务；

第一读取模块，被配置为当所述处理完成的任务中存在所述待处理任务的相似任务时，从内存中读取所述待处理任务的相似任务的中间处理结果，所述内存中存储有所述处理完成的任务的中间处理结果；

第一处理模块，被配置为根据所述待处理任务的相似任务的中间处理结果对所述待处理任务进行处理。

9.根据权利要求8所述的装置，其特征在于，还包括：

第二读取模块，被配置为当所述处理完成的任务中不存在所述待处理任务的相似任务时，从磁盘中读取所述待处理任务的源数据；

第二处理模块，被配置为根据所述待处理任务的源数据对所述待处理任务进行处理；

存储模块，被配置为将所述待处理任务的中间处理结果存储到所述内存中。