[发明专利]数据处理方法、装置、设备和系统

权利要求书

1.一种数据处理方法，其特征在于，所述方法由控制设备执行，所述控制设备用于控制计算设备执行大数据分布式处理，所述计算设备配置有多种部署模式的存储介质，所述方法包括：

获取大数据业务的业务请求，所述业务请求包括业务数据；

从所述多种部署模式的存储介质中确定至少一种部署模式的存储介质，所述多种部署模式的存储介质包括所述计算设备内的本地存储介质、基于本地存储介质组成的全局存储介质、扩展的全局存储介质和扩展的本地存储介质中至少两个；

向所述计算设备发送控制指示，所述控制指示用于指示所述计算设备对所述业务数据执行大数据分布式处理中映射map任务，并将得到的中间数据存储到所述至少一种部署模式的存储介质。

2.根据权利要求1所述的方法，其特征在于，从所述多种部署模式的存储介质中确定至少一种部署模式的存储介质，包括：

根据存储策略从所述多种部署模式的存储介质中确定所述至少一种部署模式的存储介质，所述存储策略用于指示依据存储介质特征选取存储介质的方法，所述存储介质特征包括写时延、读时延、总存储容量、可用存储容量、存取速度、中央处理器CPU消耗、能耗比和可靠性中至少一个。

3.根据权利要求2所述的方法，其特征在于，所述根据存储策略从所述多种部署模式的存储介质中确定所述至少一种部署模式的存储介质，包括：

根据所述存储策略指示的所述多种部署模式的存储介质的优先级，从所述多种部署模式的存储介质中确定所述至少一种部署模式的存储介质，所述多种部署模式的存储介质的优先级是依据所述存储介质特征确定的。

4.根据权利要求2所述的方法，其特征在于，所述根据存储策略从所述多种部署模式的存储介质中确定所述至少一种部署模式的存储介质，包括：

根据用户需求和所述多种部署模式的存储介质的存储介质特征，从所述多种部署模式的存储介质中确定满足所述用户需求的至少一种部署模式的存储介质，所述用户需求用于指示与所述存储介质特征相关的需求。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述存储介质包括内存、硬盘、内存服务器和存储级内存SCM。

6.根据权利要求1-5中任一项所述的方法，其特征在于，向所述计算设备发送控制指示之后，所述方法还包括：

接收所述计算设备发送的所述至少一种部署模式的存储介质中所述中间数据的存储位置，所述中间数据的存储位置用于执行归约reduce任务时读取所述中间数据。

7.一种数据处理方法，其特征在于，所述方法由计算设备执行，所述计算设备配置有多种部署模式的存储介质，所述计算设备连接控制设备，所述控制设备用于控制所述计算设备执行大数据分布式处理，所述方法包括：

根据所述控制设备发送的控制指示，对业务数据执行大数据分布式处理中映射map任务，得到中间数据，所述控制指示包括所述业务数据和所述至少一种部署模式的存储介质的标识，所述至少一种部署模式的存储介质是所述控制设备根据存储策略从所述多种部署模式的存储介质中确定得到，所述存储策略用于指示依据存储介质特征选取存储介质的方法；

将所述中间数据存储到所述至少一种部署模式的存储介质的标识指示的存储介质。

8.根据权利要求7所述的方法，其特征在于，将所述中间数据存储到所述至少一种部署模式的存储介质的标识指示的存储介质，包括：

若所述至少一种部署模式的存储介质包含一种部署模式的多个存储介质，将所述中间数据的多个分片数据分别存储到所述多个存储介质；

或者，若所述至少一种部署模式的存储介质包含两种以上部署模式的存储介质，将所述中间数据的多个分片数据分别存储到所述两种以上部署模式的存储介质。

9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：

若第一存储介质的可用存储容量小于阈值，将所述第一存储介质的数据存入第二存储介质，所述第一存储介质的存取速度大于所述第二存储介质的存取速度。