[发明专利]数据处理方法、装置、设备和系统

说明书

公开了数据处理方法、装置、设备和系统，涉及大数据领域。控制设备用于控制计算设备执行大数据分布式处理。计算设备配置有多种部署模式的存储介质，多种部署模式的存储介质包括计算设备内的本地存储介质、基于本地存储介质组成的全局存储介质、扩展的全局存储介质和扩展的本地存储介质中至少两个。所述方法包括控制设备获取到大数据业务的业务请求，从多种部署模式的存储介质中确定至少一种部署模式的存储介质，向计算设备发送控制指示，指示计算设备对业务请求包括的业务数据执行大数据分布式处理中映射(map)任务，并将得到的中间数据存储到至少一种部署模式的存储介质。从而，减少用于存储中间数据而占用计算设备内存储介质的存储空间。

本申请要求于2021年10月22日提交国家知识产权局、申请号为202111234307.4、申请名称为“分布式系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及大数据领域，尤其涉及一种数据处理方法、装置、设备和系统。

背景技术

大数据(big data)是需要创新的处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。通常，由多个计算设备基于映射归约(MapReduce)模型对大数据进行分布式处理。由于数据分布在不同的计算设备，执行映射(map)任务的计算设备存储map任务后得到的中间数据。执行归约(reduce)任务的计算设备可能从远端读取中间数据，这个数据交换的过程称为交换(shuffle)。目前，计算设备将中间数据存储到该计算设备内的内存或硬盘。在基于MapReduce模型对大数据进行分布式处理的场景下，导致过多地占用计算设备内存储介质的存储空间。

发明内容

本申请提供了数据处理方法、装置、设备和系统，由此降低占用计算设备内存储介质的存储空间。

第一方面，提供了一种数据处理方法，所述方法由控制设备执行，控制设备用于控制计算设备执行大数据分布式处理，计算设备配置有多种部署模式的存储介质，多种部署模式的存储介质包括计算设备内的本地存储介质、基于本地存储介质组成的全局存储介质、扩展的全局存储介质和扩展的本地存储介质中至少两个。所述方法包括控制设备获取到大数据业务的业务请求，从多种部署模式的存储介质中确定至少一种部署模式的存储介质，向计算设备发送控制指示，指示计算设备对业务请求包括的业务数据执行大数据分布式处理中map任务，并将得到的中间数据存储到至少一种部署模式的存储介质。

如此，控制设备可以从多种部署模式的存储介质中选择存储中间数据的存储介质，以减少用于存储中间数据而占用计算设备内存储介质(如：内存或磁盘)的存储空间，为计算设备执行map任务或reduce任务释放出更多的可用存储空间，进而提升了计算设备处理map任务或reduce任务的处理效率。

在一种可能的实现方式中，从多种部署模式的存储介质中确定至少一种部署模式的存储介质，包括：控制设备根据存储策略从多种部署模式的存储介质中确定至少一种部署模式的存储介质。存储策略用于指示依据存储介质特征选取存储介质的方法。存储介质特征包括写时延、读时延、总存储容量、可用存储容量、存取速度、中央处理器(centralprocessing unit，CPU)消耗、能耗比和可靠性中至少一个。

示例一，根据存储策略从多种部署模式的存储介质中确定至少一种部署模式的存储介质，包括：控制设备根据存储策略指示的多种部署模式的存储介质的优先级，从多种部署模式的存储介质中确定至少一种部署模式的存储介质，多种部署模式的存储介质的优先级是依据存储介质特征确定的。