[发明专利]一种数据处理方法、装置及设备

说明书

本申请提供一种数据处理方法、装置及设备，该方法包括：获取与数据处理请求对应的待处理算子；获取所述待处理算子在多个资源类型下分别对应的代价值；根据所述代价值从所述多个资源类型中选取目标资源类型；通过所述目标资源类型对应的计算资源执行所述待处理算子。通过本申请的技术方案，能够获得更高的处理性能，用户体验更好。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

数据湖分析(Data Lake Analytics)用于为用户提供无服务器化(Serverless)的查询分析服务，能够对海量的数据进行任意维度的分析和查询，支持高并发、低延时(毫秒级响应)、实时在线分析、海量数据查询等功能。在数据湖分析系统中，可以包括数据库和计算节点，数据库用于存储大量的数据，计算节点用于接收执行计划，并根据该执行计划对数据库中的数据进行相应处理。

为了加速数据处理和计算性能，数据湖分析系统提供多种类型的计算资源。例如，CPU(Central Processing Unit，中央处理器)资源、FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)资源、GPU(Graphics Processing Unit，图形处理器)资源等，计算节点可以利用这些计算资源对数据进行处理。

但是，当数据湖分析系统同时支持CPU资源、FPGA资源、GPU资源时，应该选取哪个计算资源对数据进行处理，目前并没有合理的选取方式。

发明内容

本申请提供一种数据处理方法，所述方法包括：

获取与数据处理请求对应的待处理算子；

获取所述待处理算子在多个资源类型下分别对应的代价值；

根据所述代价值从所述多个资源类型中选取目标资源类型；

通过所述目标资源类型对应的计算资源执行所述待处理算子。

本申请提供一种数据处理方法，应用于数据湖分析平台，所述数据湖分析平台用于为用户提供无服务器化的数据处理服务，所述方法包括：

获取与数据处理请求对应的待处理算子；

获取所述待处理算子在多个资源类型下分别对应的代价值；

根据所述代价值从所述多个资源类型中选取目标资源类型；

通过所述目标资源类型对应的计算资源执行所述待处理算子；

其中，所述目标资源类型对应的计算资源，用于基于所述数据湖分析平台提供的云数据库，执行所述待处理算子。

本申请提供一种数据处理方法，所述方法包括：

通过指定资源类型对应的计算资源执行指定算子，并获取执行过程中的所述计算资源的代价值；其中，所述指定资源类型为多个资源类型中的任一资源类型，所述指定算子为多个算子中的任一算子；

生成算子资源注册表；其中，所述算子资源注册表包括所述指定算子、所述指定资源类型和所述计算资源的代价值之间的对应关系；

其中，所述算子资源注册表用于确定与数据处理请求对应的待处理算子对应的代价值，并根据所述代价值确定所述待处理算子的目标资源类型，通过所述目标资源类型对应的计算资源执行所述待处理算子。

本申请提供一种数据处理方法，所述方法包括：

获取与数据处理请求对应的原始执行计划，原始执行计划包括待处理算子；

获取所述待处理算子在多个资源类型下分别对应的代价值；

根据所述代价值从所述多个资源类型中选取目标资源类型；