[发明专利]分布式异构计算方法及系统

说明书

提供了一种分布式异构计算方法和系统，其中该方法包括：获取多个异构硬件设备的配置信息和每个异构硬件设备能够提供的数据处理服务；根据用户提交的计算作业的需求以及多个异构硬件设备中的可用异构硬件设备的配置信息和可用异构硬件设备的可用数据处理服务，生成任务执行序列，其中任务执行序列包括一系列任务，每个任务指示与该任务相对应的可用异构硬件设备和可用数据处理服务；以及多个可用异构硬件设备的可用数据处理服务根据任务执行序列依次执行计算作业，其中任务执行序列中前一任务指示的可用异构硬件设备的输出数据为任务执行序列中后一任务指示的可用异构硬件设备的输入数据。

技术领域

本公开涉及分布式异构计算技术领域，具体涉及一种分布式异构计算方法及系统。

背景技术

现阶段异构硬件平台种类繁多，但大多数数据处理作业都基于单台主机的异构计算平台，或同种类型的异构计算平台构成的分布式计算环境，如安装有图形处理器(GPU)加速卡的工作站，或者GPU集群。然而，每种异构计算平台都有其特长，在复杂计算中，可能会利用到多种异构平台的混合使用，如GPU、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和集成众核(MIC)。当分布式环境中各台主机的异构硬件配置各不相同，对于用户来说，配置执行管理一个作业就会十分不方便。

发明内容

在第一方面中，本公开提供了一种分布式异构计算方法，包括：

获取多个异构硬件设备的配置信息和每个异构硬件设备能够提供的数据处理服务；

根据用户提交的计算作业的需求以及多个异构硬件设备中的可用异构硬件设备的配置信息和可用异构硬件设备的可用数据处理服务，生成任务执行序列，其中任务执行序列包括一系列任务，每个任务指示与该任务相对应的可用异构硬件设备和可用数据处理服务；以及

多个可用异构硬件设备的可用数据处理服务根据任务执行序列依次执行计算作业，其中任务执行序列中前一任务指示的可用异构硬件设备的输出数据为任务执行序列中后一任务指示的可用异构硬件设备的输入数据。

在本公开的一些实施方式中，每个任务还指示数据输入源和数据输出地，其中，前一任务的数据输出地与后一任务的数据输入源相同、前一任务的数据输出地与后一任务的数据输入源之一相同、或前一任务的数据输出地之一与后一任务的数据输入源相同。

在本公开的一些实施方式中，可用构硬件设备的可用数据处理服务根据任务执行序列依次执行计算作业还包括：对于每个可用异构硬件设备，

对输入数据进行编码，以使得经过编码的输入数据适用于可用异构硬件设备；

可用异构硬件设备通过任务执行序列中的任务指示的可用数据处理服务对进过编码的输入数据进行处理；以及

对经过处理的输入数据进行解码，以得到输出数据。

在本公开的一些实施方式中，可用异构硬件设备通过总线或网络进行通信。

在本公开的一些实施方式中，该分布式异构计算方法还包括：

数据处理服务在执行计算作业的过程中上报执行状态，以及

在执行状态为失败时，重新生成任务执行序列；以及在执行状态改变时，重新配置任务执行序列。

在本公开的一些实施方式中，异构硬件设备包括以下中至少之一：中央处理器、图形处理器、现场可编程门阵列、数字信号处理器、集成众核以及专用集成电路。

在第二方面中，本公开还提供了一种分布式异构计算系统，包括：

多个异构硬件设备，用于处理数据；

全局状态存储模块，用于存储多个异构硬件设备的配置信息、每个异构硬件设备能够提供的数据处理服务以及数据处理服务的执行状态；