[发明专利]一种张量计算运行方法、装置及运算系统

权利要求书

1.一种张量计算运行方法，其特征在于，应用于运算系统中的主机端，所述运算系统还包括多个设备端，所述方法包括：

生成多个计算指令，所述计算指令用于表示张量计算方式；

针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端；

针对每个计算指令，以该计算指令所对应的设备端的预设运行环境能够解析的封装方式，封装所述计算指令，得到该设备端对应的任务信息；

针对每个所述任务信息，向该任务信息所对应的设备端发送该任务信息，以使得所述多个设备端按照所述多个计算指令所表示的张量计算方式并行地进行张量计算。

2.根据权利要求1所述的方法，其特征在于，所述多个计算指令中不同的计算指令用于表示预设张量计算的不同张量计算方式；

所述方法还包括：

针对每个所述计算指令，获取设备端按照该计算指令所表示的张量计算方式完成所述预设张量计算所花费的时长，作为该计算指令的耗时；

确定所述多个计算指令中所述耗时最短的计算指令，作为实现所述预设张量计算时所使用的计算指令。

3.根据权利要求2所述的方法，其特征在于，所述针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端，包括：

针对每个所述计算指令，将所述多个设备端中一个未在进行张量计算的设备端确定为该计算指令对应的设备端。

4.一种张量计算运行装置，其特征在于，应用于运算系统中的主机端，所述运算系统还包括多个设备端，所述装置包括：

编译模块，用于生成多个计算指令，所述计算指令用于表示张量计算方式；

调度模块，针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端；

封装模块，用于针对每个计算指令，以该计算指令所对应的设备端的预设运行环境能够解析的封装方式，封装所述计算指令，得到该设备端对应的任务信息；

通信模块，用于针对每个所述任务信息，向该任务信息所对应的设备端发送该任务信息，以使得所述多个设备端按照所述多个计算指令所表示的张量计算方式并行地进行张量计算。

5.根据权利要求4所述的装置，其特征在于，所述多个计算指令中不同的计算指令用于表示预设张量计算的不同张量计算方式；

所述通信模块，还用于针对每个所述计算指令，获取设备端按照该计算指令所表示的张量计算方式完成所述预设张量计算所花费的时长，作为该计算指令的耗时；

所述装置还包括自动优化模块，用于确定所述多个计算指令中所述耗时最短的计算指令，作为实现所述预设张量计算时所使用的计算指令。

6.根据权利要求5所述的装置，其特征在于，所述调度模块，具体用于针对每个所述计算指令，将所述多个设备端中一个未在进行张量计算的设备端确定为该计算指令对应的设备端。

7.一种运算系统，其特征在于，所述运算系统包括主机端和多个设备端；

所述主机端，用于生成多个计算指令，所述计算指令用于表示张量计算方式；

所述主机端，还用于针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端；并针对每个计算指令，以该计算指令所对应的设备端的预设运行环境能够解析的封装方式，封装所述计算指令，得到该设备端对应的任务信息；针对每个所述任务信息，向该任务信息所对应的设备端发送该任务信息，以使得所述多个设备端按照所述多个计算指令所表示的张量计算方式并行地进行张量计算；

所述多个设备端，具体用于按照所述多个计算指令所表示的张量计算方式并行地进行张量计算。

8.根据权利要求7所述的系统，其特征在于，所述多个计算指令中不同的计算指令用于表示预设张量计算的不同张量计算方式；

所述主机端，还用于针对每个所述计算指令，获取设备端按照该计算指令所表示的张量计算方式完成所述预设张量计算所花费的时长，作为该计算指令的耗时；

所述主机端，还用于确定所述多个计算指令中所述耗时最短的计算指令，作为实现所述预设张量计算时所使用的计算指令。