[发明专利]基于深度学习的硬件适配装置和方法

权利要求书

1.一种基于深度学习的硬件适配装置，包括：

深度学习推理框架模块，用于解析输入的目标模型文件以获取神经网络的拓扑结构信息；使用拓扑结构信息中的特征图和计算操作分别作为节点和边，以生成图结构的中间表示；

子图引擎模块，用于对配置文件和中间表示进行融合，得到子图算子，包括：对所述中间表示中的计算操作进行合并，以上述特征图作为节点，合并的多个计算操作作为边的子图算子，其中，对所述中间表示中的计算操作进行合并包括如下至少一项：去除不需要的或对计算结果无影响的操作；将多个相邻计算操作进行融合；以及将计算操作进行分解，以将分解的计算操作与在前或在后的计算操作相融合或实现对分解的计算操作的处理，其中，所述配置文件用于定义子图算子的数据属性和硬件类型；

硬件适配模块，用于将所述子图算子转换为在与所述硬件类型对应的目标硬件上执行的指令码，上述目标硬件包括以下至少一项：基于FPGA或ASIC的目标硬件、基于GPU的目标硬件、基于CPU的目标硬件；

其中，所述合并的多个计算操作作为边的子图算子，包括：

按照目标模型文件的拓扑顺序依次遍历图结构中的每个算子，依据已注册的Paddle算子-硬件中间表示的转换表，标记能够转为硬件中间表示的算子；

对标记的算子采用反向深度优先搜索算法将相邻的算子标记为同一个子图；

将子图中算子少于预设个算子的子图删除掉。

2.根据权利要求1所述的装置，其中，所述硬件适配模块，具体用于：

通过其与所述子图算子对应的接口，将所述子图算子转换为在与所述接口对应的目标硬件上执行的指令码。

3.根据权利要求2所述的装置，其中，接口包括以下至少一项：硬件管理接口、多硬件统一上下文接口、模型组网接口、模型编译接口、模型执行接口。

4.根据权利要求1-3任一项所述的装置，其中，所述数据属性包括：数据类型和/或数据结构。

5.根据权利要求4所述的装置，其中，所述数据类型包括以下至少一项：fp32、int8、int16。

6.一种基于深度学习的硬件适配方法，包括：

获取配置文件和目标模型文件；

解析输入的目标模型文件以获取神经网络的拓扑结构信息；使用拓扑结构信息中的特征图和计算操作分别作为节点和边，以生成图结构的中间表示；

利用所述配置文件和子图引擎将中间表示进行融合，得到子图算子，包括：对所述中间表示中的计算操作进行合并，以上述特征图作为节点，合并的多个计算操作作为边的子图算子，其中，对所述中间表示中的计算操作进行合并包括如下至少一项：去除不需要的或对计算结果无影响的操作；将多个相邻计算操作进行融合；以及将计算操作进行分解，以将分解的计算操作与在前或在后的计算操作相融合或实现对分解的计算操作的处理，其中，所述配置文件用于定义子图算子的数据属性和硬件类型；

根据硬件适配框架，将所述子图算子转换为在与所述硬件类型对应的目标硬件上执行的指令码，上述目标硬件包括以下至少一项：基于FPGA或ASIC的目标硬件、基于GPU的目标硬件、基于CPU的目标硬件；

其中，所述合并的多个计算操作作为边的子图算子，包括：

按照目标模型文件的拓扑顺序依次遍历图结构中的每个算子，依据已注册的Paddle算子-硬件中间表示的转换表，标记能够转为硬件中间表示的算子；

对标记的算子采用反向深度优先搜索算法将相邻的算子标记为同一个子图；

将子图中算子少于预设个算子的子图删除掉。

7.根据权利要求6所述的方法，其中，所述根据硬件适配框架，将所述子图算子转换为在与所述硬件类型对应的目标硬件上执行的指令码，包括：

根据所述硬件适配框架中与所述子图算子对应的接口，将所述子图算子转换为在与所述接口对应的目标硬件上执行的指令码。

8.根据权利要求7所述的方法，其中，接口包括以下至少一项：硬件管理接口、多硬件统一上下文接口、模型组网接口、模型编译接口、模型执行接口。