[发明专利]基于深度学习的硬件适配装置和方法

说明书

本公开提供了一种基于深度学习的硬件适配装置和方法，涉及深度学习和图优化技术领域。该装置的一实施方式包括：深度学习推理框架模块，用于基于输入的目标模型文件，得到图结构的中间表示；子图引擎模块，用于对配置文件和中间表示进行融合，得到子图算子，其中，配置文件用于定义子图算子的数据属性和硬件类型；硬件适配模块，用于将子图算子转换为在与硬件类型对应的目标硬件上执行的指令码。

技术领域

本公开涉及计算机领域，具体涉及深度学习和图优化，尤其涉及一种基于深度学习的硬件适配装置和方法。

背景技术

随着深度学习技术在各领域的广泛应用，涌现了大量比中央处理器(CentralProcessing Unit/Processor，CPU)、图形处理器(Graphics Processing Unit，GPU)的等传统架构更高效的人工智能(Artificial Intelligence，AI)芯片；良好的软件生态是AI硬件获得成功的关键，它不仅取决于硬件厂商自身软件栈的成熟度，更依赖于是否能够获得深度学习推理框架的广泛支持，而后者能够帮助用户简化业务部署过程，降低因硬件差异带来的迁移成本，从而可以快速地获得更高的性能和能效收益。

目前，各大深度学习推理框架普遍采用以下方案：(1)委托(Delegate)方式：TensorFlow Lite和MindSpore Lite普遍采用委托(Delegate)方式将模型中部分算子运行在GPU、数字信号处理(Digital Signal Process，DSP)和网络处理器(NPU)等加速器上，厂商在适配时只需为每个硬件分别实现Delegate子类及其接口，在模型优化期间对硬件支持的多个算子融合成子图算子，而在模型执行期间运行子图算子时将子图转成硬件模型并在执行后向框架返回结果。(2)Android NNAPI(Android Neural Networks API)和AndroidNN Runtime(ART)：为了将推理框架和硬件适配解耦，Google对向框架层的设备管理、模型组网、执行等接口进行标准化建立Android NNAPI接口体系，然后通过Android NN Runtime适配不同的AI硬件，这样硬件厂商在适配Android NN Runtime后，理论上可以透过统一的Android NNAPI接入不同的深度学习推理框架，例如TensorFlow Lite和PyTorch Mobile(移动端)。

发明内容

本公开实施例提出了一种基于深度学习的硬件适配装置和方法。

第一方面，本公开实施例提出了一种基于深度学习的硬件适配装置，包括：深度学习推理框架模块，用于基于输入的目标模型文件，得到图结构的中间表示；子图引擎模块，用于对配置文件和中间表示进行融合，得到子图算子，其中，配置文件用于定义子图算子的数据属性和硬件类型；硬件适配模块，用于将子图算子转换为在与硬件类型对应的目标硬件上执行的指令码。

第二方面，本公开实施例提出了一种基于深度学习的硬件适配方法，包括：获取配置文件和目标模型文件；利用深度学习推理框架，得到图结构的中间表示；利用配置文件和子图引擎将中间表示进行融合，得到子图算子，其中，配置文件用于定义子图算子的数据属性和硬件类型；根据硬件适配框架，将子图算子转换为在与硬件类型对应的目标硬件上执行的指令码。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第二方面描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第二方面描述的方法。