[发明专利]硬件计算模拟方法、系统及计算机可读存储介质

说明书

本发明公开了一种硬件计算模拟方法、系统及计算机可读存储介质，其中，所述方法应用于硬件计算模拟系统，所述硬件计算模拟系统包括构建接口、编译器和执行器，所述方法包括：通过所述构建接口获取神经网络；通过所述编译器将所述神经网络序列化为软件图结构；通过所述执行器获取所述待处理数据和所述软件图结构，并调用与所述软件图结构对应的软件算子对所述待处理数据进行软件计算，以模拟所述硬件模块对所述待处理数据的硬件计算。旨在提高硬件计算模拟系统模拟硬件设备计算的适配性和准确性。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种硬件计算模拟方法、系统及计算机可读存储介质。

背景技术

随着深度学习和AI芯片的迅速发展，深度学习系统通常比较复杂，而且各种框架和硬件设备都存在独特的体系结构，这使得深度学习的开发环境部署、测试以及迭代改进准确性和性能调优等方面的工作变得繁琐耗时，为了优化上述流程，引入了深度学习推理框架。

目前常见的推理框架主要有MNN/NCNN/TNN等开源深度学习推理框架，这类开源深度学习推理框架可以支持市面上常见的硬件设备，对于一些具有独特设计和优化的硬件设备，使用开源深度学习推理框架可能会产生算子不支持、精度损失等推理框架不适配的问题，无法完全模拟硬件设备的性能和优势。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种硬件计算模拟方法、系统及计算机可读存储介质，旨在解决对于一些具有独特设计和优化的硬件设备，使用开源深度学习硬件计算模拟系统可能会产生算子不支持、精度损失等硬件计算模拟系统不适配的问题，旨在提高模拟硬件设备计算的适配度和精准度。

为实现上述目的，本发明提供一种硬件计算模拟方法，应用于硬件计算模拟系统，所述硬件计算模拟系统包括构建接口、编译器和执行器，所述构建接口与所述编译器连接，所述编译器与所述执行器连接，所述执行器用于调用软件算子或者硬件模块对待处理数据进行计算，所述硬件计算模拟方法包括：

通过所述构建接口获取神经网络；

通过所述编译器将所述神经网络序列化为软件图结构；

通过所述执行器获取所述待处理数据和所述软件图结构，并调用与所述软件图结构对应的软件算子对所述待处理数据进行软件计算，以模拟所述硬件模块对所述待处理数据的硬件计算。

可选地，所述编译器包括硬件编译单元，所述通过所述编译器将所述神经网络序列化为软件图结构的步骤之后，还包括：

通过所述硬件编译单元将所述软件图结构序列化为硬件图结构；

通过所述执行器获取所述待处理数据和所述硬件图结构，并调用所述硬件模块对所述待处理数据进行所述硬件计算。

可选地，所述通过所述硬件编译单元将所述软件图结构序列化为硬件图结构的步骤包括：

若所述硬件图结构对应的算子中含有软件算子，则在所述硬件图结构中增加相应的数据拷贝算子。

可选地，所述若所述硬件图结构对应的算子中含有软件算子，则在所述硬件图结构中增加相应的数据拷贝算子的步骤包括：

在所述硬件图结构对应的算子中的软件算子前增加第一数据拷贝算子，以将所述待处理数据从所述硬件模块中拷贝到所述软件算子所在的内存中，并调用相应的软件算子对所述待处理数据进行软件计算。

可选地，所述若所述硬件图结构对应的算子中含有软件算子，则在所述硬件图结构中增加相应的数据拷贝算子的步骤包括：

在所述硬件图结构对应的算子中的软件算子后增加第二数据拷贝算子，以将所述待处理数据从所述硬件模块中拷贝到所述软件算子所在的内存中，并调用所述硬件模块对所述待处理数据进行软件计算。

可选地，所述通过所述编译器将所述神经网络序列化为软件图结构的步骤包括：