[发明专利]深度学习模型的编译方法、电子设备及存储介质

说明书

本申请实施例提供一种深度学习模型的编译方法、电子设备及存储介质。方法包括：将深度学习模型转换为计算图；按照计算图中的计算节点的顺序将计算节点包含的各原始算子转换为目标语言片段，获得初始片段集合；至少针对初始片段集合，将多个相同的目标语言片段过滤为单一的目标语言片段，获得经过滤的片段集合；导出编译后的深度学习模型，编译后的深度学习模型包括深度学习模型的运行环境和经过滤的片段集合，其中，运行环境包括深度学习模型的原始算子以及各原始算子与经过滤的片段集合中的各目标语言片段之间的映射关系。编译后的深度学习模型在运行时能够在较少存储，例如KB(千字节)级别的运行环境中运行。

技术领域

本申请涉及深度学习领域，更具体地涉及一种深度学习模型的编译方法、电子设备、存储介质及计算机程序产品。

背景技术

在现有技术中，流行的深度学习推理框架主要使用C++编写，在编写的过程中需要提供预先写好的高性能算子。但现有框架无论怎么裁剪始终需要MB(百万字节)级别的运行环境才能完整执行业务依赖的所有模型。这就导致深度学习推理很难在存储空间受限或者C++/C基础库支持欠佳的运行环境下部署。而且，传统框架还存在初始化时间较长的问题，在不能永驻内存的场景下用户会感受到明显卡顿。

综上所述，需要一种新的深度学习模型的编译方法来解决上述问题。

发明内容

考虑到上述问题而提出了本申请。本申请提供了一种深度学习模型的编译方法、电子设备、存储介质及计算机程序产品。

根据本申请一方面，提供了一种深度学习模型的编译方法，包括：将深度学习模型转换为计算图；按照计算图中的计算节点的顺序将计算节点包含的各原始算子转换为目标语言片段，获得初始片段集合；至少针对初始片段集合，将多个相同的目标语言片段过滤为单一的目标语言片段，获得经过滤的片段集合；导出编译后的深度学习模型，编译后的深度学习模型包括深度学习模型的运行环境和经过滤的片段集合，其中，运行环境包括深度学习模型的原始算子以及各原始算子与经过滤的片段集合中的各目标语言片段之间的映射关系。

示例性地，按照计算图中的计算节点的顺序将计算节点包含的各原始算子转换为目标语言片段包括：利用预设算法将任一原始算子拆分为一个或多个程序片段；将一个或多个程序片段一一对应地转换为一个或多个采用目标语言描述的新程序片段；将一个或多个新程序片段拼接在一起，获得与该原始算子相对应的目标语言片段。

示例性地，在按照计算图中的计算节点的顺序将计算节点包含的各原始算子转换为目标语言片段，获得初始片段集合之前，方法还包括：针对计算图中的各计算节点所需的内存空间进行内存空间规划。

示例性地，在导出编译后的深度学习模型之前，方法还包括：统计初始片段集合运行所需要的所有内存空间；基于统计结果为每个原始算子的输入数据、输出数据和中间结果分配内存空间，获得内存分配信息，其中，运行环境还包括内存分配信息。

示例性地，在导出编译后的深度学习模型之前，方法还包括：按照经过滤的片段集合中的各目标语言片段的调用顺序，将深度学习模型的原始算子以及映射关系进行序列化，获得运行环境。

示例性地，在导出编译后的深度学习模型之后，方法还包括：将运行环境和经过滤的片段集合封装成软件工具包。

示例性地，在至少针对初始片段集合，将多个相同的目标语言片段过滤为单一的目标语言片段，获得经过滤的片段集合之前，方法还包括：将串联两个深度学习模型的串联算子转换为目标语言片段；至少针对初始片段集合，将多个相同的目标语言片段过滤为单一的目标语言片段，获得经过滤的片段集合包括：针对串联算子所对应的目标语言片段以及初始片段集合，将多个相同的目标语言片段过滤为单一的目标语言片段，获得经过滤的片段集合。

根据本申请另一方面，提供了一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的深度学习模型的编译方法。