[发明专利]模型部署方法、装置、设备和介质

说明书

本申请提供一种模型部署方法、装置、设备和介质，涉及深度学习技术领域，该方法包括：获取人工智能芯片的芯片类型，根据芯片类型，在预设的软件开发工具包中获取中间模型和用于转化中间模型的目标框架工具，根据目标框架工具，将中间模型转换为芯片类型对应的二进制文件，根据二进制文件，将深度学习模型部署至人工智能芯片中。该技术方案中，通过利用软件开发工具包中封装的各种框架工具对模型进行转换，使得用户在进行模型部署时，不需要事先去了解芯片类型并根据芯片类型掌握对应的框架工具，降低了用户工作量，方便了模型的部署，提高模型部署效率。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种模型部署方法、装置、设备和介质。

背景技术

深度学习模型通常都是通过大量的训练数据训练得到，训练完成后的深度学习模型需要应用落地，赋能到产业应用中。例如将深度学习模型部署到自动驾驶车辆中的人工智能（Artificial Intelligence，AI）芯片中，AI芯片基于该深度学习模型的推理结果实现自动驾驶控制。

现有技术中，深度学习模型在部署到AI芯片时，通常都需要事先利用框架工具将深度学习模型进行格式转换，然后才能部署到相应的芯片中。

但是，现有的模型部署方式，由于各个AI芯片厂家都有各自的框架工具，导致用户在部署深度学习模型至不同AI芯片时，往往需要事先熟练去掌握不同的框架工具，费事费力，模型部署效率低。

发明内容

本申请提供一种模型部署方法、装置、设备和介质，用于解决现有模型部署效率低的问题。

第一方面，本申请实施例提供一种模型部署方法，包括：

获取人工智能芯片的芯片类型；

根据所述芯片类型，在预设的软件开发工具包中获取中间模型和用于转化所述中间模型的目标框架工具，所述软件开发工具包中包括至少一种中间模型和框架工具，所述中间模型由预先训练好的深度学习模型转化得到；

根据所述目标框架工具，将所述中间模型转换为所述芯片类型对应的二进制文件；

根据所述二进制文件，将所述深度学习模型部署至所述人工智能芯片中。

在第一方面的一种可能设计中，所述根据所述芯片类型，在预设的软件开发工具包中获取目标中间模型和用于转化所述中间模型的目标框架工具，包括：

根据预设对应表中的第一对应关系，获取所述芯片类型对应的模型标识信息，所述第一对应关系用于表征各个芯片类型与模型标识信息的对应关系；

在所述软件开发工具包中查找得到所述模型标识信息所标识的模型，作为所述中间模型；

根据所述预设对应表中的第二对应关系，获取所述芯片类型对应的框架工具作为所述目标框架工具，所述第二对应关系用于表征各个芯片类型与框架工具的对应关系。

在第一方面的另一种可能设计中，所述方法还包括：

每间隔预设更新时间周期，对所述预设对应表进行更新。

在第一方面的再一种可能设计中，所述根据所述芯片类型，在预设的软件开发工具包中获取中间模型和用于转化所述中间模型的目标框架工具之前，所述方法还包括：

获取至少两个预先训练好的深度学习模型，其中，不同的深度学习模型基于不同的深度学习框架开发得到；

将所述至少两个预先训练好的深度学习模型转换为所述中间模型；

将所述中间模型存储到软件开发工具包中。

在第一方面的又一种可能设计中，所述根据所述二进制文件，将所述深度学习模型部署至所述人工智能芯片中，包括：