[发明专利]多神经网络模型载入方法、装置、电子设备及存储介质

说明书

本发明涉及一种多神经网络模型载入方法、装置、电子设备及存储介质。所述方法包括：编译至少两个神经网络模型，计算所述至少两个神经网络模型之间的差异，并通过预设的压缩方法生成模型文件；在神经网络加速器中输入所述模型文件，解码并载入经过编译的神经网络模型；切换神经网络模型时，根据所述差异修改神经网络基础模型的参数。本发明中，通过记录多个模型之间的差异并对模型与记录差异的文件进行编码，从而可以压缩神经网络模型的体积，以及实现在神经网络加速器中载入多个神经网络模型。

技术领域

本发明涉及人工智能领域，具体涉及一种多神经网络模型载入方法、装置、电子设备及存储介质。

背景技术

人工智能在模型训练中需要大量的计算，但受限于其算法和计算本身的特性，被广泛使用的传统计算芯片无法满足这些需求，因此，需要为神经网络算法打造专用的芯片，也就是神经网络加速器。然而，在神经网络加速器中载入模型时，现有的技术可以压缩神经网络模型的体积，以缩短载入时间，却无法载入多个神经网络模型。

发明内容

鉴于以上内容，有必要提出一种多神经网络模型载入方法、装置、电子设备及存储介质以接近在神经网络加速器无法载入多个神经网络模型以及在多个神经网络模型之间进行切换的技术问题。

本申请的第一方面提供多神经网络模型载入方法，所述方法包括：

编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件；

将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型，使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异，生成差异记录文件；

使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件；

在神经网络加速器中输入所述输入文件，解压缩所述输入文件得到所述基础模型与所述差异记录文件，并在神经网络加速器中载入所述基础模型与所述差异记录文件；

优选地，所述方法还包括：

根据所述差异记录文件修改所述基础模型的参数，以在神经网络加速器中将当前的基础模型切换至与所述修改的参数对应的神经网络模型。

优选地，所述至少两个二进制模型文件符合神经网络加速器格式要求。

优选地，所述使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括：

以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。

优选地，所述使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：

使用无损编码压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。

优选地，所述解压缩所述输入文件得到所述基础模型与所述差异记录文件包括：

使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。

优选地，所述根据差异记录文件修改所述基础模型的参数包括：

根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。

本申请的第二方面提供一种多神经网络模型载入装置，所述装置包括：

编译模块，用于编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件；