[发明专利]多神经网络模型载入方法、装置、电子设备及存储介质在审
申请号: | 202110036325.5 | 申请日: | 2021-01-12 |
公开(公告)号: | CN114764609A | 公开(公告)日: | 2022-07-19 |
发明(设计)人: | 孙国钦;郭锦斌 | 申请(专利权)人: | 富泰华工业(深圳)有限公司;鸿海精密工业股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06N3/08;H03M7/30 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 常云敏 |
地址: | 518109 广东省深圳市龙华新区观澜街道大三*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 模型 载入 方法 装置 电子设备 存储 介质 | ||
1.一种多神经网络模型载入方法,其特征在于,所述方法包括:
编译至少两个神经网络模型,并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件;
将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型,使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异,生成差异记录文件;
使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件;
在神经网络加速器中输入所述输入文件,解压缩所述输入文件得到所述基础模型与所述差异记录文件,并在神经网络加速器中载入所述基础模型与所述差异记录文件。
2.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述方法还包括:
根据所述差异记录文件修改所述基础模型的参数,以在神经网络加速器中将当前的基础模型切换至与所述修改的参数对应的神经网络模型。
3.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述至少两个二进制模型文件符合神经网络加速器格式要求。
4.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括:
以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型,记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。
5.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件包括:
使用无损编码压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件。
6.如权利要求5所述的多神经网络模型载入方法,其特征在于,所述解压缩所述输入文件得到所述基础模型与所述差异记录文件包括:
使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。
7.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述根据差异记录文件修改所述基础模型的参数包括:
根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。
8.一种多神经网络模型载入装置,其特征在于,包括:
编译模块,用于编译至少两个神经网络模型,并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件;
差异记录模块,用于将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型,使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异,生成差异记录文件;
压缩模块,用于使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件;
载入模块,用于在神经网络加速器中输入所述输入文件,解压缩所述输入文件得到所述基础模型与所述差异记录文件,并在神经网络加速器中载入所述基础模型与所述差异记录文件。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至7中任一项所述的多神经网络模型载入方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的多神经网络模型载入方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于富泰华工业(深圳)有限公司;鸿海精密工业股份有限公司,未经富泰华工业(深圳)有限公司;鸿海精密工业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110036325.5/1.html,转载请声明来源钻瓜专利网。