[发明专利]神经网络模型编译方法、设备及存储介质在审
申请号: | 202211724624.9 | 申请日: | 2022-12-30 |
公开(公告)号: | CN116225445A | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 孙金周;石开宇;王硕;薛峰 | 申请(专利权)人: | 思必驰科技股份有限公司 |
主分类号: | G06F8/41 | 分类号: | G06F8/41;G06N3/063 |
代理公司: | 苏州谨和知识产权代理事务所(特殊普通合伙) 32295 | 代理人: | 吕超 |
地址: | 215000 江苏省苏州市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 模型 编译 方法 设备 存储 介质 | ||
1.一种神经网络模型编译方法,其特征在于,所述方法包括:
将待编译神经网络模型转换为神经网络算子;
对所述神经网络算子进行划分,得到第一芯片对应的第一算子和第二芯片对应的第二算子;
分别将所述第一算子和所述第二算子转换为第一中间表示和第二中间表示;
分别将所述第一中间表示和所述第二中间表示转换为第一计算函数和第二计算函数;
将所述第一计算函数和所述第二计算函数组合后,编译链接为计算库。
2.根据权利要求1所述的方法,其特征在于,所述神经网络算子的数量为N个,其中,所述N为大于0的整数;对所述神经网络算子进行划分,得到第一芯片对应的第一算子和第二芯片对应的第二算子,包括:
获取所述第一芯片对应的第一算子集合;所述第一算子集合中包括所述第一芯片对应的可执行算子;
确定所述第一算子集合是否包括第M个神经网络算子;其中,所述M为大于0、且小于或等于所述N的整数;
在所述第一算子集合中包括所述第M个神经网络算子的情况下,将所述第M个神经网络算子确定为所述第一算子;
确定所述M是否小于所述N;
在所述M小于所述N的情况下,令M=M+1;执行所述确定所述第一算子集合是否包括第M个神经网络算子的步骤。
3.根据权利要求2所述的方法,其特征在于,在所第一算子集合中不包括所述第M个神经网络算子的情况下,将所述第M个神经网络算子确定为所述第二算子;
确定所述M是否小于所述N;
在所述M小于所述N的情况下,令M=M+1;执行所述确定所述第一算子集合是否包括第M个神经网络算子的步骤。
4.根据权利要求1所述的方法,其特征在于,所述神经网络算子的数量为N个;其中,所述N为大于0的整数;所述对所述神经网络算子进行划分,得到第一芯片对应的第一算子和第二芯片对应的第二算子,包括:
确定所述第一芯片执行第M个神经网络算子的执行效率是否大于或等于所述第二芯片执行所述第M个神经网络算子的执行效率;其中,所述M为大于0、且小于或等于所述N的整数;
在所述第一芯片对应的执行效率大于或等于所述第二芯片的执行效率的情况下,将所述第M个神经网络算子确定为所述第一算子;
确定所述M是否小于所述N;
在所述M小于所述N的情况下,令M=M+1;执行所述确定所述第一芯片和所述第二芯片分别执行第M个神经网络算子对应的执行效率的步骤。
5.根据权利要求4所述的方法,其特征在于,在所述第一芯片对应的执行效率小于所述第二芯片的执行效率的情况下,将所述第M个神经网络算子确定为所述第二算子;
确定所述M是否小于所述N;
在所述M小于所述N的情况下,令M=M+1;执行所述确定所述第一芯片和所述第二芯片分别执行第M个神经网络算子对应的执行效率的步骤。
6.根据权利要求4所述的方法,其特征在于,所述确定所述第一芯片执行第M个神经网络算子的执行效率是否大于或等于所述第二芯片执行所述第M个神经网络算子的执行效率,包括:
获取所述第一芯片对应的第二算子集合;所述第二算子集合包括所述第一芯片可执行、且执行效率大于或等于所述第二芯片对应的执行效率的算子;
在所述第二算子集合包括所述第M个神经网络算子的情况下,确定所述第一芯片执行第M个神经网络算子的执行效率大于或等于所述第二芯片执行所述第M个神经网络算子的执行效率。
7.根据权利要求1所述的方法,其特征在于,所述分别将所述第一中间表示和所述第二中间表示转换为第一计算函数和第二计算函数,包括:
通过预设编译框架后端将所述第一中间表示转化为第一芯片对应的指令集合;
基于所述第一芯片对应的驱动函数,将所述指令集合封装成所述第一计算函数;
将所述第二中间函数转换得到所述第二计算函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司,未经思必驰科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211724624.9/1.html,转载请声明来源钻瓜专利网。