[发明专利]一种基于多算子融合的深度神经网络推理加速方法和系统在审
| 申请号： | 202110660174.0 | 申请日： | 2021-06-15 |
| 公开（公告）号： | CN113420865A | 公开（公告）日： | 2021-09-21 |
| 发明（设计）人： | 傅家庆;杨非;叶娇娇;钟昊文;陈岱渊;单海军 | 申请（专利权）人： | 之江实验室 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06N5/04 |
| 代理公司： | 杭州浙科专利事务所(普通合伙) 33213 | 代理人： | 孙孟辉 |
| 地址： | 310023 浙江省杭州市余*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于多算子融合的深度神经网络推理加速方法和系统，该方法具体为：首先输入神经网络计算图，获取神经网络计算逻辑图，依据神经网络算子间计算关系，获取完整的神经网络前向计算的符号表达式；然后使用可融合算子搜索方法，利用算子符号表达式自动简化系统，化简神经网络前向计算的符号表达式，获取最简的符号表达式，实现多算子融合；再依据多算子融合结果，根据获得的最简符号表达式，构建新的神经网络计算推理逻辑图，解耦最简符号表达式，离线计算并存储为新的模型参数，构建相应的神经网络模型结构；最后加载新的模型参数实现推理加速。本发明能够减少算子执行间隙的开销，提升设备计算资源利用率，优化网络整体推理速度。 | ||
| 搜索关键词： | 一种 基于 算子 融合 深度 神经网络 推理 加速 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于之江实验室，未经之江实验室许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110660174.0/，转载请声明来源钻瓜专利网。
