[发明专利]基于神经网络中静态计算图的内存优化方法及电子设备在审
| 申请号： | 202211692197.0 | 申请日： | 2022-12-28 |
| 公开（公告）号： | CN116185610A | 公开（公告）日： | 2023-05-30 |
| 发明（设计）人： | 冷静文;过敏意;郭聪;邱宇贤;李超 | 申请（专利权）人： | 上海交通大学;上海期智研究院 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06N3/08;G06F17/13;G06F17/16 |
| 代理公司： | 上海光华专利事务所(普通合伙) 31219 | 代理人： | 庞红芳 |
| 地址： | 200240 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 神经网络 静态 计算 内存 优化 方法 电子设备 | ||
1.一种基于神经网络中静态计算图的内存优化方法，其特征在于：包括：
识别神经网络静态计算图中前向兼容算子；
消除与所述前向兼容算子对应的与后向自动微分相关的子图；
生成与所述前向兼容算子对应的前向求导子图，并输出当前的神经网络静态计算图。
2.根据权利要求1所述的基于神经网络中静态计算图的内存优化方法，其特征在于：所述识别神经网络静态计算图中前向兼容算子的方式包括以下任一种或多种组合：
在当前算子为一元算子时，确定所述当前算子为前向兼容算子；
将具有一个非常量输入的n元算子确定为前向兼容算子；
将所有输入来自同一上游算子的n元算子确定为前向兼容算子。
3.根据权利要求1或2所述的基于神经网络中静态计算图的内存优化方法，其特征在于：将由前向兼容算子组成的组合算子确定为前向兼容算子。
4.根据权利要求1所述的基于神经网络中静态计算图的内存优化方法，其特征在于：还包括：
将由互相连通的前向兼容算子组成的子图标记为前向兼容子图。
5.根据权利要求4所述的基于神经网络中静态计算图的内存优化方法，其特征在于：所述消除与所述前向兼容算子对应的与后向自动微分相关的子图包括：
消除与前向兼容子图对应的后向子图间的连接；
消除与前向兼容子图对应的后向子图。
6.根据权利要求5所述的基于神经网络中静态计算图的内存优化方法，其特征在于：还包括：消除与前向兼容子图对应的后向阶段的求导算子。
7.根据权利要求5所述的基于神经网络中静态计算图的内存优化方法，其特征在于：所述生成与所述前向兼容算子对应的前向求导子图中，基于前向自动微分的求导方法生成对应的前向求导子图，并将生成的所述前向求导子图插入所述静态计算图中。
8.根据权利要求7所述的基于神经网络中静态计算图的内存优化方法，其特征在于：还包括：
对于每个前向兼容子图，将其对应的前向求导子图的输出与后向图中对应的梯度结合生成在后向图中的求导算子，从而修复后向图。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8中任一项所述的基于神经网络中静态计算图的内存优化方法。
10.一种电子设备，其特征在于：包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现如权利要求1至权利要求8任一权利要求所述的基于神经网络中静态计算图的内存优化方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海交通大学;上海期智研究院，未经上海交通大学;上海期智研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202211692197.0/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种用于药剂低温存储的运输箱
- 下一篇：一种注塑模具复合行位镶件抽针机构
