[发明专利]基于神经网络中静态计算图的内存优化方法及电子设备在审
| 申请号： | 202211692197.0 | 申请日： | 2022-12-28 |
| 公开（公告）号： | CN116185610A | 公开（公告）日： | 2023-05-30 |
| 发明（设计）人： | 冷静文;过敏意;郭聪;邱宇贤;李超 | 申请（专利权）人： | 上海交通大学;上海期智研究院 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06N3/08;G06F17/13;G06F17/16 |
| 代理公司： | 上海光华专利事务所(普通合伙) 31219 | 代理人： | 庞红芳 |
| 地址： | 200240 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于神经网络中静态计算图的内存优化方法及电子设备，所述方法包括：识别神经网络静态计算图中前向兼容算子；消除与所述前向兼容算子对应的与后向自动微分相关的子图；生成与所述前向兼容算子对应的前向求导子图，并输出当前的神经网络静态计算图。本发明能够在不引入额外计算开销的情况下，通过自动优化静态计算图有效降低大部分神经网络激活函数的内存占用；本发明为大模型在内存受限设备上进行训练提供了有效支持，为新型激活函数的大规模应用铺平了道路，为大型神经网络基于静态计算图的训练节约了大量内存资源。 | ||
| 搜索关键词： | 基于 神经网络 静态 计算 内存 优化 方法 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海交通大学;上海期智研究院，未经上海交通大学;上海期智研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211692197.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于药剂低温存储的运输箱
- 下一篇：一种注塑模具复合行位镶件抽针机构
