[发明专利]一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法在审
申请号: | 202011462942.3 | 申请日: | 2020-12-11 |
公开(公告)号: | CN112418424A | 公开(公告)日: | 2021-02-26 |
发明(设计)人: | 李文斌;何爱清;刘潇;霍静;姚丽丽;高阳 | 申请(专利权)人: | 南京大学;江苏万维艾斯网络智能产业创新中心有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 南京泰普专利代理事务所(普通合伙) 32360 | 代理人: | 窦贤宇 |
地址: | 210023 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提出了一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法,包括:应用剪枝技术对超参数化的DNN模型进行稀疏化处理;提出一种分层稀疏编码方法LSC,通过设计元数据的编码机制来提高修剪后的DNN模型的压缩率;设计一种多过程解码机制使得无需完全解码即支持矩阵运算,节省运行内存;所述分层稀疏编码方法通过减少元数据量来最大化压缩率,包括:将压缩过程分为块层和编码层;在块层中,将稀疏矩阵划分为多个小块,然后删除零值块;在编码层中,提出了一种新颖的带标记相对索引方法SRI,来进一步编码这些非零值块;所述多过程解码机制在推断阶段加快编码矩阵的乘法。最后通过实验对比证明所提出的LSC方法相对于其他稀疏编码方法的有效性。 | ||
搜索关键词: | 一种 具有 极高 压缩比 剪枝 深度 神经网络 分层 稀疏 编码 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学;江苏万维艾斯网络智能产业创新中心有限公司,未经南京大学;江苏万维艾斯网络智能产业创新中心有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011462942.3/,转载请声明来源钻瓜专利网。