[发明专利]具有非均匀尾数的神经网络激活压缩在审
申请号: | 202080010832.5 | 申请日: | 2020-01-04 |
公开(公告)号: | CN113348474A | 公开(公告)日: | 2021-09-03 |
发明(设计)人: | D·洛;A·费尼沙耶;E·S·钟;赵一人 | 申请(专利权)人: | 微软技术许可有限责任公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/08 |
代理公司: | 北京市金杜律师事务所 11256 | 代理人: | 马明月 |
地址: | 美国华*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法,并且特别是用于以具有有损或非均匀尾数的压缩格式存储来自神经网络的激活值,以用于在神经网络的前向和后向传播训练期间使用。在所公开技术的某些示例中,计算系统包括处理器、存储器和与存储器通信的压缩器。计算系统被配置为针对神经网络的层执行前向传播以产生第一块浮点格式的第一激活值。在一些示例中,由前向传播生成的激活值由压缩器转换为具有非均匀和/或有损尾数的第二块浮点格式。压缩的激活值被存储在存储器中,在存储器中该压缩的激活值可以被取回以用于在后向传播期间使用。 | ||
搜索关键词: | 具有 均匀 尾数 神经网络 激活 压缩 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于微软技术许可有限责任公司,未经微软技术许可有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202080010832.5/,转载请声明来源钻瓜专利网。
- 上一篇:管理人工智能模块的安装基础
- 下一篇:杀有害生物组合物和方法