[发明专利]使用低精度格式的张量处理在审
| 申请号： | 201710451960.3 | 申请日： | 2017-06-15 |
| 公开（公告）号： | CN107526709A | 公开（公告）日： | 2017-12-29 |
| 发明（设计）人： | 波里斯·金斯伯格;塞奇·尼克拉艾;艾哈迈德·基斯瓦尼;浩·吴;阿米尔·吴拉姆纳贾德;斯朗瓦莫·基拉特;迈克尔·休斯顿;亚历克斯·菲特-弗洛雷亚 | 申请（专利权）人： | 辉达公司 |
| 主分类号： | G06F17/16 | 分类号： | G06F17/16;G06N3/04;G06N3/063;G06N3/08 |
| 代理公司： | 北京市磐华律师事务所11336 | 代理人： | 高伟,刘爱平 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明的方面提供了使用低精度格式的张量处理。涉及用于使用低精度(例如，浮点16位)数据格式来改善对人工神经网络的训练的计算机实现的技术。本发明的实施方案在执行矩阵运算(诸如矩阵相乘或矩阵相加)前重新缩放张量值，以防止上溢和下溢。为了在所述矩阵运算的整个所述执行中保持准确性，使用新颖数据格式来限定缩放因子以表示张量，其中矩阵是由元组X表示，其中X＝(a,v[.])，其中a是浮点缩放因子，并且v[.]是以浮点16位格式存储的缩放值。根据此数据格式的任何元素X[i]的值将会等于a*v[i]。 | ||
| 搜索关键词： | 使用 精度 格式 张量 处理 | ||
【主权项】：
一种执行矩阵计算的计算机实现的方法，所述方法包括：访问第一矩阵X；访问第二矩阵Y，其中所述矩阵X和Y是存储器驻留的，并且包括以低精度浮点格式表示的值，并且其中所述低精度浮点格式表示从低阈值到高阈值的值；确定矩阵X的第一缩放因子a；确定矩阵Y的第二缩放因子b，其中执行所述确定避免涉及a*X和b*Y的矩阵计算的上溢和下溢；以及执行矩阵计算，所述矩阵计算将a*X和b*Y作为输入并且生成输出。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辉达公司，未经辉达公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710451960.3/，转载请声明来源钻瓜专利网。
- 上一篇：电子记事本
- 下一篇：一种基于混合特征的中文文档基因提取方法
