[发明专利]一种神经网络声学模型激活函数定点量化方法在审
| 申请号： | 201610191900.8 | 申请日： | 2016-03-30 |
| 公开（公告）号： | CN107292382A | 公开（公告）日： | 2017-10-24 |
| 发明（设计）人： | 张鹏远;邢安昊;潘接林;颜永红 | 申请（专利权）人： | 中国科学院声学研究所;北京中科信利技术有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G10L15/16 |
| 代理公司： | 北京方安思达知识产权代理有限公司11472 | 代理人： | 王宇杨,杨青 |
| 地址： | 100190 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种神经网络声学模型激活函数定点量化方法，该方法具体包括步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x(l‑1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，得到所述第l‑1层的线性定点量化的激活向量x*(l‑1)；步骤(2)对步骤(1)中得到的所述第l‑1层的线性定点量化的激活向量x*(l‑1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l‑1层的分级定点量化激活向量x**(l‑1)；步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为‑127到127间的整数；步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)。 | ||
| 搜索关键词： | 一种 神经网络 声学 模型 激活 函数 定点 量化 方法 | ||
【主权项】：
一种神经网络声学模型激活函数定点量化方法，其特征在于，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x(l‑1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第l‑1层的线性定点量化的激活向量其中，其中，xi为第l‑1层的浮点激活向量x(l‑1)的第i维元素，为第l‑1层的线性定点量化的激活向量x*(l‑1)的第i维元素；步骤(2)对步骤(1)中得到的所述第l‑1层的线性定点量化的激活向量x*(l‑1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l‑1层的分级定点量化激活向量步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为‑127到127间的整数；步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)：a(l)＝W*(l)·x**(l‑1)x(l)=σ(a(l)·wmax(l)127×2K)]]>其中，x**(l‑1)为第l‑1层的分级定点量化的激活向量；W*(l)为线性定点量化后的浮点型权值矩阵；为第l层权值矩阵W(l)中所有元素中的绝对值最大值，a(l)为临时变量。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院声学研究所;北京中科信利技术有限公司，未经中国科学院声学研究所;北京中科信利技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610191900.8/，转载请声明来源钻瓜专利网。
- 上一篇：可插耳机的U盘
- 下一篇：一种类Alexnet网络的模型训练方法和装置
