[发明专利]神经网络语言模型压缩方法及系统在审
| 申请号： | 201811518662.2 | 申请日： | 2018-12-12 |
| 公开（公告）号： | CN109448706A | 公开（公告）日： | 2019-03-08 |
| 发明（设计）人： | 俞凯;刘奇;马娆 | 申请（专利权）人： | 苏州思必驰信息科技有限公司 |
| 主分类号： | G10L15/06 | 分类号： | G10L15/06;G10L15/16;G06F16/36;G06N3/04;G06N3/08 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 方挺;车江华 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种神经网络语言模型压缩方法及系统，其中，所述神经网络语言模型包括输入嵌入层、隐藏层和输出嵌入层，所述方法包括：在所述输入嵌入层与所述隐藏层之间设置第一投影层；在所述隐藏层和所述输出嵌入层之间设置第二投影层；分别将所述输入嵌入层、第一投影层、隐藏层、第二投影层和输出嵌入层的参数权重矩阵配置为二值化权重矩阵以构成压缩后的语言模型。本发明实施例的方法减小了所需的存储空间，即便是当应用于具有大词汇表的文本语料库时，也能够保持模型较小，使得训练得到的语言模型能够应用在嵌入式系统或便携设备中。 | ||
| 搜索关键词： | 嵌入层 投影层 隐藏层 模型压缩 语言模型 神经 输出 嵌入式系统 文本语料库 便携设备 存储空间 矩阵配置 权重矩阵 参数权 词汇表 二值化 减小 应用 压缩 | ||
【主权项】：
1.一种神经网络语言模型压缩方法，所述神经网络语言模型包括输入嵌入层、隐藏层和输出嵌入层，所述方法包括：在所述输入嵌入层与所述隐藏层之间设置第一投影层；在所述隐藏层和所述输出嵌入层之间设置第二投影层；分别将所述输入嵌入层、第一投影层、隐藏层、第二投影层和输出嵌入层的参数权重矩阵配置为二值化权重矩阵，以构成压缩后的神经网络语言模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州思必驰信息科技有限公司，未经苏州思必驰信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811518662.2/，转载请声明来源钻瓜专利网。
