[发明专利]基于知识蒸馏的多层神经网络语言模型训练方法与装置有效
| 申请号： | 202010322267.8 | 申请日： | 2020-04-22 |
| 公开（公告）号： | CN111611377B | 公开（公告）日： | 2021-10-29 |
| 发明（设计）人： | 高尚兵;李文婷;李伟;王通阳;姚宁波;周泓;朱全银;相林;于坤;陈晓兵;张正伟 | 申请（专利权）人： | 淮阴工学院 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F40/289;G06F40/30;G06F40/211;G06N3/04;G06N3/08;G06N5/02 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 孟红梅 |
| 地址： | 223400 江苏省淮*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型，其中所构建的BERT语言模型中有六层transformer，多层BILSTM模型中有三层BILSTM网络；然后将文本语料集进行预处理后，对BERT语言模型进行训练得到训练好的教师模型；再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型，在学习教师模型中的嵌入层、隐藏层以及输出层之时，通过线性变换将不同空间表示进行计算。基于训练好的学生模型，可将文本进行向量转换，进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。 | ||
| 搜索关键词： | 基于 知识 蒸馏 多层 神经网络 语言 模型 训练 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于淮阴工学院，未经淮阴工学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010322267.8/，转载请声明来源钻瓜专利网。
- 上一篇：加工设备
- 下一篇：一种基于模型融合的OCR识别方法
