[发明专利]学生模型的训练方法、装置及电子设备有效
| 申请号： | 202110662767.0 | 申请日： | 2021-06-15 |
| 公开（公告）号： | CN113435208B | 公开（公告）日： | 2023-08-25 |
| 发明（设计）人： | 念天磊;刘丽;阳锋 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06F40/30 | 分类号： | G06F40/30;G06F40/216;G06N7/01 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 王萌 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提出了一种学生模型的训练方法及装置，涉及人工智能领域，尤其涉及自然语言处理和深度学习技术等领域，可应用于文本生成、机器翻译、模型压缩等场景下，包括将训练样本分别输入学生模型和教师模型中进行训练；获取学生模型和教师模型在嵌入层上的第一误差、在中间层上的第二误差以及在输出层上的损失函数；根据第一误差、第二误差、损失函数，确定学生模型的总损失函数，并基于总损失函数对学生模型的模型参数进行调整，并继续使用下一个训练样本对调整后的学生模型训练，直至训练结束，生成目标学生模型。本申请中，学生模型可以学习到教师模型的中间层的信息，使得学生模型的训练速度加快，优化了模型的训练效果，提高了模型的性能。 | ||
| 搜索关键词： | 学生 模型 训练 方法 装置 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110662767.0/，转载请声明来源钻瓜专利网。
