[发明专利]自然语言处理模型的训练方法及装置有效
| 申请号： | 201910471393.7 | 申请日： | 2019-05-31 |
| 公开（公告）号： | CN110188358B | 公开（公告）日： | 2023-10-24 |
| 发明（设计）人： | 李健铨;刘小康;马力群 | 申请（专利权）人： | 鼎富智能科技有限公司 |
| 主分类号： | G06N3/098 | 分类号： | G06N3/098;G06N3/084;G06N3/044;G06N3/048;G06F18/25;G06F40/30;G06F40/284;G06F40/211 |
| 代理公司： | 北京弘权知识产权代理有限公司 11363 | 代理人： | 逯长明;许伟群 |
| 地址： | 230000 安徽省合肥市*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了自然语言处理模型的训练方法及装置，应用于多个具有不同任务目标的自然语言处理模型，多个自然语言处理模型共享部分隐层，所述方法首先将所有任务相应训练样本的标签信息融合并表示为多标签矩阵，根据模型输出的任务目标向量和多标签矩阵计算命中概率，并根据命中概率计算单任务损失值；再根据各个单任务损失值计算多任务损失值；最后根据多任务损失值，调整每一模型的参数。本申请方法中，多个自然语言处理模型联合学习，通过共享部分隐层来共享多个任务的浅层特征表示，梯度同时反向传播帮助隐层逃离局部极小值，多个标签的融合及其向量表示帮助增加标签的表达泛化能力和表示能力，进而可以提高每个模型的准确性和泛化性。 | ||
| 搜索关键词： | 自然语言 处理 模型 训练 方法 装置 | ||
【主权项】：
1.一种自然语言处理模型的训练方法，其特征在于，应用于多个具有不同任务目标的自然语言处理模型，所述多个自然语言处理模型共享部分隐层；对于每一任务目标，将相应训练样本输入至相应自然语言处理模型中，输出任务目标向量；根据所述任务目标向量和多标签矩阵计算命中概率，所述多标签矩阵包括所有任务目标相应训练样本的标签信息；根据所述命中概率计算单任务损失值，根据各自然语言处理模型对应的单任务损失值计算多任务损失值；根据所述多任务损失值，调整每一自然语言处理模型的参数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于鼎富智能科技有限公司，未经鼎富智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910471393.7/，转载请声明来源钻瓜专利网。
- 上一篇：对象的行业识别方法及装置
- 下一篇：一种文本实体抽取方法
