[发明专利]混合标注学习神经网络模型及其训练方法、装置有效
申请号: | 201810704890.2 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108829683B | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 姜文斌;孙珂;于佃海;吴华;王海峰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289;G06N3/08;G06N3/04 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 混合 标注 学习 神经网络 模型 及其 训练 方法 装置 | ||
1.一种混合标注学习神经网络模型,其特征在于,包括:第一子神经网络模型及第二子神经网络模型;
所述第一子神经网络模型,用于对输入的待处理数据进行编码、解码处理,以生成待处理数据对应的初始结果表示,其中,所述待处理数据为文本数据;
所述第二子神经网络模型,用于根据与获取的处理标准对应的向量,对待处理数据对应的初始结果表示进行修正,以生成待处理数据对应的目标结果表示;其中,处理标准为对待处理数据进行标注处理时采用的标注标准;所述第二子神经网络模型,包括:第一嵌入层及自适应层;
所述第一嵌入层,用于对获取的处理标准进行向量映射,以生成与所述处理标准对应的第一向量表示;
所述自适应层,用于对所述第一向量表示及所述第一子神经网络模型输出的初始结果表示,进行自适应处理,以生成待处理数据对应的目标结果表示;
还包括:预处理层;
所述预处理层,用于对编码层输出的待处理数据对应的编码表示进行预处理,以生成所述待处理数据对应的参考表示。
2.如权利要求1所述的神经网络模型,其特征在于,所述第一子神经网络模型包括第二嵌入层、编码层及解码层;
所述第二嵌入层,用于对输入的待处理数据进行向量映射,以生成待处理数据对应的向量表示;
所述编码层,用于对所述第二嵌入层输出的向量表示进行编码处理,以生成所述待处理数据对应的编码表示;
所述解码层,用于对所述待处理数据对应的编码表示进行解码处理,以输出所述待处理数据对应的初始结果表示。
3.如权利要求1所述的神经网络模型,其特征在于,所述第二子神经网络模型,还包括:
所述自适应层,用于对所述第一向量表示、所述参考表示及所述第一子神经网络模型输出的初始结果表示,进行自适应处理,以生成待处理数据对应的目标结果表示。
4.如权利要求1所述的神经网络模型,其特征在于,
所述预处理层,用于将所述文本数据中各字符对应的编码表示进行求均值处理。
5.如权利要求1-4任一项所述的神经网络模型,其特征在于,所述自适应层,用于采用多层感知器,进行自适应处理,以生成待处理数据对应的目标结果表示。
6.一种混合标注学习神经网络模型训练方法,其特征在于,包括:
获取训练样本集,其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据;
利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准,对混合标注学习神经网络模型进行训练,以生成所述混合标注学习神经网络模型中的参数集;所述混合标注学习神经网络模型包括:第一子神经网络模型及第二子神经网络模型;
所述第一子神经网络模型,用于对输入的待处理数据生成对应的初始结果表示,其中,所述样本数据为文本数据;
所述第二子神经网络模型用于根据与待处理数据对应的标注标准,对初始结果表示进行修正,得到目标结果表示;
所述第二子神经网络模型,包括:第一嵌入层及自适应层;
所述第一嵌入层,用于对获取的处理标准进行向量映射,以生成与所述处理标准对应的第一向量表示;
所述自适应层,用于对所述第一向量表示及所述第一子神经网络模型输出的初始结果表示,进行自适应处理,以生成待处理数据对应的目标结果表示;
还包括:预处理层;
所述预处理层,用于对编码层输出的待处理数据对应的编码表示进行预处理,以生成所述待处理数据对应的参考表示。
7.如权利要求6所述的训练方法,其特征在于,所述训练样本集中N种样本数据间的数量差值均小于阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810704890.2/1.html,转载请声明来源钻瓜专利网。