[发明专利]混合标注学习神经网络模型及其训练方法、装置有效
申请号: | 201810704890.2 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108829683B | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 姜文斌;孙珂;于佃海;吴华;王海峰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289;G06N3/08;G06N3/04 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 混合 标注 学习 神经网络 模型 及其 训练 方法 装置 | ||
本申请提出一种混合标注学习神经网络模型及其训练方法、装置,其中,所述模型包括:第一子神经网络模型,用于对输入的待处理数据进行编码、解码处理,以生成待处理数据对应的初始结果表示;第二子神经网络模型,用于根据与获取的处理标准对应的向量,对待处理数据对应的初始结果表示进行修正,以生成待处理数据对应的目标结果表示。本申请的混合标注学习神经网络模型,实现了不同标注标准的训练语料的融合利用,提高了神经网络模型对不同标注标准的训练语料间的差异的适应能力,提高了神经网络模型的通用性,提升了处理性能。
技术领域
本申请涉及自然语言处理技术领域,尤其涉及一种混合标注学习神经网络模型及其训练方法、装置。
背景技术
在自然语言处理领域,利用大规模的人工标注样本作为训练语料,对神经网络模型进行训练,以利用训练后的神经网络模型对待处理的语言数据进行处理,提高处理效率,是该领域中常用的技术手段。神经网络模型的训练结果与人工标注样本的数量及标注标准直接相关。
对于隶属于不同的语料库中的训练语料,其采用的标注标准存在较大的不同。然而,目前的神经网络模型仅能针对同种标注标准的训练语料进行训练,对于不同标注标准的训练语料,需要单独训练神经网络模型,训练成本高,且对于标注标准差异较大的训练语料,利用不同标注标准的训练语料训练得到的神经网络模型之间的通用性较差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种混合标注学习神经网络模型,用于解决现有技术中利用不同标注标准的训练语料训练得到的神经网络模型之间的通用性差的技术问题。
本申请的第二个目的在于提出一种混合标注学习神经网络模型训练方法。
本申请的第三个目的在于提出一种混合标注学习神经网络模型训练装置。
本申请的第四个目的在于提出一种计算机设备。
本申请的第五个目的在于提出一种非临时性计算机可读存储介质。
本申请的第六个目的在于提出一种计算机程序产品。
为达上述目的,本申请第一方面实施例提出了一种混合标注学习神经网络模型,包括:第一子神经网络模型及第二子神经网络模型;
所述第一子神经网络模型,用于对输入的待处理数据进行编码、解码处理,以生成待处理数据对应的初始结果表示;
所述第二子神经网络模型,用于根据与获取的处理标准对应的向量,对待处理数据对应的初始结果表示进行修正,以生成待处理数据对应的目标结果表示。
本申请实施例的混合标注学习神经网络模型,通过设置第一子神经网络模型和第二子神经网络模型,利用第一子神经网络模型对输入的待处理数据进行编码、解码处理,以生成待处理数据对应的初始结果表示,利用第二子神经网络模型根据与获取的处理标准对应的向量,对待处理数据对应的初始结果表示进行修正,生成待处理数据对应的目标结果表示。由此,通过设置第二子神经网络模型来利用处理标准对应的向量对待处理数据的初步结果进行修正,使得神经网络模型的训练语料不必局限于同一种标注标准,实现了不同标注标准的训练语料的融合利用,提高了神经网络模型对不同标注标准的训练语料间的差异的适应能力,提高了神经网络模型的通用性,提升了处理性能。
为达上述目的,本申请第二方面实施例提出了一种混合标注学习神经网络模型训练方法,包括:
获取训练样本集,其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据;
利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准,对混合标注学习神经网络模型进行训练,以生成所述混合标注学习神经网络模型中的参数集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810704890.2/2.html,转载请声明来源钻瓜专利网。