[发明专利]一种语种识别方法有效
申请号: | 201810168230.7 | 申请日: | 2018-02-28 |
公开(公告)号: | CN108460415B | 公开(公告)日: | 2021-06-15 |
发明(设计)人: | 孙源良;夏虎;刘萌;樊雨茂 | 申请(专利权)人: | 国信优易数据股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/08 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 王宁宁 |
地址: | 100000 北京市丰台区南四环*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语种 识别 方法 | ||
1.一种语种识别方法,其特征在于,该方法包括:
获取带有标签的源域数据以及不带标签的目标域数据,其中,所述源域数据为第一语言数据,所述目标域数据为第二语言数据,所述标签为第一语言数据所属的语种;
将所述源域数据以及所述目标域数据输入同一神经网络,为所述源域数据提取源域特征向量,并为所述目标域数据提取目标域特征向量;
基于所述源域特征向量以及所述目标域特征向量,对所述源域数据和所述目标域数据进行共有特征捕捉以及差异性特征捕捉;并
将捕捉的源域数据的源域共有特征向量输入第一分类器,得到第一分类结果;以及将捕捉的源域数据的源域差异特征向量输入至第二分类器,得到第二分类结果;
基于所述源域共有特征向量和所述源域差异特征向量,对所述源域数据进行特征融合,并将获取的源域数据的源域融合特征向量输入至第三分类器,得到第三分类结果;
根据所述第一分类结果、第二分类结果以及第三分类结果,分别对所述神经网络、所述第一分类器、所述第二分类器以及所述第三分类器进行本轮训练;
经过对所述神经网络、所述第一分类器、所述第二分类器以及所述第三分类器进行多轮训练,得到伪标签生成模型;
将目标数据输入至所述伪标签生成模型中,分别使用第一分类器、第二分类器以及第三分类器得到所述目标数据的三个分类结果;
将三个分类结果一致时的分类结果,确定为所述目标数据的伪标签,其中所述伪标签为所述目标数据的语种;
采用如下方式对所述源域数据和所述目标域数据进行共有特征捕捉:
将所述源域特征向量以及所述目标域特征向量输入至共有特征捕捉层,使用所述共有特征捕捉层提取所述源域数据的源域共有特征向量和所述目标域数据的目标域共有特征向量;
将所述源域共有特征向量和所述目标域共有特征向量进行梯度反向处理;
将进行梯度反向处理的所述源域共有特征向量和所述目标域共有特征向量输入至第一域分类器;
根据所述第一域分类器对所述源域共有特征向量和所述目标域共有特征向量分别表征的所述源域数据和所述目标域数据的域分类结果,对所述神经网络以及所述共有特征捕捉层的参数进行调整;
采用如下方式对所述源域数据和所述目标域数据进行差异性特征捕捉:
将所述源域特征向量以及所述目标域特征向量输入差异特征捕捉层,使用所述差异特征捕捉层提取获取所述源域差异特征向量和所述目标域差异特征向量;
将所述源域差异特征向量和所述目标域差异特征向量输入至第二域分类器;
根据所述第二域分类器对所述源域差异特征向量和所述目标域差异特征向量分别表征的所述源域数据和所述目标域数据的域分类结果,对所述神经网络以及所述差异特征捕捉层的参数进行调整;
基于捕捉的目标域数据的目标域共有特征向量和目标域数据的目标域差异特征向量,对所述目标域数据进行特征融合;
采用如下方式对所述源域数据和所述目标域数据进行特征融合:
将所述源域共有特征向量和所述源域差异特征向量进行拼接,形成第一拼接向量;以及,
将所述目标域共有特征向量和所述目标域差异特征向量进行拼接,形成第二拼接向量;
将所述第一拼接向量和所述第二拼接向量输入至融合特征捕捉层,并使用所述融合特征捕捉层为所述第一拼接向量提取所述源域融合特征向量。
2.根据权利要求1所述的方法,其特征在于,采用如下方法根据所述第一分类结果,分别对所述神经网络、所述第一分类器进行本轮训练:
执行以下第一分类损失确定操作,直至第一分类损失不大于预设的第一分类损失阈值;
所述第一分类损失确定操作包括:
根据所述第一分类结果,以及所述源域数据的标签,计算第一分类损失;
将所述第一分类损失与预设的第一分类损失阈值进行比对;
如果所述第一分类损失大于预设的第一分类损失阈值,则调整所述神经网络的参数、所述共有特征捕捉层的参数、以及所述第一分类器的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国信优易数据股份有限公司,未经国信优易数据股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810168230.7/1.html,转载请声明来源钻瓜专利网。