[发明专利]伪标签生成模型训练方法、装置及伪标签生成方法及装置有效
申请号: | 201810098924.8 | 申请日: | 2018-01-31 |
公开(公告)号: | CN108197670B | 公开(公告)日: | 2021-06-15 |
发明(设计)人: | 孙源良;樊雨茂;刘萌 | 申请(专利权)人: | 国信优易数据股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06K9/46;G06N3/04;G06N3/08 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 戈丰 |
地址: | 100000 北京市丰台区南四环*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标签 生成 模型 训练 方法 装置 | ||
1.一种伪标签的生成方法,其特征在于,该方法包括:
获取带有类别标签的样本分类信息、不带类别标签的第一目标分类信息以及带有类别标签的第二目标分类信息,其中,所述样本分类信息至少包括样本人脸图像、样本视频以及样本语言词汇中的一种或多种,当所述样本分类信息为样本人脸图像时,目标分类信息为目标人脸图像,当所述样本分类信息为样本视频时,目标分类信息为目标视频,当所述样本分类信息为样本语言词汇时,目标分类信息为目标语言词汇,所述目标分类信息包括第一目标分类信息和第二目标分类信息;
使用第一辅助神经网络对第一目标分类信息进行特征学习,获取在第一辅助神经网络中指定特征提取层的第一特征向量,并且使用第二辅助神经网络对第二目标分类信息进行特征学习,获取第二辅助神经网络中指定特征提取层的第二特征向量;
根据所述第一特征向量以及第二特征向量计算第一域混淆损失;
通过以下步骤获得所述第一域混淆损失:
将从第一辅助神经网络的各个特征提取层提取的第一特征向量进行拼接,形成第一拼接向量,以及将从第二辅助神经网络的各个特征提取层提取的第二特征向量进行拼接,形成第二拼接向量,根据第一拼接向量以及第二拼接向量,计算第一域混淆损失;
其中,第一拼接向量满足下述公式:
其中,dl表示层号为l的特征提取层所提取的第一特征向量;α表示衰减因子,其中,衰减因子为大于零且小于1的数;i表示特征提取层的层数;σ为激活函数,用于将特征向量中的特征值归一化;
其中,第二拼接向量满足下述公式:
其中,dl′表示层号为l的特征提取层所提取的第一特征向量;α表示衰减因子,其中,衰减因子为大于零且小于1的数;i表示特征提取层的层数;σ为激活函数,用于将特征向量中的特征值归一化;
使用目标神经网络对所述样本分类信息进行特征学习,获取所述目标神经网络中指定特征提取层提取的样本特征向量;并将目标神经网络输出的样本特征向量输入至目标分类器得到第一分类结果;
根据所述第一特征向量和所述样本特征向量计算第二域混淆损失;
所述指定特征提取层包括位于每个神经网络末端预设数量的特征提取层;
所述根据所述第一特征向量和所述样本特征向量计算第二域混淆损失,具体包括:
将从第一辅助神经网络的各个指定特征提取层提取的所述第一特征向量进行拼接,形成第一拼接向量,以及将从目标神经网络的各个指定特征提取层提取的所述样本特征向量进行拼接,形成目标拼接向量;
根据所述第一拼接向量以及所述目标拼接向量,计算所述第二域混淆损失;
其中,所述第二域混淆损失满足下述公式:
其中,Xs表示第一目标域数据的集合;xs表示第一目标域数据集合中的数据;Xt表示第二目标域数据的集合;xt表示第二目标域数据集合中的数据;E(·)表示期望;
根据所述第一域混淆损失对所述第一辅助神经网络进行本轮训练;以及根据所述第二域混淆损失,以及所述第一分类结果,对所述目标神经网络进行本轮训练;以及根据所述第一分类结果,对所述目标分类器进行本轮训练;
经过对所述目标神经网络和所述目标分类器进行多轮训练,得到伪标签生成模型;其中,多轮训练,是指在每一轮的多次训练中为第一辅助神经网络、第二辅助神经网络以及目标神经网络所分别输入的第一目标域数据、第二目标域数据以及源域数据是不变的;而在不同轮的训练中,为第一辅助神经网络、第二辅助神经网络以及目标神经网络所分别输入的第一目标域数据、第二目标域数据以及源域数据是不同的;
获取待分类信息;
将所述待分类信息输入至所述伪标签生成模型,得到所述待分类信息的分类结果;
将所述待分类信息的分类结果作为所述待分类信息的伪标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国信优易数据股份有限公司,未经国信优易数据股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810098924.8/1.html,转载请声明来源钻瓜专利网。