[发明专利]一种标签筛选方法及装置在审
申请号: | 202111164295.2 | 申请日: | 2021-09-30 |
公开(公告)号: | CN114021720A | 公开(公告)日: | 2022-02-08 |
发明(设计)人: | 李远辉;王奇刚;舒红乔 | 申请(专利权)人: | 联想(北京)有限公司 |
主分类号: | G06N5/02 | 分类号: | G06N5/02;G06N20/00;G06K9/62;G06V10/774 |
代理公司: | 北京乐知新创知识产权代理事务所(普通合伙) 11734 | 代理人: | 王瞾寅 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 标签 筛选 方法 装置 | ||
1.一种标签筛选方法,所述方法包括:
获得与多个老师模型对应的指导标签,所述指导标签通过老师模型对训练样本预测获得;
根据真实标签对所述指导标签进行筛选,确定满足筛选条件的目标标签;
根据所述目标标签对学生模型进行蒸馏指导,获得更新后的学生模型。
2.根据权利要求1所述的方法,所述获得与多个老师模型对应的指导标签,包括:
获得训练样本,所述训练样本为单一场景训练样本,所述单一场景训练样本标注有至少一个维度的真实标签;
获得针对单一场景的多个老师模型,其中,不同老师模型针对所述训练样本所具有的优势不同;
通过所述多个老师模型对所述训练样本进行预测,获得所述至少一个维度的指导标签。
3.根据权利要求1所述的方法,所述获得与多个老师模型对应的指导标签,包括:
获得训练样本,所述训练样本为多个场景训练样本,所述多个场景训练样本标注有多个维度的真实标签;
获得针对多个场景中每一场景的老师模型;每个老师模型用于预测一个场景中至少一个维度的真实标签;
通过所述多个老师模型对所述训练样本进行预测,获得所述多个维度的指导标签。
4.根据权利要求1所述的方法,所述根据真实标签对所述指导标签进行筛选,确定满足筛选条件的目标标签,包括:
对所述指导标签和所述真实标签进行比较,获得第一比较值;
根据所述第一比较值对所述指导标签进行调整,以确定所述目标标签。
5.根据权利要求4所述的方法,所述根据所述第一比较值对所述指导标签进行调整,以确定所述目标标签,包括:
对与同一训练样本对应的第一比较值进行筛选,确定数值最小的第一比较值;
将与所述数值最小的第一比较值对应的指导标签确定为目标标签。
6.根据权利要求4所述的方法,所述根据所述第一比较值对所述指导标签进行调整,以确定所述目标标签,包括:
基于与同一训练样本对应的第一比较值确定优势权值;
根据所述优势权值对与所述指导标签进行加权,获得目标标签。
7.根据权利要求1所述的方法,所述根据所述目标标签对学生模型进行蒸馏指导,获得更新后的学生模型,包括:
通过与所述目标标签对应的训练样本对所述学生模型进行训练,获得训练标签;
根据所述目标标签和所述训练标签确定指导数据;
根据所述指导数据对所述学生模型进行蒸馏指导,获得更新后的学生模型。
8.根据权利要求7所述的方法,所述根据所述目标标签和所述训练标签确定指导数据,包括:
对所述目标标签和所述训练标签进行比较,获得第二比较值;
对所述目标标签和所述真实标签进行比较,获得第三比较值;
对所述第二比较值和第三比较值进行整合,获得指导数据。
9.根据权利要求7所述的方法,所述根据所述目标标签和所述训练标签确定指导数据,包括:
对所述目标标签对应的老师模型的中间层进行数据抽取,获得第一中间数据;
对所述训练标签对应的学生模型的中间层进行数据抽取,获得第二中间数据;
对所述第一中间数据和所述第二中间数据进行整合,确定第四比较值;
对所述第四比较值和所述第二比较值进行整合,获得第五比较值;其中,所述第五比较值用于确定所述指导数据。
10.一种标签筛选装置,所述装置包括:
获得模块,用于获得与多个老师模型对应的指导标签,所述指导标签通过老师模型对训练样本预测获得;
筛选模块,用于根据真实标签对所述指导标签进行筛选,确定满足筛选条件的目标标签;
指导模块,用于根据所述目标标签对学生模型进行蒸馏指导,获得更新后的学生模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联想(北京)有限公司,未经联想(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111164295.2/1.html,转载请声明来源钻瓜专利网。