[发明专利]一种训练模型和小样本分类的方法及装置有效
申请号: | 202110248702.1 | 申请日: | 2021-03-08 |
公开(公告)号: | CN112598091B | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 张涛;王铎;夏华夏;申浩;何祎;毛一年 | 申请(专利权)人: | 北京三快在线科技有限公司;清华大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06K9/46 |
代理公司: | 北京曼威知识产权代理有限公司 11709 | 代理人: | 方志炜 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 训练 模型 样本 分类 方法 装置 | ||
本说明书公开了一种训练模型和小样本分类的方法及装置,通过计算不同样本之间各局部特征的相似度,使得后续确定的权重分布可以更好体现样本之间共生信息的重要程度,而构建最优传输问题时通过加入熵正则项,使得可通过迭代优化得到传输成本矩阵,最后基于各样本对的传输成本矩阵和各查询样本在训练样本集中的标注,确定损失函数,使该特征提取模型学习到提取对查询样本进行分类更有效的特征。可见训练模型并没有学习加权所用的传输成本矩阵,而是对每个样本对解算得到传输成本矩阵,使得本说明书提供的实施例不会被学习的通用加权矩阵限制,可以适应不同类型的场景的样本。
技术领域
本说明书涉及自动驾驶技术领域,尤其涉及一种训练模型和小样本分类的方法及装置。
背景技术
目前,有监督学习已经成为一种重要的模型训练方法,而在训练深度学习模型的时,则需要大量的训练样本,以保证模型训练的效果。
当训练样本较少但又有训练深度学习模型时,需要基于小样本对深度模型进行训练。而其中一种方法是,基于小样本对测试样本库中的测试样本进行分类,也可视为是对测试样本的标注,从而得到大量样本用于对深度学习模型进行训练。可见,测试样本标注的准确性,决定了深度学习模型的训练效果。
在现有技术中,一般将小样本称为支撑样本,将待标注的大量样本称为查询样本。通过确定各支撑样本与各查询样本的相似度,确定查询样本的标注结果。进一步地,由于样本的局部特征相对于从将样本作为整体提取出的特征来说,对样本的细节表示更加准确,还可以排除样本中的干扰噪音对相似度计算的影响,因此目前通常是基于查询样本的局部特征,来确定查询样本的标注结果的。
可见,从样本中提取局部特征的准确性,对标注准确性有重要的影响。因此现有技术中通常引入注意力机制等方式,通过在已标注好的训练样本集中确定支撑样本与查询样本,对特征提取模型进行训练,使得特征提取模型学习到不同局部特征的权重,并输出加权的局部特征,在计算相似度时使确定出的标注结果更加准确。
但是,现有技术训练出的特征提取模型通常为通用模型,也就是用于不同场景的样本的标注,而不同场景的样本之间相似性上是存在区别的,导致现有训练得到的样本标注模型的自适应性不足,标注结果的准确性较低,影响后续基于标注样本的深度学习模型的训练效果。
发明内容
本说明书实施例提供一种训练模型和小样本分类的方法及装置,以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案:
本说明书提供的一种训练模型的方法,包括:
根据训练样本集中获取已标注类别的各支撑样本以及各查询样本,确定各样本对,并通过待训练的特征提取模型,分别确定每个样本对中支撑样本的各局部特征以及查询样本的各局部特征,其中,所述训练样本集包含的是用于训练无人驾驶设备的控制模型的样本数据;
针对每个样本对,根据确定出的该样本对的各对局部特征之间的特征相似度,确定支撑特征权重分布以及查询特征权重分布,其中,权重分布用于表征不同局部特征分别对于确定样本相似度的贡献度,且权重与贡献度正相关;
根据所述支撑特征权重分布和所述查询特征权重分布,以及根据该样本对中各对局部特征的特征相似度确定该样本对的传输成本矩阵,以支撑样本的各局部特征传输到达查询样本的各局部特征为目标,构建附加熵正则化项的最优传输问题;
根据解算各样本对的最优传输问题分别得到的各样本对的传输成本矩阵,以及各查询样本在训练样本集中的标注,确定损失函数,以最小化所述损失函数为目标,训练所述特征提取模型;
其中,所述特征提取模型用于基于已标注的支撑样本对未标注的查询样本进行分类,以根据所述支撑样本以及所述分类后的查询样本对无人驾驶设备的控制模型进行训练,训练得到的无人驾驶设备的控制模型用于使无人驾驶设备执行配送业务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司;清华大学,未经北京三快在线科技有限公司;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110248702.1/2.html,转载请声明来源钻瓜专利网。