[发明专利]深度组合度量学习方法和装置在审
申请号: | 202110220951.X | 申请日: | 2021-02-26 |
公开(公告)号: | CN112801210A | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 周杰;鲁继文;郑文钊;汪诚琨 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 韩海花 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 深度 组合 度量 学习方法 装置 | ||
1.一种深度组合度量学习方法,其特征在于,包括以下步骤:
计算预设的多个子空间中每个子空间的目标权值;
根据预设的多个初始组合器中的每个所述初始组合器的初始选择权值,确定与所述每个子空间对应的目标选择概率;
根据所述目标选择概率对应的目标权值,加权计算生成与每个所述初始组合器对应的候选组合器;
根据预设的约束函数对每个所述初始组合器对应的候选组合器约束,生成与每个所述初始组合器对应的目标组合器;
通过与所述多个初始组合器对应的多个所述目标组合器,执行不同的深度识别子任务。
2.如权利要求1所述的方法,其特征在于,所述计算预设的多个子空间中每个子空间的目标权值,包括:
通过softmax激活函数和tanh激活函数对每个所述子空间计算出两个权重值;
计算每个所述子空间对应的所述两个权重值的乘积,获取所述每个子空间的目标权值。
3.如权利要求2所述的方法,其特征在于,所述softmax激活函数为:
其中,为所述两个权值中的一个权值,K为组合器的编号,w为神经元系数参数,b为神经元偏置参数,m为组合器编号,y为激活函数的输入;
所述tanh激活函数为:
其中,为所述两个权值中的另一个权值。
4.如权利要求1所述的方法,其特征在于,还包括:
根据损失函数增大组合器之间的差异,其中,所述损失函数为:
其中,Jreinf(cm;ψm)为相应的损失函数,为每个组合器对于子空间的选择概率向量权值,ψm为全连接网络中可学习的参数集合。
5.如权利要求1所述的方法,其特征在于,所述根据所述目标选择概率对应的目标权值,加权计算生成与每个所述初始组合器对应的候选组合器,包括:
获取每个所述初始组合器对应的所有子空间中每个子空间的目标选择概率和对应的目标权值;
计算所述每个子空间的目标选择概率和对应的目标权值的乘积值;
对所述每个所述初始组合器对应的所有子空间的所有乘积值加权求和,每个所述初始组合器对应的候选组合器。
6.如权利要求1所述的方法,其特征在于,所述根据预设的约束函数对每个所述初始组合器对应的候选组合器约束,生成与每个所述初始组合器对应的目标组合器,包括:
根据margin损失函数以及距离采样策略对每个所述初始组合器对应的候选组合器约束,其中,所述margin损失函数,包括:
其中,Jdis(y;θ)为所述margin损失函数,i和j是样本编号下标,Dij是两个样本之间的距离,li是第i个样本的标签,I是示性函数,α和β是预先定义的超参数,p是预先定义的函数。
7.如权利要求1所述的方法,其特征在于,还包括:
根据预设的泛化函数对所述子空间,和/或,所述目标组合器优化,其中,所述预设的泛化函数为:
其中,是所述预设的泛化函数,Jdis(y;θ)是卷积神经网络对每个所述子空间的输入向量的子泛化函数,是每个所述初始组合器的子泛化函数,是每个所述目标组合器在输出到不同的子任务模块的输出向量的子泛化函数,θ是卷积神经网络参数,y是输入向量,λr和λm是权衡不同损失函数的系数,cm是每个组合器对于子空间的选择概率向量2,ψm是全连接层可学习参数,zm是每个组合器对子空间进行加权求和后的结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110220951.X/1.html,转载请声明来源钻瓜专利网。