[发明专利]一种基于稀疏字典表示的跨模态学习方法有效
申请号: | 201710722444.X | 申请日: | 2017-08-21 |
公开(公告)号: | CN107633259B | 公开(公告)日: | 2020-03-31 |
发明(设计)人: | 冀中;于云龙;庞彦伟 | 申请(专利权)人: | 天津大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 杜文茹 |
地址: | 300192*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种基于稀疏字典表示的跨模态学习方法,包括:结合最大化不同模态数据之间的语义相关性以及最小化特征转换过程中造成的单一模态的信息损失,建立适用于多模态学习的模型;利用联合优化的方法优化所建立的模型;利用优化得到的模型挖掘两种模态之间的语义信息,实现多模态领域的应用。本发明的一种基于稀疏字典表示的跨模态学习方法,将不同模态的数据嵌入到一个公共的空间中,在最大化不同模态数据的语义相关性的基础上,最小化空间转换中产生的信息损失。 | ||
搜索关键词: | 一种 基于 稀疏 字典 表示 跨模态 学习方法 | ||
【主权项】:
一种基于稀疏字典表示的跨模态学习方法,其特征在于,包括如下步骤:1)结合最大化不同模态数据之间的语义相关性以及最小化特征转换过程中造成的单一模态的信息损失,建立适用于多模态学习的模型:argminΣi=1n||xi-Dxf(xi)||F2+||yi-Dyg(yi)||F2-λ(f(xi)Tg(yi)-||f(xi)||2||g(yi)||2)---(1)]]>其中,xi,yi分别是观察样本不同模态的特征,表示第一种模态的数据矩阵的第i行,dx表示第一种模态的维度,表示第二种模态的数据矩阵的第i行,dy表示第二种模态的维度,n表示观察样本集的对数,其中表示第一种模态空间的映射矩阵,表示第二种模态空间的映射矩阵,d表示公共空间的维度,Dx是第一种模态特征的重构字典,Dy是第二种模态特征的重构字典,λ表示权重系数,||·||F表示Frobenius范数;2)利用联合优化的方法优化所建立的模型;3)利用优化得到的模型挖掘两种模态之间的语义信息,实现多模态领域的应用。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710722444.X/,转载请声明来源钻瓜专利网。