[发明专利]基于多模态矩阵填充的自然图像分类方法及装置

说明书

技术领域

本发明属于图像分类与多模态数据分析（多特征融合）技术领域，涉及基于矩阵填充的多标签分类技术，具体涉及一种利用多模态矩阵填充的图像分类方法及装置。

背景技术

与人脸、指纹等内容单一、形式一致的图像不同，一幅自然图像中通常包含多个物体，且分别呈现不同的形态。在自然图像分类中，往往需要给一幅图像分配多个类别标签。如图1所示，（a）“人”在骑“自行车”，（b）“天空”和“海洋”经常一起出现，（c）“狗”是一种“动物”。传统的单标签分类（一个样本只有一个类别标签）算法大多数无法直接用于多标签分类。比较可行的是多类分类中的“一对多”策略：为每个类别分别构建一个二值分类器，属于该类别的样本视为正例，其余的都视为负例。这种方法的一个明显缺陷是容易导致严重的数据偏斜问题，同时也忽略了类别之间相互关联（例如，“天空”和“海洋”的共现关系，以及“狗”和“动物”的从属关系）。因此，近年来有很多新的算法被提出来解决多标签的问题。其中，利用矩阵填充的多标签分类算法允许输入数据（特征和标签）有部分缺失，对噪声和野点具有很强的鲁棒性。

矩阵填充，顾名思义，就是将一个有空缺值的矩阵M填满。如果对这个矩阵没有任务假设或者先验知识，则无法进行填充。因此，通常假设所需恢复的那个矩阵是低秩（low-rank）的（E.Candes and B.Recht,Exact matrix completion via convex optimization,Found.Comput.Math,9:717-772,2009）。矩阵填充的目标就是找到一个矩阵X使得X与M在已知项上的误差尽量小，同时X的秩尽可能低。这个秩最小化问题是个NP-难问题，因此几乎没有什么实用性。庆幸的是，秩rank(X)可以被它的凸封装，即核范数||X||_*所替换（M.Fazel,Matrix rank minimization with applications,Ph.D.thesis,Stanford University,2002）。基于这一点，很多算法被开发出来用于矩阵填充。例如，Candes和Recht（E.Candes and B.Recht,Exact matrix completion via convex optimization,Found.Comput.Math,9:717-772,2009）指出最小化核范数||X||_*和rank(X)具有相同的唯一解，并证明了恢复一个矩阵只需要有限的样本个数。此外，该文献的作者还提出了一种半正定优化的算法来求解最小化核范数的问题。为了处理大矩阵以及矩阵秩不是很低的情况，研究人员分别提出了奇异值阈值化（singular value thresholding，SVT）（J.Cai,E.Candes and Z.Shen,A singular value thresholding algorithm for matrix completion,SIAM,20(4):1956-1982,2010）和定点延续（fixed point continuation）（S.Ma,D.Goldfarb and L.Chen,Fixed point and Bregman iterative methods for matrix rank minimization,Math.Program.,128(1):321-353,2009）算法。最近，矩阵填充被引入到传导学习（A.Goldberg,X.Zhu,B.Recht,J.Xu and R.Nowak,Transduction with matrix completion:three birds with one stone,NIPS,pp.757-765,2010）和多标签图像分类（R.Cabral,F.Torre,J.Costeira and A.Bernardino,Matrix completion for multi-label image classification,NIPS,pp.190-198,2011），基本思想就是将样本特征矩阵和样本标签矩阵拼在一起，然后通过矩阵填充算法将其中的未知特征和标签的值估计出来。