[发明专利]一种基于截断核范数正则化的大规模图像数据多分类方法

摘要

本发明公开了一种基于截断核范数正则化的大规模图像数据多分类方法，考虑核范数在近似精度方面的限制性，提出使用截断核范数代替核范数能够更好地反映矩阵的低秩性结构，为了解决非凸非光滑的优化问题，进一步提出了一个高效的迭代算法；在每次迭代的过程中，将非光滑的凸子问题提升为一个无穷维l1范数正则化问题，然后运用一个高效的加速坐标下降算法去求得最优解，本发明采用的截断核范数代替核范数能够更好地反映矩阵的低秩性结构，通过高效的迭代算法解决了非凸非光滑的优化问题，通过在大规模图像数据集上的比较试验，证明了本方法在精度上比现有的多分类算法有明显的提升。

主权项

一种基于截断核范数正则化的大规模图像数据多分类方法，其特征在于：具体步骤如下：1)给出一般的多分类问题的目标函数是其中W是权重矩阵，φ(W)是损失函数，Ω(W)是正则化惩罚项；正则惩罚项中使用权重矩阵的核范数来表示低秩性限制，采用多项logistic损失函数损失函数φ(W)可以定义为根据低秩性限制，取Ω(W)＝rank(W)，为了方便优化，通常用矩阵的核范数||W||*来代替秩函数，即取Ω(W)＝||W||*，其中||W||*定义为矩阵的奇异值的和；2)使用截断核范数来代替核范数，利用截断核范数代替核范数能够更有效地反映权重矩阵的低秩性结构，对于给定的0≤r≤min(d，k)，矩阵W的r‑截断核范数||W||r定义为去除W的r个最大的奇异值后，剩下的所有奇异值的和；||W||*和||W||r之间存在如下的关系：而且的最优解A＝(u1，…，ur)T和B＝(u1，…，ur)T取自W的SVD分解W＝U∑VT，其中3)为了保证目标函数的强凸性以便于优化，提出一个高效的迭代优化算法：将权重矩阵的Frobenius范数作为新的正则项来保证目标函数的强凸性，目标函数为其中λ，μ为控制惩罚程度的正则化参数，提出如下迭代算法来解决该优化问题：输入：秩参数r和容许的误差参数∈初始化：W1迭代:第一步：给定Wl，对其进行SVD分解：[Ul，∑l，Vl]＝SVD(Wl),其中取Al和Bl分别为Al＝(u1，…，ur)T，Bl＝(u1，…，ur)T.第二步：求解如下问题，将其解作为Wl+1argminWλ(||W||*-Tr(AlWBlT))+μ||W||F2+φ(W)---(1)]]>直至:||Wl+1‑Wl||F≤∈4)为了求解(1)式，我们构造一组不可数的基向量，用表示秩1矩阵的集合，采用指标集表示集合对于函数用表示θ,定义在Θ中定义范数则任意的可以通过中的秩1矩阵线性组合得到而对于任意的θ∈Θ，映射Wθ＝∑i∈supp(θ)θiMi决定了能够证明因此能够把优化W的问题转化为优化θ的问题，考虑ψ(θ)=φ(Wθ)-λTr(AlWθBlT)+μ||Wθ||F2]]>为了简便，我们限定θ位于Θ的非负象限则3)中的(1)式可以进一步转化为minθ∈Θ+G(θ)＝λ||θ||1+ψ(θ)＝λ∑i∈supp(θ)|θi|+ψ(θ)  (2)能够证明，等式(2)和3)中的(1)式是等价的，即它们的最优解是对应的；5)采用R1D算法解决等式4)中的(2)，在Θ+内沿着降速最快的坐标方向下降，在第i步迭代中，通过选取最小的对应的i来最小化目标函数G(θ)，而因此只需计算的最大奇异向量对，R1D沿着选定的方向做秩1矩阵迭代，直到设定的阈值停止；设s是当前迭代中θ的支撑集的大小，为了加快收敛速度，R1D通过解决下面的问题在正则基上进行了二阶子空间最小化s.t.θj≥0，j＝1，2，…，s.在具体实现中，不需要每次迭代时都严格地选取最速下降方向，可以容许大小为∈的误差，也能取得较好的收敛结果。