[发明专利]超低秩张量数据填充方法

摘要

本发明公开了一种超低秩张量数据填充方法，用于解决现有张量数据处理方法精度低的技术问题。技术方案是将张量分解成低秩结构和非低秩结构，使用混合高斯模型(MOG)对非低秩结构进行先验描述，利用Gibbs采样获得非低秩结构E和基于CP分解的低秩结构X的样本均值，用均值近似带求的隐张量。本发明一方面，通过充分挖掘CANDECOMP/PARAFAC(CP)分解权值的稀疏性，建立基于稀疏性的低秩模型。另一方面，使用混合高斯模型(MOG)模拟复杂的非低秩结构。这两点保证了即使在低于10％的观测率的情况下，也能够自适应地进行张量填充。经测试，相对重建误差降低，提高了重建精度。

主权项

一种超低秩张量数据填充方法，其特征在于包括以下步骤：步骤一、构建张量填充模型；对于一个K阶隐张量在噪声的影响下，得到部分观测量YΩ，Ω表示观测量的索引，则观测模型表示为：YΩ＝LΩ+MΩ  (1)其中，YΩ＝{yi}i∈Ω为观测量，yi表示YΩ中索引为i的原子，MΩ为噪声数据；为了同时描述低秩和非低秩结构，隐张量L被分解为一个低秩结构X和一个非低秩结构E，其中E近似满秩；L＝X+E  (2)根据公式(1)的观测模型，假定YΩ中每一个原子是独立同分布的，MΩ是精度为τ0的高斯白噪声；因此，YΩ的似然函数为：p(YΩ|X,E)=ΠiN(yi|xi+ei,τ0-1)oi---(3)]]>其中，o为指示张量，如果i∈Ω，那么oi＝1；xi和ei分别为X和E中的第i项元素；步骤二、超低秩张量表示；1)低秩结构张量表示；通过充分挖掘CP分解权值的稀疏性从而自动地确定低秩成分X的秩；在传统的CP分解中，X被分解为R个秩为1的张量：其中，是因子向量，其中k＝1,…,K，表示外积；λ＝[λ1,…,λR]T为权值向量，表示第k个因子矩阵；(a)基于稀疏性的低秩模型；当给定较大的初始化秩，对张量X进行CP分解，在所有的CP分解中存在最稀疏的权值向量λ，满足rank(X)＝||λ||0；通过探索λ的稀疏性，张量秩能够自动地被检测；采用级联的重加权拉普拉斯先验描述λ的稀疏性：λ～Ν(λ|0，diag(γ))  (5)γ~Πγ=1RGa(γr|1,kr/2)---(6)]]>其中，λ服从零均值高斯分布，γ＝[γ1，…，γR]T服从伽马分布，γr及kr分别为γ和k＝[k1，…，kR]T的第r项；上述级联的重加权拉普拉斯先验等价于：p(λ|K)∝exp(‑||Kλ||1)  (7)其中，每次λ中的权值被缩减不同的尺度kr与贝叶斯推理中的权值成反比；因此，λ中较大的权值被缩小的幅度更少；(b)正则化因子矩阵；为了避免CP分解中的过拟合问题，假定因子矩阵U(k)中的每一项服从高斯独立同分布：uik(k)~N(uik(k)|μ(k),τ(k)-1)---(8)]]>对于每一个U(k)采用一个单独的高斯分布去获得其特征；为了完善贝叶斯模型，进一步在高斯分布中引进共轭先验参数，其均值μ(k)和方差σ(k)服从高斯伽马分布为，模型参数为μ0、β0、a0和b0：μ(k),τ(k)～Ν(μ(k)|μ0,(β0τ(k))‑1)Ga(τ(k)|a0,b0)   (9)2)非低秩结构混合高斯模型表示；使用混合高斯模型表示复杂的非低秩结构E，假设每个ei服从混合高斯分布，其中包括D个高斯成分：ei~Σd=1ρπdN(ei|μd,τd-1)---(10)]]>其中，πd≥0为混合比例，并且表示第d个高斯成分，其均值为μd，精确度为τd；引进D个指示变量公式(10)被表示为一个2阶生成模型：ei~Πd=1DN(ei|μd,τd-1)zid,zi~Multinomial(zi|π)---(11)]]>其中，满足一个多项式分布，参数π＝(π1,…,πD)；为了模拟E的复杂性，提出μd、τd和π的共轭先验，π服从狄利克雷分布Dir(π|α0)，参数α0＝(α01,…,α0D)；μd,τd～N(μd|μ0,(β0τd)‑1)Ga(τd|a0,b0),π～Dir(π|α0)  (12)步骤三、模型优化求解；采用贝叶斯最小化均方误差估计作为张量填充的优化框架；L^=argminL~∫||L~-L||F2p(L|YΩ)dL=E[L|YΩ]---(13)]]>其中，为最终优化得到的隐张量，为引入的优化变量，||A||F表示张量A的F范数，p(L|YΩ)为L基于观测量YΩ的后验概率分布；L的贝叶斯最小均方误差等价于其后验分布的均值E[L|YΩ]；但是期望E[L|YΩ]的计算十分困难；为了解决这个问题，不直接对L进行建模，利用Gibbs采样获得非低秩结构E和基于CP分解的低秩结构X的样本均值，来近似具体来说，首先，基于公式(3)、(5)、(8)、(9)、(11)和(12)获得所有未知变量的后验概率分布：p(λ,U,Z,π,μ,τ,μe,τe|YΩ)  (14)其中，U＝{U(k)}、Z＝{zi}、μ＝{μ(k)}、τ＝{τ(k)}、μe＝{μd}和τe＝{τd}；然后，使用Gibbs采样方法对每一个样本进行采样；具体如下：(c)对低秩结构进行采样；该结构的表示模型包括参数λ、γ、k和U；λ中的每个权值λr服从高斯分布：λr~N(μ~λr,τ~λr-1),τ~λr=γr-1+τ0Σioib~ir2,μ~λr=τλr-1τ0Σioib~iry~ir---(15)]]>其中，γr和kr分别服从广义逆高斯分布和伽马分布；γr~GIG(γr|kr,λr2,1/2),kr~Ga(kr|2,γr/2)---(16)]]>对于第k个因子矩阵U(k)，每项服从高斯分布；uir(k)~N(μ~uir(k),τ~uir(k)-1),τ~uir(k)=Σi:ik=iτ0oic~irk2+τ(k),μ~uir(k)=τuir(k)-1(Σi:ik=iτ0oiy~irc~irk+τ(k)μ(k))---(17)]]>其中，另外，均值μ(k)服从高斯分布：μ(k)~N(μ~μ(k),τ~μ(k)-1),τ~μ(k)=τ(k)(β0+nkR),μ~μ(k)=τμ(k)-1τ(k)(Σi=1,r=1nk,Ruir(k)+β0μ0)---(18)]]>准确率τ(k)服从伽马分布：τ(k)~Ga(a~(k),b~(k)),a~(k)=a0+(nkR+1)/2b~(k)=b0+[Σi=1,r=1nk,R(uir(k)-μ(k))2+β0(μ(k)-μ0)2]/2---(19)]]>(d)对非低秩结构进行采样；该结构的表示模型包括参数E、μe、τe、Z和π；E中的每项ei服从高斯分布：ei~N(μ~ei,τ~ei-1),τ~ei=oiτ0+Σd=1Dτdzid,μ~ei=τ~ei-1[τ0oi(yi-xi)+Σd=1Dτdzidμd]---(20)]]>对于公式(11)混合高斯模型中的第d个高斯成分，其均值μd服从高斯分布：μd~N(μ~μd,τ~μd-1),τ~μd=τd(Σizid+β0),μ~μd=τμd-1τd(Σizidei+β0μ0)---(21)]]>准确率τd服从伽马分布：τd~Ga(a~d,b~d),a~d=a0+(Σizid+1)/2,b~d=b0+[Σizidei+β0(μd-μ0)2]/2---(22)]]>变量zi服从多项式分布，参数混合比例π服从参数zi~Multinomial(zi|π~),π~d=[πdN(ei|μd,τd-1)]/[Σt=1DπtN(ei|μt,τt-1)],π~Dir(π|α~)---(23).]]>