[发明专利]一种基于联合聚类的矩阵分解推荐方法

权利要求书

1.一种基于联合聚类的矩阵分解推荐方法，其特征按如下步骤进行：

步骤1、构造用户-项目评分矩阵R

令U表示用户集，且U＝{u₁,u₂,...,u_i,...,u_M}，u_i表示第i个用户，1≤i≤M，M表示用户总数；令V表示项目集，且V＝{v₁,v₂,...,v_j,...,v_N}，v_j表示第j个项目，1≤j≤N，N表示项目总数；令r_ij表示第i个用户u_i对第j个项目v_j的评分值，则用户-项目评分矩阵为R＝{r_ij}_M×N；

步骤2、用户-项目评分矩阵R通过联合聚类分成若干个类别

步骤2.1、设定类别总数为K，随机初始化第i个用户u_i对第j个项目v_j的评分值r_ij属于第k个类别C_k的概率p(k|u_i,v_j,r_ij)，设定迭代阈值为τ_max，当前迭代次数为τ，并初始化τ＝1；

步骤2.2、利用式(1)、式(2)、式(3)分别计算第τ次迭代时第i个用户u_i属于第k个类别C_k的概率(p(k|u_i))^τ，第τ次迭代时第j个项目v_j属于第k个类别C_k的概率(p(k|v_j))^τ，第τ次迭代时第k个类别C_k中出现评分值r_ij的概率(p(r_ij|k))^τ：

(p(k|ui))τ=Σvf∈V(ui)(p(k|ui,vf,rif))τΣk=1KΣvf∈V(ui)(p(k|ui,vf,rif))τ---(1)]]>

(p(k|vj))τ=Σuq∈U(vj)(p(k|uq,vj,rqj))τΣk=1KΣuq∈U(vj)(p(k|uq,vj,rqj))τ---(2)]]>

(p(rij|k))τ=Σvf∈V(ui),uq∈U(vj)(p(k|uq,vf,rqf))τΣq=1BΣf=1AΣk=1K(p(k|uq,vf,rqf))τ---(3)]]>

式(1)中，V(u_i)表示第i个用户u_i评过分的所有项目集合，假设项目集合V(u_i)中的项目个数为A，则v_f表示项目集合V(u_i)中的第f个项目，且f∈{1，2,...,A}，r_if表示第i个用户u_i对第f个项目v_f的评分值，(p(k|u_i,v_f,r_if))^τ表示第τ次迭代时第i个用户u_i对第f个项目v_f的评分r_if属于第k个类别C_k的概率；

式(2)中，U(v_j)表示给第j个项目v_j评过分的所有用户的集合，假设用户集合U(v_j)中的用户个数为B，则u_q表示用户集合U(v_j)中的第q个用户，且q∈{1，2,...,B},r_qj表示第q个用户u_q对第j个项目v_j的评分值，(p(k|u_q,v_j,r_qj))^τ表示第τ次迭代时第q个用户u_q对第j个项目v_j的评分值r_qj属于第k个类别C_k的概率；

式(3)中，r_qf表示第q个用户u_q对第f个项目v_f的评分值，(p(k|u_q,v_f,r_qf))^τ表示第τ次迭代时第q个用户u_q对第f个项目v_f的评分值r_qf属于第k个类别C_k的概率；

步骤2.3、利用式(4)计算第τ次迭代的第i个用户u_i对第j个项目v_j的评分r_ij属于第k个类别C_k的概率(p(k|u_i,v_j,r_ij))^τ：

(p(k|ui,vj,rij))τ=[(p(k|ui))τ+a]×[(p(k|vj))τ+b]×[(p(rij|k))τ+c]Σk=1K[(p(k|ui))τ+a]×[(p(k|vj))τ+b]×[(p(rij|k))τ+c]---(4)]]>

式(4)中，a，b，c是为了防止分母为零而设置的超参数；

步骤2.4、将τ+1赋值给τ，并判断τ≤τ_max是否成立，若成立，则返回步骤2.2执行；否则，表示获得最终的第i个用户u_i对第j个项目v_j的评分r_ij属于第k个类别C_k的概率p(k|u_i,v_j,r_ij)；

步骤2.5、重复步骤2.2-步骤2.4，从而获得最终的第i个用户u_i对第j个项目v_j的评分r_ij属于K个类别的概率，并将第i个用户u_i、第j个项目v_j及其评分r_ij划分到概率最大的类别中；

步骤2.6、重复步骤2.2-步骤2.5，从而将所有用户、所有项目及其评分划分到概率最大的类别中，进而将用户集U、项目集V以及用户-项目评分矩阵R划分成K个类别，其中，K个类别中存在有空集；

步骤3、利用概率矩阵分解的方法对第k个类别C_k中的未知评分进行预测和推荐；

步骤3.1、计算相似度

根据余弦相似度计算出用户与用户间的相似度矩阵，令s(u_i,u_e)表示第i个用户u_i与第e个用户u_e间的相似度，并有1≤i≤M，1≤e≤M，则用户相似度矩阵记为S＝{s(u_i,u_e)}_M×M；同理计算出项目与项目间的相似度矩阵，令z(v_j,v_p)表示第j个项目v_j与第p个项目v_p间的相似度，并有1≤j≤N，1≤p≤N，则项目相似度矩阵记为Z＝{z(v_j,v_p)}_N×N；

步骤3.2、分别根据式(5)和式(6)计算第k个类别C_k中第i个用户u_i的特征向量和第k个类别C_k中第j个项目v_j的特征向量

p(Qik|σQ2)=Πi=1xKN(Qik|0,σQ2J)---(5)]]>

式(5)中，J表示单位向量；表示第k个类别C_k中第i个用户u_i的特征向量所服从正态分布的方差；

p(Ljk|σL2)=Πi=1yKN(Ljk|0,σL2J)---(6)]]>

式(6)中，表示第k个类别C_k中第j个项目v_j的特征向量所服从正态分布的方差；

步骤3.3、根据式(7)计算第k个类别C_k的先验分布p(R^k|Q^k,L^k,σ²)：

p(Rk|Qk,Lk,σ2)=Πi=1xkΠj=1yk[N(rijk|(Qik)TLjk,σ2)]ωij---(7)]]>

式(7)中，R^k表示第k个类别C_k中的评分矩阵；L^k表示第k个类别C_k中所有项目的特征向量所构成的项目特征矩阵；Q^k表示第k个类别C_k中所有用户的特征向量所构成的用户特征矩阵；σ²为第k个类别C_k中的评分矩阵R^k所服从正态分布的方差，表示第k个类别C_k中第i个用户对第j个项目的评分；ω_ij为指标函数，当第i个用户u_i评论过第j个项目v_j时，ω_ij＝1，否则ω_ij＝0；表示第k个类别中的第i个用户对第j个项目的评分服从均值为方差为σ²的正态分布；

步骤3.4、建立如式(8)所示的误差平方和目标函数E^k：

Ek=12Σi=1xkΣj=1ykωij(rijk-(Qik)TLjk)2+12λQΣi=1xk||Qik-Σe∈Cks(ui,ue)×Qek||F+12λLΣj=1yk||Ljk-Σp∈Ckz(vj,vp)×Lpk||F---(8)]]>

式(8)中，x^k表示第k个类别C_k共有的用户总数；y^k表示第k个类别C_k共有的项目总数；λ_Q表示第e个用户u_e对第i个用户u_i在目标函数上的影响因子，λ_L表示第p个项目v_p对第j个项目v_j在目标函数上的影响因子，且有F表示Frobenius范数；

步骤3.4、设定迭代阈值μ_max，当前迭代次数为μ，并初始化μ＝1；

步骤3.5、随机初始化用户特征矩阵Q^k和项目特征矩阵L^k作为第μ-1次迭代的初始用户特征矩阵(Q^k)^μ-1和项目特征矩阵(L^k)^μ-1：

步骤3.6、利用式(9)和式(10)分别获得第μ次迭代的第k个类别C_k中第i个用户u_i的特征向量和第k个类别C_k中第j个项目v_j的特征向量

(Qik)μ=Σe∈Cks(ui,ue)×(Qik)μ-1+φQk,φQk~N(0,σQ2J)---(9)]]>

式(9)中，表示第k个类别C_k中第i个用户u_i的特征向量的正则化项，并且服从均值为零，方差为的正态分布；

(Ljk)μ=Σp∈Ckz(vj,vp)×(Ljk)μ-1+φLk,φLk~N(0,σL2J)---(10)]]>

式(10)中，表示第k个类别C_k中第j个项目v_j的特征向量的正则化项，并且服从均值为零，方差为的正态分布；

步骤3.7、利用式(11)和式(12)分别获得第μ次迭代的第i个用户u_i的特征向量的梯度以及第μ次迭代的第j个项目v_j的特征向量的梯度

(∂Ek∂Qik)(μ)=Σj=1yk(rijk-((Qik)(μ))T(Ljk)(μ))(-Ljk)(μ)+λQ((Qik)(μ)-Σe∈Cks(ui,ue)×(Qek)(μ))-λQΣi∈Cks(ue,ui)(Qek-Σj∈Ckz(vj,vp)×(Qjk)(μ))---(11)]]>

(∂Ek∂Ljk)(μ)=Σi=1xk(rijk-((Qik)(μ))T(Ljk)(μ))(-Qik)(μ)+λL((Ljk)(μ)-Σp∈Ckz(vj,vp)×(Lpk)(μ))-λLΣj∈Ckz(vp,vj)((Lpk)(μ)-Σi∈Cks(ui,ue)×(Lik)(μ))---(12)]]>

步骤3.8、将μ+1赋值给μ，并判断μ≤μ_max是否成立，若成立，则重复步骤3.6执行；否则，表示获得最终的第k个类别C_k中的第i个用户u_i的特征向量以及第k个类别C_k中的第j个项目v_j的特征向量从而获得第k个类别C_k中的所有用户最终的用户特征矩阵Q^k和第k个类别C_k中的所有项目最终的项目特征矩阵L^k；

步骤3.9、利用式(13)获得第k个类别C_k的预测评分矩阵R^k，从而得到K个类别预测评分矩阵：

R^k＝(Q^k)^TL^k(13)

步骤3.10、根据K个类别预测评分矩阵，将满足评分要求的项目推荐给相应用户。