[发明专利]一种结构化深度非完整多视角聚类方法在审
申请号: | 202110438924.X | 申请日: | 2021-04-23 |
公开(公告)号: | CN113128600A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 文杰;程正挺 | 申请(专利权)人: | 湖北珞珈环创科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 430000 湖北省武汉市东湖新技术开*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 结构 深度 完整 视角 方法 | ||
1.一种结构化深度非完整多视角聚类方法,其特征在于:其包括以下步骤:
S1、建立结构化深度非完整多视角聚类网络:其中,结构化深度非完整多视角聚类网络包括多视角图卷积编码深度网络、表征融合模块和聚类模块;
多视角图卷积编码深度网络包括多个独立的并且与每一个视角对应的图卷积编码网络,每一个视角的图卷积编码网络由两个图卷积网络层、两个批标准化层和一个激活函数层组成,其中激活函数采用修正线性函数,图卷积网络层用于从数据中提取高阶鉴别特征和保持数据的局部结构信息;两个批标准化层用于削弱各个视角在特征幅值和特征维度上的差异性;激活函数用于防止模型在反馈训练中的梯度消失问题;
假定第v个视角的输入数据为其中每个样本在第v个视角的特征都表示为行向量,mv表示第v个视角的特征维度,n表示样本个数,在该输入数据中,缺失样例的所有特征元素值用0值填充;此外,假设A(v)∈Rn×n为第v个视角上的相似图,其元素表示第i个样本和第j个样本在第v个视角上的相似度;该输入数据经过第一个图卷积网络层后的输出特征H(v),1表示为:
其中,为对角阵且对角元素表示为I∈Rn×n为单位矩阵,视为图矩阵(A(v)+I)的归一化矩阵,Θ(v),1表示第v个视角的第一个图卷积网络层的编码参数,b(v,1)为该层的偏置参数,1为元素值都为1的n维列向量;
第v个视角的数据在经过第二个图卷积网络层和两个批标准化层后的输出表示为:
其中,和φReLU(·)分别表示披标准化层和修正线性激活函数;Θ(v),2为第v个视角第二个图卷积网络层的网络参数,b(v,2)为该网络层的偏置参数;
表征融合模块用于融合非完整多视角图卷积编码网络的输出鉴别表征,利用加权融合模型(3)得到多个视角语义一致的表征:
其中,hi(v),2表示第v个视角对应的图卷积编码网络的数据输出结果H(v),2的第i行元素,也即第i个样本的第v个视角的鉴别表征,W∈Rn×l表示多视角数据的视角缺失指示矩阵,若第i个样本的第j个视角缺失,则Wi,j=0;否则Wi,j=1;
聚类模块用于挖掘数据的自监督信息来指导模型训练以得到最优的非完整多视角聚类网络模型和最优聚类结果,假设H*∈Rn×c为输入数据经过多视角图卷积编码深度网络和表征融合模块后的输出表征,具体过程如下:
首先,依据kmeans聚类原理,优化kmeans聚类损失函数得到初始化聚类中心矩阵U和初始化的聚类结果Y;
然后基于KL散度聚类理论,计算得到第i个样本被划分到第j类的概率为:
其中,uj为聚类中心矩阵U的第j行向量,为矩阵H*∈Rn×c的第i行向量;
最后,基于KL散度理论,根据概率矩阵P求得用于自监督训练的目标矩阵:
用于监督模型训练的聚类模块损失函数为:
S2、建立结构化深度非完整多视角聚类网络的预训练网络:
结构化深度非完整多视角聚类网络的参数为多视角深度编码网络的参数,在实际训练过程中,利用结构化深度非完整多视角聚类网络的预训练网络对这些参数进行初始化,其中预训练网络由多视角图卷积编码深度网络、表征融合模块和多视角解码网络组成,其中多视角图卷积编码深度网络和表征融合模块与上一步结构化深度非完整多视角聚类网络中的结构一致,多视角解码网络中的每一个视角的解码网络由3个线性层和2个ReLU激活函数组成,其结构表示为[线性层,ReLU,线性层,ReLU,线性层],其中对第v个视角而言,其三个线性层的维度分别设置为[c,0.8mv,mv],c为类别数,mv为第v个视角的维度;
S3、对非完整多视角聚类网络进行预训练:针对S2所述预训练网络,通过最小化如下目标损失函数(7)得到多视角深度编码网络的初始化参数:
其中,Ω1和Ω2分别表示编码网络和解码网络的参数集合,表示第v个视角对应的解码网络的输出;为网络输入的非完整的多视角数据,若为从非完整的多视角数据中构建的相似图,则W∈Rn×l为视角缺失信息的指示矩阵,l为视角的总数,
对于预训练网络,在预训练时,根据目标损失函数(7),利用随机梯度下降算法更新网络参数,通过多次输入数据和迭代更新得到最优的编码网络参数Ω1和解码网络的参数Ω2;
S4、初始化聚类模型中的聚类中心矩阵:利用步骤S3预训练网络得到的非完整多视角图卷积编码网络参数初始化步骤S1结构化深度非完整多视角聚类网络的图卷积编码网络参数,输入非完整多视角数据和从中构建的相似图得到S1公式(3)中的输出表征H*;如步骤S1所述,根据该输出表征H*,通过利用交替迭代优化算法来优化kmeans损失函数得到最优的聚类中心矩阵初始化值U;
S5、结构化深度非完整多视角聚类网络训练:
利用Adam优化器最小化步骤S1所述聚类目标损失函数得到最优的图卷积编码网络参数Ω1、聚类中心矩阵U和最优的聚类结果,当数据和相似图输入S1结构化深度非完整多视角聚类网络后,得到聚类目标损失根据该损失计算网络中各变量的梯度,根据Adam优化算法对多视角编码网络参数Ω1和聚类中心矩阵U进行更新;每输入一次数据和相似图到网络,则利用Adam优化算法执行一次参数更新,经过多次参数更新后,即得到最优的多视角编码网络参数Ω1和聚类中心矩阵U,根据该最优的多视角编码网络参数Ω1和聚类中心矩阵U,输入数据和相似图即能够根据步骤S1的结构化深度非完整多视角聚类网络得到概率矩阵P,进而得到最终的聚类结果,若Pi,j为矩阵P第i行向量的最大值,则认为第i个样本属于第j类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖北珞珈环创科技有限公司,未经湖北珞珈环创科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110438924.X/1.html,转载请声明来源钻瓜专利网。