[发明专利]一种多视角深度生成图像聚类方法

权利要求书

1.一种多视角深度生成图像聚类方法，其特征在于，包括以下步骤：

步骤1、预训练各视角独立的编解码网络；

1.1训练单一视角单个自动编码机

假设x_vⁱ为第v个视角的第一个自动编码机的第i个输入图像数据，y_vⁱ为第v个视角的第一个自动编码机的第i个输出图像数据，该自动编码机具体计算过程如下：

h_vⁱ⁽¹⁾＝g_e,v⁽¹⁾(W_e,v⁽¹⁾x_vⁱ+b_e,v⁽¹⁾) (1)

y_vⁱ＝g_d,v⁽¹⁾(W_d,v⁽¹⁾h_vⁱ⁽¹⁾+b_d,v⁽¹⁾) (2)

其中，h_vⁱ⁽¹⁾是该自动编码机的中间结果即隐藏层特征，维度小于输入图像数据，g_e,v⁽¹⁾和g_d,v⁽¹⁾分别是其编码层和解码层的激活函数，θ_v⁽¹⁾＝{W_e,v⁽¹⁾,b_e,v⁽¹⁾,W_d,v⁽¹⁾,b_d,v⁽¹⁾}是该自动编码机网络的所有参数；

该自动编码机通过最小化重构损失训练；第一个自动编码机训练完成后，第二个自动编码机采用第一个自动编码机隐藏层特征h_vⁱ⁽¹⁾作为输入图像数据，仿照公式(1)、(2)训练，第三个自动编码机直到第n个自动编码机同理，n为堆叠自动编码机中编码器的层数；

1.2训练单一视角多个自动编码机

第v个视角的第一个自动编码机训练完成后，该视角的第二个自动编码机采用第一个自动编码机隐藏层特征h_vⁱ⁽¹⁾作为输入图像数据训练；

此时，h_vⁱ⁽¹⁾为第v个视角的第二个自动编码机的第i个输入图像数据，设ho_vⁱ⁽¹⁾为其第i个输出图像数据，该自动编码机具体计算过程如下：

h_vⁱ⁽²⁾＝g_e,v⁽²⁾(W_e,v⁽²⁾h_vⁱ⁽¹⁾+b_e,v⁽²⁾) (3)

ho_vⁱ⁽¹⁾＝g_d,v⁽²⁾(W_d,v⁽²⁾h_vⁱ⁽²⁾+b_d,v⁽²⁾) (4)

其中，同样地，h_vⁱ⁽²⁾是该自动编码机的中间结果即隐藏层特征，维度小于输入图像数据，g_e,v⁽²⁾和g_d,v⁽²⁾分别是其编码层和解码层的激活函数，θ_v⁽²⁾＝{W_e,v⁽²⁾,b_e,v⁽²⁾,W_d,v⁽²⁾,b_d,v⁽²⁾}是该自动编码机网络的所有参数；该自动编码机通过最小化重构损失训练；第三个自动编码机直到第n个自动编码机同理，n为堆叠自动编码机中编码器的层数；

1.3训练多个视角堆叠自动编码机

在各个自动编码机训练完成后，每个自动编码机被拆分为编码层和解码层两部分，以第n个自动编码机的隐藏层为对称轴对称排布和衔接；整体对称排布的网络接收最外侧自动编码机输入图像数据，逐层传递，得到最外侧自动编码机输出图像数据；各个视角均依照上述方法独立构建自己的堆叠自动编码机网络，得到各个视角独立的潜在特征空间；

步骤2、预训练多视角特征融合编解码网络；

将对应同一对象的各个视角提取的深度特征进行拼接，计算过程如下：

H＝con(H1,H2,...,Hn) (5)

其中，H1、H2……Hn表示各个视角的深度特征，con()表示拼接运算，H表示拼接后的特征；

再次采用堆叠自动编码机网络，通过最小化重构损失，学习拼接特征的低维融合信息；

步骤3、随机初始化高斯混合模型参数；

高斯混合模型设定K个子高斯分布，并给予对应的总和为1的非负权重w_k，N个样本点中，x_i的概率由K个子高斯分布的概率加权得到，如下所示：

其中，g()表示高斯分布的概率密度函数，被对应的均值向量μ_k和协方差矩阵Σ_k两个参数所定义，具体计算过程如下：

其中，d表示样本点x_i和均值向量μ_k的维度；

采用随机的方法初始化K个子高斯分布对应的非负权重w_k、均值向量μ_k和协方差矩阵Σ_k；

步骤4、计算图像聚类结果；

将同一对象多个视角图像的融合特征作为图像聚类的样本点x_i，输入到高斯混合模型，以计算图像聚类结果。