[发明专利]面向模态非完全对齐的数据聚类方法

权利要求书

1.面向模态非完全对齐的数据聚类方法，其特征在于，包括：

S1、根据应用场景获取多目标对象的多种模态的模态数据集，采用任一模态数据集中模态数据作为对齐模态数据，将余下模态数据集通过预设置换矩阵进行置换模拟非对齐模态数据；

S2、将对齐模态数据和所有模拟的非对齐模态数据分别输入一个独立的自编码网络，自编码网络中编码器输出每个模态数据集的公共表示；

S3、根据每个模态数据集的公共表示，计算对齐模态与非对齐模态的距离矩阵：

其中，为模态v的第i个对齐模态数据和模态u的第j个非对齐模态数据之间的距离，i和j分别为数据索引，v为对齐模态数据对应的模态；u为非对齐模态数据对应的模态；为对应的编码器输出；为对应的编码器输出；为2范数的平方；

S4、将非对齐模态数据对应的距离矩阵送入可微的对齐模块，采用目标优化算法迭代得到预测置换矩阵；

S5、根据自编码网络的编码器和解码器的输出及预设置换矩阵和预测置换矩阵，采用损失函数计算损失值；

S6、基于损失值进行反向传播优化所有自编码网络的网络参数和权重，之后在存在自编码网络未收敛时返回步骤S2，所有自编码网络收敛时进入步骤S7；

S7、将步骤S1中获取的所有模态数据集分别输入与其对应收敛后的自编码网络，得到每个模态数据集的公共表示；

S8、采用步骤S3和步骤S4的执行方式得到新的预测置换矩阵，并采用新的预测置换矩阵对步骤S7得到的公共表示进行置换，获得对齐的公共表示；

S9、将步骤S8得到的所有模态的公共表示拼接在一起，并采用聚类算法进行聚类得到聚类结果；

在对齐模块中，采用目标优化算法迭代得到预测置换矩阵进一步包括：

S41、初始化参数：D_uv为距离矩阵，更新步长σ和迭代次数τ₁、τ₂；

S42、采用公式P_uv＝P_uv-σD_uv更新P_uv，之后初始化初始状态T₀和状态变化量d₁，d₂，d₃为：T₀＝P_uv，d₁＝d₂＝d₃＝0，P_uv为模态u向模态v对齐时的预测置换矩阵；

S43、通过公式T₁＝Ψ₁(T₀+d₁)计算得到中间状态T₁，之后更新状态变化量d₁＝T₀+d₁-T₁；

S44、通过公式T₂＝Ψ₂(T₁+d₂)计算得到中间状态T₂，之后更新状态变化量d₂＝T₁+d₂-T₂；

S45、通过公式T₃＝Ψ₃(T₂+d₃)计算得到中间状态T₃，之后更新状态变化量d₃＝T₂+d₃-T₃；Ψ₁、Ψ₂和Ψ₃均为与P_uv相关的转换函数；

S46、迭代执行步骤S43～步骤S45迭代次数τ₂次，之后令P_uv＝T₃；

S47、迭代执行步骤S42～步骤S46迭代次数τ₁次，之后输出P_uv。