[发明专利]一种基于交叉重建的多视角分类系统及方法

权利要求书

1.一种基于交叉重建的多视角分类方法，其特征在于，包括以下步骤：

步骤S1：构建两个自编码机网络，接收两个视角的原始图像数据，并将所述两个视角的原始图像数据分别转换为矩阵形式；

步骤S2:利用所述原始图像数据的矩阵形式和所述自编码机网络，分别得到两个视角数据图像的编码；

步骤S3：利用所述编码进行自我重建以及交叉重建，得到自我重建样本和跨视角重建样本；

步骤S4：对所述原始图像数据、所述自我重建样本和所述跨视角重建样本进行重建误差约束，得到第一误差结果；

步骤S5：对所述两个视角数据图像的编码进行编码一致性约束，得到第二误差结果；

步骤S6：结合所述第一误差结果和所述第二误差结果，多次训练两个自编码机网络，得到最佳表达结果；

步骤S7：利用1-NN分类器对所述最佳表达结果进行分类，得到最佳表达结果的所属类别。

2.根据权利要求1所述的一种基于交叉重建的多视角分类方法，其特征在于，所述步骤S1中，构建两个结构相同自编码机，包括编码器f和g，解码器p和q；接受两个视角的输入数据图像，并将其转换为对应的向量形式；对于多张图像的多个向量，进一步转换为矩阵形式。

3.根据权利要求1所述的一种基于交叉重建的多视角分类方法，其特征在于，所述步骤S2中，利用公式Y₁＝f(X₁)和Y₂＝g(X₂)，分别计算每个视角图像数据对应的编码：

其中，X₁，X₂表示视角1和视角2的原始数据样本的矩阵形式，Y₁,Y₂表示视角1和视角2得到的编码矩阵。

4.根据权利要求2所述的一种基于交叉重建的多视角分类方法，其特征在于，所述步骤S3进行样本重建，具体包括：

利用公式Y_{1_1}＝p(Y₁)和公式Y_{2_1}＝p(Y₂)通过所述解码器p进行自我重建和交叉重建；

其中，Y_{1_1}表示由视角1的编码重建得到的视角1样本，Y_{2_1}表示由视角2的编码重建得到的视角1样本；

利用公式Y_{1_2}＝q(Y₁)和公式Y_{2_2}＝q(Y₂)通过所述解码器q进行自我重建和交叉重建；

其中，Y_{1_2}表示由视角1的编码重建得到的视角2样本，Y_{2_2}表示由视角2的编码重建得到的视角2样本；

其中公式Y_{1_1}＝p(Y₁)和Y_{1_2}＝q(Y₁)表示自我重建，公式Y_{2_1}＝p(Y₂)和Y_{2_2}＝q(Y₂)表示交叉重建以此来迁移视角之间信息并建立视角之间的内在联系。

5.根据权利要求1所述的一种基于交叉重建的多视角分类方法，其特征在于，所述步骤S4对原始样本和重建样本进行最小重建误差的约束，具体包括：对得到的所述自我重建样本和所述跨视角重建样本，利用公式得到每个视角的完整的编码以及迁移视角之间的信息得到不同视角的一致性表达，其中W_f，W_g，W_p和W_q表示对应编码网络和解码网络的参数，L表示均方损失函数。

6.根据权利要求1所述的一种基于交叉重建的多视角分类方法，其特征在于，所述步骤S5提出编码一致性，具体包括：

不同视角编码Y_i和视角编码Y_j互相一致，利用公式进行视角编码之间的一致性约束，其中Y_i表示第i个视角数据得到的编码矩阵，其中Y_j表示第j个视角数据得到的编码矩阵，|| ||₂表示矩阵的二范数。