[发明专利]面向不完整多视图数据的转换模型的训练方法及装置

权利要求书

1.一种面向不完整多视图数据的转换模型的训练方法，其特征在于，包括：

获取样本对象的第一描述信息和第二描述信息，所述第一描述信息为第一信息类型，所述第二描述信息为第二信息类型；

通过第一转换模型对所述第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，所述第一转换模型用于将所述第一信息类型的描述信息转换为所述第二信息类型的描述信息；

通过第二转换模型对所述第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，所述第二转换模型用于将所述第二信息类型的描述信息转换为所述第一信息类型的描述信息；

根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数，包括：

通过第一还原模型对所述第一特征信息进行还原处理得到第一还原信息，以及通过第二还原模型对所述第二特征信息进行还原处理，得到第二还原信息；

根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新所述第一转换模型和所述第二转换模型的模型参数。

3.根据权利要求2所述的方法，其特征在于，所述第一转换模型包括第一特征提取模型和第一特征转换模型；所述第二转换模型包括第二特征提取模型和第二特征转换模型；

根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新所述第一转换模型和所述第二转换模型的模型参数，包括：

根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数；

根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数；

根据所述第一特征信息、所述第一转换信息、所述第二特征信息和所述第二转换信息，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。

4.根据权利要求3所述的方法，其特征在于，根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数，包括：

根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，确定第一损失；

根据所述第一损失，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数。

5.根据权利要求4所述的方法，其特征在于，根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，确定第一损失，包括：

根据第一预设损失函数，对所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息进行处理，确定所述第一损失。

6.根据权利要求4或5所述的方法，其特征在于，根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数，包括：

获取所述第一特征信息和所述第二特征信息的互信息；

根据所述第一特征信息、所述第二特征信息和所述互信息，确定所述第一特征信息和所述第二特征信息之间的第二损失；

根据所述第二损失，更新第一特征提取模型和所述第二特征提取模型的模型参数。