[发明专利]跨模态的立体视觉对象检索方法及装置

权利要求书

1.一种跨模态的立体视觉对象检索方法，其特征在于，包括以下步骤：

提取各个模态的深度特征，得到至少一个实例；

基于所述至少一个实例构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征；

基于所述至少一个实例构建跨模态动态二分图结构，使用动态二分图卷积编码所述实例特征和实例跨域关系，得到实例跨域增强特征；

对所述至少一个实例的实例特征进行变换编码，得到实例自变换特征；

融合所述实例域内增强特征、实例跨域增强特征、实例自变换特征，生成实例融合表示；

根据所述实例融合表示生成类别预测分数，并使用梯度下降算法优化权重；以及

基于所述优化后的权重，使用所述至少一个实例的实例融合表示间的余弦距离计算相似分数得到实例对象的相关跨模态检索数据。

2.根据权利要求1所述的方法，其特征在于，所述提取各个模态的深度特征，得到至少一个实例，包括：

利用预设的深度表示模型提取各个模态样例的深度特征，其中，所述深度表示模型由点云立体数据、网格立体数据、视图立体数据中的一项或多项基于至少一个分类任务悬链得到。

3.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个实例构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征，包括：

对于每个实例，计算特征间的第一余弦距离，并使用最近邻算法逐个确定所述每个实例的邻居，建立所述模态域内动态图结构；

基于实例的深度特征和所述模态域内动态图结构的域内连接，使用所述动态图卷积编码生成所述实例域内增强特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个实例构建跨模态动态二分图结构，使用动态二分图卷积编码所述实例特征和实例跨域关系，得到实例跨域增强特征，包括：

对于所述每个实例，计算所述特征间的第二余弦距离，使用最近邻算法得到所述每个实例的域内邻居，建立实例与其域内邻居对应的其他模态的实例的跨域连接，构建所述动态二分图结构；

基于所述实例的深度特征和所述动态二分图结构的跨域连接，使用所述动态二分图卷积编码生成所述实例跨域增强特征。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述实例融合表示生成类别预测分数，并使用梯度下降算法优化权重，包括：

使用至少一层的全连接层处理所述实例融合表示，生成实例的类别分数；

根据所述类别分数和标注类别，使用梯度下降方法优化所述可学习的所述权重。

6.一种跨模态的立体视觉对象检索装置，其特征在于，包括：

特征提取模块，用于提取各个模态的深度特征，得到至少一个实例；

域内特征增强模块，用于基于所述至少一个实例构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征；

跨域特征增强模块，用于基于所述至少一个实例构建跨模态动态二分图结构，使用动态二分图卷积编码所述实例特征和实例跨域关系，得到实例跨域增强特征；

特征变换模块，用于对所述至少一个实例的实例特征进行变换编码，得到实例自变换特征；

特征融合模块，用于融合所述实例域内增强特征、实例跨域增强特征、实例自变换特征，生成实例融合表示；

权重优化模块，用于根据所述实例融合表示生成类别预测分数，并使用梯度下降算法优化权重；以及

检索模块，用于基于所述优化后的权重，使用所述至少一个实例的实例融合表示间的余弦距离计算相似分数得到实例对象的相关跨模态检索数据。

7.根据权利要求6所述的装置，其特征在于，所述域内特征增强模块，包括：

第一计算单元，用于对于每个实例，计算特征间的第一余弦距离，并使用最近邻算法逐个确定所述每个实例的邻居，建立所述模态域内动态图结构；

第一生成单元，用于基于实例的深度特征和所述模态域内动态图结构的域内连接，使用所述动态图卷积编码生成所述实例域内增强特征。