[发明专利]跨模态的立体视觉对象检索方法及装置

说明书

本申请公开了一种跨模态的立体视觉对象检索方法及装置，其中，方法包括：提取各个模态的深度特征，得到实例；构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征；构建跨模态动态二分图结构，使用动态二分图卷积编码实例特征和实例跨域关系，得到实例跨域增强特征；对实例特征进行变换编码，得到实例自变换特征；融合上述特征，生成实例融合表示，进而生成类别预测分数，并使用梯度下降算法优化权重，进而使用实例融合表示间的余弦距离计算相似分数得到实例对象的相关跨模态检索数据。由此，解决了相关技术在模态间无法直接检索，跨模态检索精度、速度受限等问题。

技术领域

本申请涉及立体视觉对象检索技术领域，特别涉及一种跨模态的立体视觉对象检索方法及装置。

背景技术

立体视觉是计算机视觉中的一个重要领域，立体视觉领域内广泛存在着多种数据模态，包括点云、体素、视图、网格等。数据模态的多样性是由于使用场景和传感器的多样性决定的，立体视觉领域内许多方向涉及了多种数据模态的立体数据，比如，3D打印、立体建模、机器人等等，往往需要跨模态检索立体对象的数据。

然而，相关技术中，不同模态的转换代价比较昂贵，通常伴随着不可恢复的信息损失，而且实际应用中立体对象可能缺失部分模态的数据，无法转化为单一模态的立体对象检索，亟待改善。

申请内容

本申请提供一种跨模态的立体视觉对象检索方法及装置，以解决相关技术在模态间无法直接检索，跨模态检索精度、速度受限等问题。

本申请第一方面实施例提供一种跨模态的立体视觉对象检索方法，包括以下步骤：提取各个模态的深度特征，得到至少一个实例；基于所述至少一个实例构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征；基于所述至少一个实例构建跨模态动态二分图结构，使用动态二分图卷积编码所述实例特征和实例跨域关系，得到实例跨域增强特征；对所述至少一个实例的实例特征进行变换编码，得到实例自变换特征；融合所述实例域内增强特征、实例跨域增强特征、实例自变换特征，生成实例融合表示；根据所述实例融合表示生成类别预测分数，并使用梯度下降算法优化权重；以及基于所述优化后的权重，使用所述至少一个实例的实例融合表示间的余弦距离计算相似分数得到实例对象的相关跨模态检索数据。

可选地，在本申请的一个实施例中，所述提取各个模态的深度特征，得到至少一个实例，包括：利用预设的深度表示模型提取各个模态样例的深度特征，其中，所述深度表示模型由点云立体数据、网格立体数据、视图立体数据中的一项或多项基于至少一个分类任务悬链得到。

可选地，在本申请的一个实施例中，所述基于所述至少一个实例构建模态域内动态图结构，使用动态图卷积编码实例特征和实例域内关系，得到实例域内增强特征，包括：对于每个实例，计算特征间的第一余弦距离，并使用最近邻算法逐个确定所述每个实例的邻居，建立所述模态域内动态图结构；基于实例的深度特征和所述模态域内动态图结构的域内连接，使用所述动态图卷积编码生成所述实例域内增强特征。

可选地，在本申请的一个实施例中，所述基于所述至少一个实例构建跨模态动态二分图结构，使用动态二分图卷积编码所述实例特征和实例跨域关系，得到实例跨域增强特征，包括：对于所述每个实例，计算所述特征间的第二余弦距离，使用最近邻算法得到所述每个实例的域内邻居，建立实例与其域内邻居对应的其他模态的实例的跨域连接，构建所述动态二分图结构；基于所述实例的深度特征和所述动态二分图结构的跨域连接，使用所述动态二分图卷积编码生成所述实例跨域增强特征。

可选地，在本申请的一个实施例中，所述根据所述实例融合表示生成类别预测分数，并使用梯度下降算法优化权重，包括：使用至少一层的全连接层处理所述实例融合表示，生成实例的类别分数；根据所述类别分数和标注类别，使用梯度下降方法优化所述可学习的所述权重。