[发明专利]基于点云与视图融合的对象检索方法和系统

说明书

本申请提出了一种基于点云与视图融合的对象检索方法和系统，该方法包括：获取立体视觉对象的多张视图数据和点云数据，并对点云数据和视图数据分别进行数据模态的预处理转化；通过单模态的网络模型分别提取视图数据的单视图特征和视图模态特征，以及点云数据的逐点特征和点云模态特征；对单视图特征和点云模态特征进行交叉融合，并对视图模态特征和逐点特征进行交叉融合，以获得多模态融合特征；从多模态融合特征中提取出立体视觉对象的统一表示特征，并根据统一表示特征进行立体视觉对象的分类与检索。该方法通过点云与视图联合表示与多模态交叉融合，实现了对立体视觉对象的精准刻画，进一步的优化了立体视觉对象的分类和检索的性能。

技术领域

本申请涉及立体视觉对象检索技术领域，尤其涉及一种基于点云与视图融合的对象检索方法和系统。

背景技术

目前，立体视觉对象检索任务由于其广泛的应用领域，受到了学术界和工业界的广泛关注。VR和AR技术的发展很大程度上都依赖于立体视觉对象的表示、识别与检索。常见的立体视觉对象的表示方式有点云、体素、网格和视图等。通常情况下立体视觉对象检索大多都是基于单模态表示的检索，然而单模态数据中的噪声会对其精度造成很大的干扰，因此很难在实际的场景中落地应用。

相关技术中的一些基于多模态的方法进行立体视觉对象表示与检索，大多都是直接将多模模态的结果进行先融合或者后融合。其中，先融合指的是在输入数据上直接进行简单的模态转换和合并，而后融合指的是在输出的结果上进行概率分布的融合或者特征的拼接。然而这两种方式都不能对多模态之间的关联进行充分的建模，也就导致很难对立体视觉对象数据的噪声具有一定的抵抗力。即相关技术中的立体视觉对象检索存在以下问题：

(1)立体视觉对象数据采集方式的有限性；在很多场景下，采集数据的方式会受到很大的限制，只能获取单模态的点云或者视图的数据。

(2)多模态数据间的语义鸿沟；立体视觉对象的不同模态数据建模方式差异巨大，很难直接从原始数据上进行匹配和融合，同时这也使得跨模态检索任务的难度大大增加。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于点云与视图融合的对象检索方法，该方法使用点云和视图两种模态同时对立体视觉对象进行建模，并通过多模态交叉融合的算法对点云和视图两种模态的数据分别进行全局和局部融合，使得模态间的互补信息被更加重复的利用，从而，有效的弥补了多模态间建模能力的差异性，提升了立体对象统一表示特征的表达能力，使得不同模态的数据能够更加深度的进行融合，有效提升了立体视觉对象检索的性能和鲁棒性。

本发明的第二个目的在于提出一种基于点云与视图融合的对象检索系统。

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于点云与视图融合的对象检索方法，包括以下步骤：

S1：通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；

S2：通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；

S3：对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；

S4：从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。