[发明专利]基于点云与视图融合的对象检索方法和系统

权利要求书

1.一种基于点云与视图融合的对象检索方法，其特征在于，包括以下步骤：

S1：通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；

S2：通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；

S3：对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；

S4：从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体包括：

获取原始数据，并根据所述原始数据重建所述立体视觉对象；

将所述立体视觉对象按预设方向设置在三维空间中，并在所述立体视觉对象的水平面中的不同位置处设置多个相机对所述立体视觉对象进行拍摄；

通过最远点采样算法从所述立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从所述初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；

删除所述多张视图数据的背景，并对每张所述视图数据进行随机的旋转和放缩；

将所述初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。

3.根据权利要求1所述的方法，其特征在于，步骤S2具体包括：

构建多视图全卷积网络，通过所述多视图全卷积网络提取每张视图数据的底层特征；

构建深度卷积网络，通过所述深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的所述单视图特征进行最大池化融合，生成视图模态特征；

通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；

对各个逐点特征进行全局池化融合，以生成点云模态特征。

4.根据权利要求1所述的方法，其特征在于，步骤S3具体包括：

将每个所述单视图特征分别与所述点云模态特征进行融合，获得对应的联合点云的单视图特征；

将每个所述联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；

将每个所述逐点特征分别与所述视图模态特征进行融合，获得对应的联合视图的逐点特征；

将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。

5.根据权利要求1所述的方法，其特征在于，步骤S4具体包括：

通过深度卷积网络从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征；

计算所述统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。

6.一种基于点云与视图融合的对象检索系统，其特征在于，包括：

数据采样模块，用于通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；

第一特征提取模块，用于通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；

交叉融合模块，用于对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；

第二特征提取模块，用于从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。