[发明专利]一种视图及点云融合的立体视觉内容分类方法与系统

权利要求书

1.一种视图及点云融合的立体视觉内容分类方法，其特征在于，所述分类方法包括：

步骤1，获取待分类物的点云数据和对应的多张检测图像；

步骤2，根据神经网络模型，提取所述点云数据对应的整体特征描述子集合，以及所述检测图像对应的高维特征向量集合；

步骤3，根据正则化函数，计算所述整体特征描述子集合与所述高维特征向量集合中任一高维特征向量的关系分数，以及所述高维特征向量对应的视图增强特征，其中，所述关系分数的计算公式为：

RS_i＝ξ(g_θ(p,v_i))，

式中，RS_i为所述关系分数，v_i为所述高维特征向量，i＝1，2，…，n，n为正整数，p为所述整体特征描述子集合，g_θ(·)为神经网络中的多层感知模型，ξ(·)为所述正则化函数；

步骤4，根据所述整体特征描述子集合和所述视图增强特征，构建融合网络模型，并结合所述关系分数，生成待分类物的统一特征表征。

2.如权利要求1所述的视图及点云融合的立体视觉内容分类方法，其特征在于，所述步骤4，具体包括：

步骤41，根据所述视图增强特征和所述整体特征描述子集合，生成单视图融合模型，并根据所述单视图融合模型，计算所述视图增强特征对应的第一融合特征；

步骤42，根据全部的所述视图增强特征和所述整体特征描述子集合，生成多视图融合模型；

步骤43，根据所述关系分数和累积方法，选取对应的所述视图增强特征，并利用所述多视图融合模型和所述整体特征描述子集合，计算选取的所述视图增强特征对应的第二融合特征；

步骤44，采用全连接层分类算法，根据所述第一融合特征和所述第二融合特征，生成所述待分类物的统一特征表征。

3.如权利要求2所述的视图及点云融合的立体视觉内容分类方法，其特征在于，所述步骤43，具体包括：

根据所述关系分数的大小顺序和预设数量，采用所述累积方法，依次选取对应数量的所述视图增强特征向量，并生成待融合视图特征组；

根据所述多视图融合模型，将所述待融合视图特征组与所述整体特征描述子集合进行融合计算，将融合结果记作所述第二融合特征。

4.一种视图及点云融合的立体视觉内容分类系统，其特征在于，所述分类系统包括：数据获取模块，特征提取模块，计算模块以及生成模块；

所述数据获取模块用于获取待分类物的点云数据和对应的多张检测图像；

所述特征提取模块用于根据神经网络模型，提取所述点云数据对应的整体特征描述子集合，以及所述检测图像对应的高维特征向量集合；

所述计算模块用于根据正则化函数，计算所述整体特征描述子集合与所述高维特征向量集合中任一高维特征向量的关系分数，以及所述高维特征向量对应的视图增强特征，其中，所述关系分数的计算公式为：

RS_i＝ξ(g_θ(p,v_i))，

式中，RS_i为所述关系分数，v_i为所述高维特征向量，i＝1，2，…，n，n为正整数，p为所述整体特征描述子集合，g_θ(·)为神经网络中的多层感知模型，ξ(·)为所述正则化函数；

所述生成模块用于根据所述整体特征描述子集合和所述视图增强特征，构建融合网络模型，并结合所述关系分数，生成待分类物的统一特征表征。