[发明专利]一种视图及点云融合的立体视觉内容分类方法与系统

说明书

本申请公开了一种视图及点云融合的立体视觉内容分类方法与系统，其中，该分类方法包括：步骤1，获取待分类物的点云数据和对应的多张检测图像；步骤2，根据神经网络模型，提取点云数据对应的整体特征描述子集合，以及检测图像对应的高维特征向量集合；步骤3，根据正则化函数，计算整体特征描述子集合与高维特征向量集合中任一高维特征向量的关系分数，以及高维特征向量对应的视图增强特征；步骤4，根据整体特征描述子集合和视图增强特征，构建融合网络模型，并结合关系分数，生成待分类物的统一特征表征。通过本申请中的技术方案，直接在特征抽取层面对点云和多视图数据进行有效融合，实现了对立体物体的高效表征和分类。

技术领域

本申请涉及立体视觉分类的技术领域，具体而言，涉及一种视图及点云融合的立体视觉内容分类方法以及一种视图及点云融合的立体视觉内容分类系统。

背景技术

随着高新互联网产业的高速发展，立体视觉的发展和应用是未来的人工智能产业的重要发展方向。立体视觉内容有多种模态表示，常用的有多视图和点云表示等，其中，多视图是对物体拍摄多个不同角度的视图来对其进行描述，点云表示为通过激光雷达扫描获得的三维坐标点的集合来描述物体。针对多视图数据和点云数据的处理方法层出不穷，神经网络(Neural Network，NN)被广泛应用于特征抽取和数据处理过程中。

而现有技术中，在融合利用点云数据和多视图数据时，通常是通过两种方式将其间接融合：一种是是对于点云数据和多视图数据单独进行特征提取，然后将处理结果进行决策融合；一种是将点云数据投影成鸟瞰图形式，然后进行图像层面的融合。但是，对于第一种融合方式，特征提取单独进行，无法充分利用两种特征融合提取的优势，会造成各自提取的特征缺乏辨识力。对于第二种融合方式，点云数据进行投影后，会大量丢失立体信息，造成信息损失。

发明内容

本申请的目的在于：直接在特征抽取层面对点云和多视图数据进行有效融合，实现了对立体物体的高效表征和分类。

本申请中第一方面的技术方案是：提供了一种视图及点云融合的立体视觉内容分类方法，该分类方法包括：步骤1，获取待分类物的点云数据和对应的多张检测图像；步骤2，根据神经网络模型，提取点云数据对应的整体特征描述子集合，以及检测图像对应的高维特征向量集合；步骤3，根据正则化函数，计算整体特征描述子集合与高维特征向量集合中任一高维特征向量的关系分数，以及高维特征向量对应的视图增强特征，其中，关系分数的计算公式为：

RS_i＝ξ(g_θ(p,v_i))，

式中，RS_i为关系分数，v_i为高维特征向量，i＝1，2，…，n，n为正整数，p为整体特征描述子集合，g_θ(·)为神经网络中的多层感知模型，ξ(·)为正则化函数；步骤4，根据整体特征描述子集合和视图增强特征，构建融合网络模型，并结合关系分数，生成待分类物的统一特征表征。

上述任一项技术方案中，进一步地，步骤4，具体包括：步骤41，根据视图增强特征和整体特征描述子集合，生成单视图融合模型，并根据单视图融合模型，计算视图增强特征对应的第一融合特征；步骤42，根据全部的视图增强特征和整体特征描述子集合，生成多视图融合模型；步骤43，根据关系分数和累积方法，选取对应的视图增强特征，并利用多视图融合模型和整体特征描述子集合，计算选取的视图增强特征对应的第二融合特征；步骤44，采用全连接层分类算法，根据第一融合特征和第二融合特征，生成待分类物的统一特征表征。

上述任一项技术方案中，进一步地，步骤43，具体包括：根据关系分数的大小顺序和预设数量，采用累积方法，依次选取对应数量的视图增强特征向量，并生成待融合视图特征组；根据多视图融合模型，将待融合视图特征组与整体特征描述子集合进行融合计算，将融合结果记作第二融合特征。