[发明专利]基于平面与空间信息融合的物体识别与重建方法

说明书

本发明公开了一种基于平面与空间信息融合的物体识别与重建方法，包括如下步骤：建立城市物体的采样库；对平面投影图像进行特征提取，分割及粗识别后得到二维分割图；获取目标三维信息，得到三维视差图；将二维分割图和三维视差图进行融合比较；使用表面模型来纠正三维深度信息；使用空间信息来纠正错误的二维信息，并对二维图像分割及匹配；恢复物体表面信息，本发明通过将物体平面信息与空间信息交替分析，并引进人工场景、规则以及物体模型作为先验知识，分层次来纠正二维识别及立体重建中的错误，能够快速准确的恢复出场景中的物体并恢复其空间信息。

技术领域

本发明属于物联网技术领域，尤其涉及基于平面与空间信息融合的物体识别与重建方法。

背景技术

物体识别是计算机视觉应用的一项基本任务。物体识别的目的就是要找到一个包含可以区分不同目标物体的有效信息的描述。图像识别通常基于对目标物体二维信息的分析，如灰度、颜色，纹理或形状等。由于要识别的物体类别是事先知道的，所以目标物体的平面几何特征可以被直接应用到识别任务中。

传统基于二维的技术主要包括如下流程：1)场景二维图像的获取；2)物体特征(点，线及域)提取；3)物体特征的分类；4)通过模型库的匹配来进行识别。由于传统技术一般只是基于物体的平面信息，如特征点，灰度，纹理，二维几何形状等，准确的识别场景中的物体依然是个非常困难任务。通过神经网络的深度学习可以提高识别的准确性，但这需要大量的场景数据及计算能力。物体的空间信息在很多领域有着非常广泛的应用，比如在城市规划及管理，自动驾驶、机器人导航，航测、航天遥测、军事侦察等。利用多个摄像机，对物体进行不同角度的拍摄，然后再通过对其二维图像中视差的计算就可以获得物体的空间信息。如何准确无误的对物体特征点匹配及计算其视差值是获得三维信息的关键点，也是难点。在简单的场景下，特别是当物体的深度变化相对连续，传统的立体视觉技术已经取得比较好的效果。但在复杂场景下，尤其是在城市场景中，由于人工物体形状的多元化，缺乏纹理，比如不同风格的建筑物，街道，广场等，这样就会引起场景表面的不连续性或使得立体匹配出现错误。

发明内容

针对现有技术存在的问题，本发明提供基于平面与空间信息融合的物体识别与重建方法，通过建立物体模型采样库以及将二维分类图以及三位视差图融合比较得到物体的空间与表面信息重建城市空间场景。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

基于平面与空间信息融合的物体识别与重建方法，包括：

A)建立城市物体的采样库；

B)对平面投影图像进行特征提取，分割及粗识别后得到二维分割图；

C)获取目标三维信息，得到三维视差图；

D)将二维分割图和三维视差图进行融合比较；

E)使用表面模型来纠正三维深度信息；

F)使用空间信息来纠正错误的二维信息，并对二维图像分割及匹配；

G)恢复物体表面信息。

进一步的，所述步骤B)对平面投影图像进行特征提取，分割及粗识别具体为：

首先使用Canny算法对图像进行特征点提取，然后利用Watershed或Grabcut算法找出具有相同纹理的区域或由边缘点组成的闭合曲线围成的区域，然后根据这些区域对图像进行粗识别。

进一步的，所述步骤C)获取目标三维信息，得到三维视差图具体为：

C1)对双目摄像头进行标定；

C2)对图像进行矫正；

C3)对图像特征进行匹配；

C4)计算视差图像。