[发明专利]基于多维语义映射RGBD多相机标定方法、系统及应用

说明书

本发明属于图像处理和计算机视觉技术领域，公开了一种基于多维语义映射RGBD多相机标定方法、系统及应用，采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；基于RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像，获取RGBD多相机之间的初始位姿；然后，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；最后，采用ICP算法得到RGBD多相机之间的精确位姿。本发明具有较高的标定精度，能够在复杂场景下实现RGBD多相机的精确标定。

技术领域

本发明属于图像处理和计算机视觉技术领域，尤其涉及一种基于多维语义映射RGBD多相机标定方法、系统及应用。

背景技术

随着小型化、低成本以及高性能的视觉设备出现及发展，给生活带来极大的便捷。其中，最具代表的一类视觉设备是RGBD相机(如：微软的Kinect、Intel的RealSense以及Asus Xtion Pro Live)。RGBD相机不仅能提供彩色图像，还能提供对应场景的深度图像，并且深度精度范围从几毫米到几厘米。因此，吸引了越来越多研究员使用RGBD相机来解决特定视觉问题并取得了不错成果。当前主要的应用场景包括：利用RGBD相机实时重建静态场景以及动态场景来生成全息交互视频；将其深度测距传感器应用到机器人导航领域，来帮助机器人感知环境；结合深度传感器应用到运动捕捉，来避免从彩色图像中获取运动信息难问题等等。由于RGBD相机成本低，以及RGBD多相机能够填补遮挡区域、增大相机的空间覆盖范围等特性，越来越多的研究使用RGBD多相机来解决上述问题。使用RGBD多相机解决视觉问题，前提需要能够精确标定出相机之间的位姿关系。因此，RGBD多相机之间位姿的精确标定，成为了计算机视觉和模式识别领域研究的热点技术之一。

尽管RGBD多相机标定长期以来受到了学业界和产业界的广泛关注，但精确标定RGBD多相机之间位姿仍然是一个非常具有挑战性的问题。根据RGBD多相机标定方法的不同，当前研究主要分为两类方法：第一类基于不同场景特征的RGBD多相机标定方法。基于不同场景特征的方法主要是选取便于鲁棒提取标志物的特征来对RGBD多相机进行标定。2014年Li等人提出了基于人体关节点的RGBD多相机标定方法。该方法首先通过关节点提取算法获得每个RGBD相机视角下人体的三维关节点，然后根据骨架特性进行每个相机的数据关联，最后求解出RGBD多相机到的内参。2015年Aaron等人提出基于移动单个球体的RGBD多相机内参和外参标定方法。该方法通过在深度图和彩色图使用目标检测和跟踪算法来得到球体的3D中心点坐标以及彩色图像上的像素坐标，根据提取得到的3D点和彩色图2D点来标定出RGBD多相机的内参和外参。这类基于不同场景的RGBD多相机标定方法，虽然可以得到RGBD相机的位姿，但是由于受到环境噪声的影响。该方法容易导致RGBD多相机关键点匹配错误问题，从而影响RGBD多相机的标定结果。第二类基于算法优化和改进的RGBD多相机标定方法。基于算法优化和改进的方法主要是对现有RGBD多相机算法进行改进和优化，来进一步提升标定的效果。2014年Afzal等人提出基于光束平差法和迭代最近点的联合算法BAICP+来求解RGBD多相机位姿。该方法通过结合二维视觉和三维形状信息，来联合最小化目标函数，从而得到RGBD多相机之间的位姿关系。BAICP+算法虽然可以标定出RGBD多相机之间位姿，但是算法在求解过程需要人为调整二维视觉和三维形状信息的权重。因此，该方法不便于在实际场景下对RGBD多相机进行标定。因此，当前存在的方法不能很有效、精确求解出RGBD多相机位姿关系。

通过上述分析，现有技术存在的问题及缺陷为：现有RGBD相机之间距离相差较大以及视角相差较大情况下RGBD多相机标定精度差。

解决以上问题及缺陷的难度为：

解决上述问题的难度在于通过结合RGBD相机能够同时获取彩色图和深度图的特性，以较小的计算复杂度来得到较鲁棒和准确的RGBD多相机标定结果。本文专利提出的基于多维语义映射的RGBD多相机标定方法，充分结合了RGBD相机的彩色图语义信息以及三维空间的深度信息，在较小的计算量情况下，得到较鲁棒和准确的RGBD多相机标定结果。