[发明专利]平面动态检测系统及检测方法

说明书

本发明提供了一种平面动态检测系统及检测方法，一惯性传感器可持续取得一惯性数据，一深度摄像机可于一观视范围内持续取得实体物件(例如平面或地面)的一深度影像，而一运算装置经组态可持续判断惯性传感器所取得的加速度及角速度是否超出一阈值，以判断惯性传感器本身或其所搭载装置的运动状态，其中，运算装置可依据加速度、深度影像坐标、深度值及内参矩阵，初始化或持续更新惯性传感器于稳定状态时，实体物件于摄像机坐标系中的一平面方程式，也可透过VIO演算法取得深度摄像机的位姿信息，以持续修正惯性传感器于快速移动时的平面方程式。

技术领域

本发明涉及计算机视觉技术，尤指一种可参考深度影像、彩色影像及惯性数据，以达成准确检测平面及动态更新平面于三维空间中的相对位置的「平面动态检测系统及检测方法」。

背景技术

为了于需要3D信息的应用(例如AR/VR服务)提供更为真实的互动效果，检测现实中的平面即相当关键，若以检测属于地面的平面为目标，则检测地面的方法可以为：(a)假设地面为最大的平面并利用RANSAC(Random Sample Consensus，随机取样)演算法，或是利用Hough Transform(霍夫转换)演算法找到三维空间中最大的平面，并定义其为地面；(b)假设地面在影像中各扫描线(scan line)上的Z值为最大，并于修正摄像机姿态(rollrotation)后以影像中Z值最大且符合C曲线(fit curve C)的像素集合，定义其为地面。

然而在许多情况下，前述(a)方法所假设的最大平面往往并非地面(例如影像中的最大平面可能为走廊的墙面)，而可能发生RANSAC或HoughTransform演算法判断错误的情形，并且，RANSAC演算法具备正确资料(inliers)至少需要占50％以上的限制，HoughTransform演算法也相当耗时；前述(b)方法也可能发生影像中Z值最大且符合C曲线的像素集合，其并非是地面的情形。

再者，无论利用何种方法检测影像中的平面，在深度传感器(如深度摄影机)获取深度影像后，依照点云库(Point Cloud Library，PCL)的常规熟知作法，皆需将深度传感器取得的每个像素(pixel)，先后与一摄像机投影反矩阵(inverse camera matrix)及一深度值作矩阵乘法运算，以转换成点云(Point Cloud)坐标系中的多个三维坐标，即如本项关系式所示：其中，为点云坐标系中的三维坐标，Z为深度值，K^-1为摄像机投影反矩阵，而K通常为一内部参数(内部参数为深度传感器的固有性质参数，主要有关于摄像机坐标与影像坐标间的转换关系)，为深度影像于中每个像素的影像坐标(其处于影像坐标系)；其后，再令此些三维坐标的特征点集合以点云的型态呈现，接着，再以前述(a)或(b)等方法检测点云影像中的平面，但前述对每个像素均作矩阵乘法的方式，计算量相当庞大而有不佳的计算效能。

综上可知，常规熟知检测三维空间中平面的作法，针对不同的平面类型(例如地面、墙面等平面)，须先作强烈假设而可能有平面类型误判的问题，同时也有计算效能不佳的缺点，依此，如何提出一种可更准确检测平面、更节省计算资源的「平面检测系统及检测方法」，乃有待解决的问题。

发明内容