[发明专利]一种基于双目相机的实时台阶检测方法

说明书

本发明公开了一种基于双目相机的实时台阶检测方法。通过双目相机采集的两幅图像的视差获得图像的深度信息，并结合九轴陀螺仪(重力加速度，陀螺仪，磁力计)将相机坐标系下的深度信息重建为世界坐标系下的三维点云，通过平面拟合方法分割由道路组成的点云和其它点云，再对由道路组成的点云进行平面拟合，判断道路是平坦的还是由台阶组成的。本发明能实时地检测上台阶、下台阶以及其离用户距离，可以帮助有视力障碍的人(盲人，视力低下者)上下台阶，保证其人身安全；本发明采用被动式探测，功耗低，不会干扰到他人，并且全面考虑了各种实际环境中可能遇到的干扰因素，具有速度快，精度高，性价比高等优点。

技术领域

本发明属于计算机视觉、机器学习技术领域，尤其是涉及了一种基于双目相机的实时台阶检测方法。

背景技术

根据世界卫生组织的数据，全世界约有2.85亿视障人士，其中仅全盲人士便多达3900万。视障人士由于缺失正常的视觉，无法有效地区分地上是否有台阶，对视障人士的出行造成了威胁。

目前，对台阶的检测大多基于雷达，但是雷达体积较大，功耗很大，难于做成穿戴式设备。基于图像的台阶检测都是基于灰度图的梯度或者深度的梯度，前者收到光线变化的影响，对环境的适应性较差。后者对深度图的准确度要求很高，消费级的深度相机性能根本难以满足其精度要求。

发明内容

本发明目的在于针对现有技术的不足，提供一种用于台阶检测方法。

本发明的目的是通过以下技术方案实现的：一种用于台阶检测方法，包括以下步骤：

(1)利用双目相机采集周围环境的灰度图像和深度图像；利用九轴陀螺仪获取双目相机坐标系到世界坐标系下的变换关系。

(2)对于深度图像中纹理缺失、视野遮挡以及双目相机本身的缺陷造成的深度图缺失，利用周围的深度信息的均值填补缺失的深度。然后用均值滤波平滑深度图的噪声。

(3)利用深度图像，通过双目相机的深度图以及相机参数计算得到相机坐标下的三维点云。根据所述步骤(1)得到的变换矩阵计算世界坐标系下的三维点云。

(4)世界坐标系下的三维点云分割成点云块，具体为：将灰度图像均匀地分割成大小相同的矩形块，矩形块矩阵分布；每个矩形块中的各个像素对应的三维点云组成点云块。

(5)将每一个点云块用RANSAC平面拟合法拟合出点云块所属平面。如果拟合的点云数少于点云块点云总数的30％，则不认为其是一个平面，否则认为其是平面；对于拟合出的平面，计算出其法向量(v′_x,v′_y,v′_z)，并计算出点云块距离地面的平均高度h。

(6)若该点云块是平面且平面法向量与地平面的法向量(0,0,1)夹角小于20度，并且h满足h≤40cm，则认为该点云块属于地面，否则认为其不属于地面。

(7)将属于地面的点云块根据距离相机远近对点云进行升序排序，共N行，相同距离的点云块排设于同一行；将前N/4行的点云块采用RANSAC平面拟合方法进行平面拟合得到拟合平面。

(8)对于前N/4行的点云块，由近到远进行逐行遍历，计算每一行中的点云块到平面的平均距离。若距离小于20mm，认为该行点云属于当前平面，否则不属于当前平面。

(9)若所有行的点云块都属于当前平面，则地面平坦，无台阶。若第n行的点云不属于当前平面，则对n～N行的所有点云块按照RANSAC平面拟合方法进行重新平面拟合，得到二次拟合平面；

(10)计算二次拟合平面中第n行的拟合高度与步骤5得到的拟合平面中第n-1行的拟合高度之差，若高度差大于50mm，则该处为台阶，并根据步骤2处理后的深度图，获得该台阶与双目相机之间的距离。

进一步地，利用九轴陀螺仪获取双目相机坐标系到世界坐标系下的变换关系具体为：