[发明专利]一种基于双目相机的实时台阶检测方法

摘要

本发明公开了一种基于双目相机的实时台阶检测方法。通过双目相机采集的两幅图像的视差获得图像的深度信息，并结合九轴陀螺仪(重力加速度，陀螺仪，磁力计)将相机坐标系下的深度信息重建为世界坐标系下的三维点云，通过平面拟合方法分割由道路组成的点云和其它点云，再对由道路组成的点云进行平面拟合，判断道路是平坦的还是由台阶组成的。本发明能实时地检测上台阶、下台阶以及其离用户距离，可以帮助有视力障碍的人(盲人，视力低下者)上下台阶，保证其人身安全；本发明采用被动式探测，功耗低，不会干扰到他人，并且全面考虑了各种实际环境中可能遇到的干扰因素，具有速度快，精度高，性价比高等优点。

主权项

1.一种基于双目相机的实时台阶检测方法，其特征在于，包括以下步骤：(1)利用双目相机采集周围环境的灰度图像和深度图像；利用九轴陀螺仪获取双目相机坐标系到世界坐标系的变换关系。(2)对于深度图像中纹理缺失、视野遮挡以及双目相机本身的缺陷造成的深度图缺失，利用周围的深度信息的均值填补缺失的深度。然后用均值滤波平滑深度图的噪声。(3)利用深度图像，通过双目相机的深度图以及相机参数计算得到相机坐标下的三维点云。根据所述步骤(1)得到的变换矩阵计算世界坐标系下的三维点云。(4)世界坐标系下的三维点云分割成点云块，具体为：将灰度图像均匀地分割成大小相同的矩形块，矩形块矩阵分布；每个矩形块中的各个像素对应的三维点云组成点云块。(5)将每一个点云块用RANSAC平面拟合法拟合出点云块所属平面。如果拟合的点云数少于点云块点云总数的30％，则不认为其是一个平面，否则认为其是平面；对于拟合出的平面，计算出其法向量(v′x,v′y,v′z)，并计算出点云块距离地面的平均高度h。(6)若该点云块是平面且平面法向量与地平面的法向量(0,0,1)夹角小于20度，并且h满足h≤40cm，则认为该点云块属于地面，否则认为其不属于地面。(7)将属于地面的点云块根据距离相机远近对点云进行升序排序，共N行，相同距离的点云块排设于同一行；将前N/4行的点云块采用RANSAC平面拟合方法进行平面拟合得到拟合平面。(8)对于前N/4行的点云块，由近到远进行逐行遍历，计算每一行中的点云块到平面的平均距离。若距离小于20mm，认为该行点云属于当前平面，否则不属于当前平面。(9)若所有行的点云块都属于当前平面，则地面平坦，无台阶。若第n行的点云不属于当前平面，则对n～N行的所有点云块按照RANSAC平面拟合方法进行重新平面拟合，得到二次拟合平面；(10)计算二次拟合平面中第n行的拟合高度与步骤5得到的拟合平面中第n‑1行的拟合高度之差，若高度差大于50mm，则该处为台阶，并根据步骤2处理后的深度图，获得该台阶与双目相机之间的距离。