[发明专利]一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜

摘要

本发明公开了一种基于RGB‑D相机和立体声的视障人士斑马线检测眼镜。该眼镜利用RGB‑D相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器根据深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域。本方法最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助，可以很好地满足视障人士预知斑马线的需求。

主权项

1.一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜，所述眼镜包含眼镜本体、以及固定在眼镜本体上的一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块和一个电池模块；所述RGB-D相机固定在眼镜镜片上方，两个骨传导震动模块位于两个镜脚中间偏后处，贴合视障人士耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连；RGB-D相机实时地采集三维场景的彩色图像和深度图像；姿态角传感器实时获取RGB-D相机的姿态角；小型处理器对RGB-D相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块；骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块；最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向；所述眼镜通过以下方法对视障人士进行智能辅助：/n(1)对RGB-D相机进行一次相机标定，获取RGB-D相机的焦距f，主点位置(c_x,c_y)；/n(2)RGB-D相机采集三维场景的深度图像Depth和彩色图像Color；/n(3)姿态角传感器采集RGB-D相机X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z；/n(4)USB集线器将深度图像Depth，彩色图像Color，三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器；/n(5)小型处理器根据深度图像Depth，RGB-D相机的焦距f，主点位置(c_x,c_y)，可计算出每一点在相机坐标系下的三维坐标(X_c,Y_c,Z_c)；深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(X_c,Y_c,Z_c)可由公式(1)计算出：/n /n(6)根据深度图像中每一点在相机坐标系下的三维坐标(X_c,Y_c,Z_c)，以及姿态角传感器三轴方向的转角分布为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(X_w,Y_w,Z_w)：/n /n(7)三维场景中的每一点到RGB-D相机所在水平面的高度值H可由该点世界坐标系下的三维坐标的分量Y_w表示；/n(8)通过深度图像Depth中所有点的分量Y_w对各个点进行识别,Y_w在(H₀-Δh,H₀+Δh)内则表示该点为地面上的点,否则为非地面点；其中，H₀为RGB-D相机到水平面的竖直高度，Δh为0.1米；将彩色图像Color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像Color_G，即去除空中物体对斑马线检测的干扰；/n(9)对只留下地平面上的点的彩色图像Color_G均分成大小为M×N的小块，且M、N均大于斑马线的宽度；/n(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分；第一部分的像素灰度低于阈值，这些像素的平均灰度为μ₁，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ₂，占所有像素的比例为1-α；小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：/n /n双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案；/n(11)对每个小块，如果双极系数γ大于阈值threshold，该阈值的取值范围通常为0.85～0.95，则这一小图像块为斑马线的候选区域；/n(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块，即不与其他候选区域连通的小块，连通的小块形成一整块斑马线区域；/n(13)根据该斑马线区域中每一点的三维坐标(X_w,Y_w,Z_w)，可获得斑马线区域到视障用户的距离和斑马线区域的方向角θ；由斑马线区域中所有点的平均深度表示，斑马线区域的方向角θ由斑马线区域中点的平均水平坐标与平均深度之商的反正切表示，即/n(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度Volume越大；该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应；/n(15)小型处理器将立体声信号传给骨传导耳机模块；/n(16)骨传导耳机模块将立体声信号转为骨传导震动信号；/n(17)骨传导震动模块将骨传导信号传递给视障用户。/n