[发明专利]一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜

说明书

本发明公开了一种基于RGB‑D相机和立体声的视障人士斑马线检测眼镜。该眼镜利用RGB‑D相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器根据深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域。本方法最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助，可以很好地满足视障人士预知斑马线的需求。

技术领域

本发明属于视障人士辅助技术、三维环境感知技术、斑马线检测技术、立体声交互技术领域，尤其涉及一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜，利用RGB-D相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域，最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助。

背景技术

根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。尤其是路口的通行，寻找斑马线区域，安全地过马路是视障人士的一大痛点。

传统的视障人士过马路辅助方法，通过听路口处红绿灯的变化的声音，以及听路口车辆通过的声音来猜测斑马线区域，这种判断是极其不准确的，而且很多路口的红绿灯声音播报系统损坏，无法给视障人士提供帮助。

导盲犬可以为视障人士过马路提供帮助，但导盲犬在过马路时比较迅速，难以照顾到视障人士精确定位斑马线区域的需求。导盲犬的养护、训练费用高昂，普通家庭难以承担。另外很多城市的导盲犬培训是不合格的，对视障人士的帮助有限。

基于彩色相机的斑马线检测，有很大概率被空中物体等所干扰，斑马线检测的准确性有限，而且也不能获知斑马线区域的精确距离和方位，对视障人士的帮助有限。

传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜。

本发明的目的是通过以下技术方案实现的：一种基于RGB-D相机和立体声的视障人士斑马线检测眼镜，所述眼镜包含眼镜本体、以及固定在眼镜本体上的一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块和一个电池模块。所述RGB-D相机固定在眼镜镜片上方，两个骨传导震动模位于两个镜脚中间偏后处，贴合盲人耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连。RGB-D相机实时地采集三维场景的彩色图像和深度图像。姿态角传感器实时获取RGB-D相机的姿态角。小型处理器对RGB-D相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块。骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块。最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向。

上述眼镜的斑马线检测方法如下：