[发明专利]基于全方位计算机视觉的安全驾驶辅助装置

摘要

一种基于全方位计算机视觉的安全驾驶辅助装置，包括用于获取车内外全方位视频信息的全方位视觉传感器、用于检测各种疲劳驾驶并有疲劳驾驶情况发生时提供报警的安全驾驶辅助控制器，所述的全方位视觉传感器安装在车内驾驶座的右方；所述的全方位视觉传感器输出连接安全驾驶辅助控制器，检测出驾驶员的面部的状态、眼部的状态、嘴巴的状态、方向盘的状态、监视车辆行驶方向、监视车辆行驶速度等状态，在检测到有驾驶疲劳现象发生时对驾驶员实施报警。本发明综合检测驾驶疲劳状态的特征参数，判别精度高，提高了测量精度。

主权项

1、一种基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助装置包括用于获取车内外全方位视频信息的全方位视觉传感器、用于检测各种疲劳驾驶并有疲劳驾驶情况发生时提供报警的安全驾驶辅助控制器，所述的全方位视觉传感器安装在车内驾驶座的右方；所述的全方位视觉传感器输出连接安全驾驶辅助控制器，所述的全方位视觉传感器包括用以反射车内外领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体和用于拍摄外凸反射镜面上成像体的摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面的底部中央，所述摄像头对着外凸折反射镜面朝上；所述的安全驾驶辅助控制器包括：检测领域分割模块，用于将从全方位视觉传感器获取的全方位视频信息分割为车辆前方视角、驾驶座位视角、方向盘视角的视频透视图像；脸部定位模块，用于对驾驶员的人脸定位，人脸肤色在CrCb色度空间服从二维高斯分布，该肤色分布模型的概率密度函数用公式(4)表示，$f(x1,x2)=\frac{1}{2\pi {\left|C\right|}^{1/2}}\exp \{-\frac{1}{2}{(X-\mu )}^T{C}^{-1}(X-\mu )\}...\left(4\right)$ 其中，μ＝(Cr，Cb)T＝(156.560，117.436)T，该向量中的两个值分别指的是颜色分量Cr、Cb的均值，C是Cr、Cb的协方差矩阵，用公式(5)表示，$C=\left[\begin{array}{cc}{\sigma }_{\mathrm{rr}}^2& {\sigma }_{\mathrm{rb}}\\ {\sigma }_{\mathrm{br}}& {\sigma }_{\mathrm{bb}}^2\end{array}\right]=\left[\begin{array}{cc}160.130& 12.143\\ 12.143& 299.457\end{array}\right]...\left(5\right)$ 其中，σrr 2、σbb 2分别是Cr、Cb的方差，σrb、σbr分别是Cr、Cb的协方差；根据肤色的高斯分布模型，计算人脸图像中所有像素点的颜色与肤色的相似度，取相似度的计算公式为，P(Cr，Cb)＝exp{-0.5(X-μ)TC-1(X-μ)} (6)X＝(Cr，Cb)T (7)其中，X＝(Cr，Cb)T为像素在Cr、Cb色度空间中的向量，C、μ取值与上述的(4)、(5)式相同；在计算出相似度值后，利用归一化的方法将相似度转化为0～255之间的灰度值，得到驾驶座位视角图像的灰度图；利用设定的阈值对灰度图进行二值化处理，肤色区域变成全白，其余部分变成全黑；并利用图像灰度直方图做图像的水平投影图来获取所提取区域在垂直方向上的顶部和底部的极大值；做垂直投影图来获取所提取区域在水平方向上的左侧和右侧的极大值；设人脸长为h、宽为w，根据人脸的尺寸约束，如满足人脸长宽比0.8≤h/w≤1.5的条件，确认为该区域为人脸定位图像；嘴唇定位和打哈欠检测模块，用于定位驾驶员嘴唇以及检测驾驶员打哈欠，对人脸定位图像中的红色像素点进行水平投影和垂直投影，确定此区域为嘴部区域，水平投影两相邻波谷间的最长距离为嘴唇的长度，竖直投影中两相邻波谷的最大距离为嘴唇的宽度；并依次定义嘴唇处于闭合状态、张开状态时的嘴唇特征点：左右嘴角点、上嘴唇中心最上点、上嘴唇中心最下点、下嘴唇中心最上点、下嘴唇中心最下点；将上嘴唇中心最上点与下嘴唇中心最下点的距离hm与嘴巴长度Wm的比，根据嘴模型定义为嘴张开程度的参数Doom，如公式(32)所示：${\mathrm{Doo}}_m=\frac{h_m}{W_m}...\left(32\right)$ 设定持续一段时间的较大的嘴张开状态成立时判定打哈欠发生，如公式(33)所示：∑φ(Doom)≥β (33)其中，$\phi \left({\mathrm{Doo}}_m\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_m\ge \alpha \\ 0& {\mathrm{Doo}}_m<\alpha \end{array}\right....\left(34\right)$ 定义一次打哈欠持续时间为哈欠开始到哈欠结束的时间，用公式(35)来表示：Ty＝t2-t1 (35)即连续的嘴张开程度大于或等于α的时间间隔，当发现有一次打哈欠，则统计在一段时间中打哈欠的次数或者持续时间，用公式(36)来进行统计：$\mathrm{Total}=\underset{t}{\overset{t+\mathrm{tn}}{\Sigma }}{T}_y...\left(36\right)$ 疲劳驾驶测评和报警模块，用于根据预设的一段时间那打哈欠的次数或持续时间域值，如测得的次数或持续时间大于设定域值，判定为疲劳驾驶，并向报警装置发出告警指令。