[发明专利]一种基于深度学习的疲劳驾驶预警方法在审
申请号: | 201910036657.6 | 申请日: | 2019-01-15 |
公开(公告)号: | CN109902560A | 公开(公告)日: | 2019-06-18 |
发明(设计)人: | 庄千洋;张克华;王佳逸;陈倩倩;朱苗苗;丁璐 | 申请(专利权)人: | 浙江师范大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04 |
代理公司: | 杭州华鼎知识产权代理事务所(普通合伙) 33217 | 代理人: | 项军 |
地址: | 321004 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积神经网络 疲劳驾驶预警 检测 矩阵 模板匹配技术 人脸检测技术 实时状态数据 报警声音 变化数据 类别数据 模板计算 疲劳参数 疲劳状态 人眼检测 人眼图像 视频识别 损失函数 系统判断 眼睛区域 运行效率 开合度 帧检测 最小化 人眼 输出 学习 保存 概率 | ||
1.一种基于深度学习的疲劳驾驶预警方法,其特征在于包括如下步骤:
步骤S1:采用红外摄像头对驾驶员图像进行采集作为训练数据集,通过人脸检测技术提取图像中驾驶员人脸区域;
步骤S2:根据人体生物学特征,将人脸区域按照1/2长和1/2宽进行划分4个区域,驾驶员右眼处于右上角区域,截取右上角区域图像,通过人眼检测技术,对截取图像进行人眼区域进一步截取;
步骤S3:将提取人眼区域保存为模板,通过模板在人脸右上角区域的由左向右,由上至下滑动,寻找图像与模板最相似区域,其中在每个位置都进行一次度量计算来表明模板和人脸右上角区域图像该位置子图之间的相关系数,其公式为:
其中,R(i,j)表示模板与人脸右上角区域图像(i,j)位置子图的相关系数,Sij(m,n)表示子图(m,n)坐标的像素值,T(m,n)表示模板(m,n)坐标的像素值;截取该区域包含人眼特征图像,该图像分辨率为20*20,,作为深度神经网络输入;
步骤S4:根据步骤S3所截取的分辨率为20*20的人眼图像,依据眼睛开闭状态生成训练数据集,通过训练数据集输入到深度卷积神经网络模型,采用随机梯度下降算法的扩展式Adam对模型进行训练,得到深度人眼状态检测模型,其中,深度卷积神经网络采用1层数据层,4层卷积层,2层池化层以及2层全连接层,在训练过程中,损失函数定义为:
a=softmax(σ(z))=softmax(∑jwj*xj+b) (15)
其中y表示期望输出,a表示神经元实际输出,wj表示第j个神经元权重,xj表示第j个神经元值;
步骤S5:通过红外摄像头采集驾驶员实时图像数据,通过人脸检测、人眼检测、模板匹配、深度人眼状态检测模型判别,得到驾驶员实时人眼状态数据;
步骤S6:通过步骤S5记录的疲劳驾驶状态数据,计算驾驶疲劳参数PERCLOS值:根据红外摄像头采集速率,获得一分钟之内人眼状态总帧数和闭眼状态帧数,PERCLOSE计算公式为:
当PERCLOS值大于0.1且小于0.3时,则系统判断驾驶员处于轻度疲劳,输出轻度疲劳报警,当PERCLOS值大于0.3时,则系统判断驾驶员处于中度疲劳,输出中度疲劳报警。
2.根据权利要求1所述的一种基于深度学习的疲劳驾驶预警方法,其特征在于:所述步骤S1中人脸识别技术是采用Haar人脸分类器识别方法,获取人脸位置信息。
3.根据权利要求2所述的一种基于深度学习的疲劳驾驶预警方法,其特征在于:所述步骤S2中人眼检测技术采用Haar人眼分类器识别方法,获取人眼位置信息。
4.根据权利要求3所述的一种基于深度学习的疲劳驾驶预警方法,其特征在于:所述步骤S1、步骤S2所训练的人脸特征分类器和人眼特征分类器,其训练弱分类器Gm的分类误差公式为
其中,wm,i表示在训练第m个弱分类器第i个样本所占的权重,Gm(xi)表示第m个弱分类器对样本xi的预测值,yi表示第m个弱分类器样本xi的真实值,I(Gm(xi)≠yi)表示样本xi的预测值Gm(xi)与样本xi真实值yi不相等的值;
计算Gm(x)在强分类器中所占比重为
更新训练数据集的权值分布为
其中zm表示归一化因子,
最终强分类器为
5.根据权利要求1至4中任意一项所述的一种基于深度学习的疲劳驾驶预警方法,其特征在于:所述步骤S1中深度卷积神经网络最后一个全连接层输出各个类别概率值定义如下:
identity(y)=argmax(Pi) (11)
其中,Pi表示属于等i个类别的概率值,Zi神经元计算值,identity(y)表示测试样本y的分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江师范大学,未经浙江师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910036657.6/1.html,转载请声明来源钻瓜专利网。