[发明专利]驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备

权利要求书

1.一种驾驶场景下驾驶员眼动行为检测方法，其特征是：包括以下步骤：

采集驾驶过程视频；

对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

2.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。

3.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。

4.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。

5.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。

6.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：对构建的双通道卷积神经网络进行优化，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，卷积层之间使用SELU激活函数，使用最大池化实现降采样处理。

7.如权利要求6所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：利用优化后的卷积神经网络的反向传播优化网络整体参数。

8.一种驾驶场景下驾驶员眼动行为检测系统，其特征是：包括：

数据处理模块，被配置为对驾驶过程视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种驾驶场景下驾驶员眼动行为检测方法。

10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种驾驶场景下驾驶员眼动行为检测方法。