[发明专利]驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备

说明书

本公开提供了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，采集驾驶员驾驶视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果，投入成本低且不需要复杂的模型参数，具有非常好的应用前景。

技术领域

本公开属于汽车自动控制处理领域，具体涉及一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着经济的发展，汽车的数量越来越多，这就使得道路拥挤变得越来越严重，交通事故发生率越来越高，中国每年大约发生数十万起交通事故，伤亡人数达百万，驾驶员注意力不集中是导致交通事故发生的主要原因，比如在驾驶过程中使用智能手机、操作汽车中央控制系统、与乘客交谈等任何使驾驶员的注意力从驾驶任务转移的活动都会导致驾驶员注意力不集中。而这些活动有一个共同点就是使驾驶员的眼睛从驾驶任务中转移，因此，如果我们能够在驾驶场景下检测出驾驶员的眼动行为，并根据驾驶员的眼动行为分析出驾驶员注意力的状态，对驾驶员注意力不集中的行为及时做出警示，那么就可以避免交通事故的发生，减少伤亡人数。

据发明人了解，目前，国内外学者已经提出的眼动行为检测方法大致分为两种，一种是基于特征的方法，即在分析瞳孔中心与角膜上的光线反射点之间的关系来检测眼动行为，这种方法，依赖于用户校准和手动初始化，并对阳光等可见光非常敏感，而在驾驶场景下，阳光等可见光对车内照明的影响又不可避免，头戴式眼动仪大多采用这种方法，头戴式眼动仪在眼动行为检测中能够准确识别出人的注视点，但是它成本高，使用过程中需要佩戴相关硬件设施，在一定程度上会影响驾驶员的驾驶行为，所以这种方法应用于驾驶环境下的眼动行为检测存在局限性。另一种是基于外观的方法，基于外观的眼动行为检测方法是采用深度学习算法获取相关图片的特征，来建立图片与注视点之间的关联，深度学习的优点在于能够通过自我学习来提取特征，并以较高的准确率识别目标。这种方法不依赖于用户校准以及手动初始化，受阳光等可见光的影响较小，并且成本较低，比较适合应用在驾驶环境下的眼动行为检测。虽然，深度学习在大多数计算机视觉任务中发挥着重要的作用，但是实际运用在驾驶场景下眼动行为检测方向的情况少之又少，已经提出的驾驶场景下驾驶员眼动行为检测模型的大部分是用已有网络训练得出，不具有针对性，并且模型参数过于复杂。

发明内容

本公开为了解决上述问题，提出了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，本公开的投入成本低且不需要复杂的模型参数，具有非常好的应用前景。

根据一些实施例，本公开采用如下技术方案：

一种驾驶场景下驾驶员眼动行为检测方法，包括以下步骤：

采集驾驶过程视频；

对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

作为可能的实施方式，利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。

作为可能的实施方式，截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。

作为可能的实施方式，将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。