[发明专利]一种智能识别司机睡意动作的方法

说明书

本发明提供一种智能识别司机睡意动作的方法，包括以下步骤：步骤一：获取司机驾驶过程中的视频流；步骤二：对所述视频流进行预处理，得到该视频流的灰度图像信息和光流图像信息；步骤三：以所述灰度图像信息和光流图像信息作为睡意动作识别模型的输入，从而得到司机的睡意动作。本发明将光流图像也作为睡意动作检测模型的输入,由于光流图像中保存了物体的运动信息，从而使得检测的准确率进一步得到提高。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种智能识别司机睡意动作的方法。

背景技术

近年来，深度学习在各种应用中都表现出了优异的性能。CNN，也被称为二维卷积神经网络(2D-CNN)，是图像识别和分类中最强大的深度学习算法之一。在困倦检测领域，Zhao等提出了一种基于CNN的睡意检测方法。他们从一幅图像中提取出人脸区域，并使用提出的CNN模型，根据眼睛的状态对这些图像进行分类，然后根据PER-CLOS值确定受试者是否有睡意。通过使用CNN进行特征提取，睡意检测的准确性得到了显著提高。但是，由于2D-CNN只对图像的宽度和高度进行卷积，不包含时间特征，因此仍然存在局限性。也就是说，2D-CNNs没有考虑到包含在连续帧序列中的运动信息。当司机经常打哈欠或打盹时，就表示司机产生了睡意。这些动作是动态的，不能在单一图像中反映出来，而2D-CNN只能确定司机的静态状态。然而，闭眼状态可能是司机正常眨眼的图像，也可能是司机慢速眨眼动作中的一帧，这里的慢速眨眼代表司机因疲劳而使眨眼速度变慢或直接闭上眼睛睡着时的状态。与正常眨眼相比，慢眨眼时的闭眼状态持续时间更长，这在二维图像中没有反映出来。为了从连续帧序列中提取时间特征，因此，提出了一种三维卷积神经网络(3D-CNN)，该网络将时空信息集成到单个模型中，以捕捉时空维度上的区分特征。然而，该三维卷积神经网络检测的精度不够高。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供一种识别精度更高的智能识别司机睡意动作的方法。

一种智能识别司机睡意动作的方法，包括以下步骤：

步骤一：获取司机驾驶过程中的视频流；

步骤二：对所述视频流进行预处理，得到该视频流的灰度图像信息和光流图像信息；

步骤三：以所述灰度图像信息和光流图像信息作为睡意动作识别模型的输入，从而得到司机的睡意动作。

进一步地，如上所述的智能识别司机睡意动作的方法，步骤二中所述预处理包括：

步骤2-1：以一定的时间间隔将所述视频流分割为若干视频片段；

步骤2-2：按帧提取所述视频片段的图像信息，并将每一帧图像信息分别进行转换，得到灰度图像序列；

步骤2-3：根据相邻帧之间的光流，计算两帧之间的光流信息，从而得到光流图像序列。

进一步地，如上所述的智能识别司机睡意动作的方法，步骤2中所述时间间隔为每隔3秒截取视频片段。

进一步地，如上所述的智能识别司机睡意动作的方法，每一帧图像大小为224×224。

进一步地，如上所述的智能识别司机睡意动作的方法，所述司机的睡意动作包括：正常驾驶、点头、缓慢眨眼、打哈欠。

进一步地，如上所述的智能识别司机睡意动作的方法，所述睡意动作识别模型包括：依次连接的卷积层、池化层、全连接层、softmax分类器；

其中，所述卷积层包括4个，第一个卷积层包含8个卷积核，每个卷积核的大小为3×3×3；第二个和第三个卷积层有16个卷积核，第四个卷积层有8个卷积核；

全连接层包括两个，分别为fc1全连接层和fc2全连接层；所述fc1全连接层的神经元为23520个，fc2全连接层的神经元为64个。

有益效果：