[发明专利]基于细微面部动作识别的驾驶员打哈欠检测方法

说明书

本发明提供了基于细微面部动作识别的驾驶员打哈欠检测方法，包括以下步骤：步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D‑LTS)以检测各种打哈欠行为，本发明通过关键帧提取算法提取细微动作的关键帧，然后通过建立的3D‑LTS网络，提取时空特征和检测各种面部细微动作；在识别率和整体性能方面优于现有方法，能有效区分打哈欠和其他面部细微动作，有效降低了驾驶员打哈欠行为的误检率。

技术领域

本发明涉及计算机视觉技术领域，具体为基于细微面部动作识别的驾驶员打哈欠检测方法。

背景技术

智能驾驶包括提供预警信号，监控和协助车辆控制是近年来改善道路安全的热门研究话题。每年有数千人因驾驶员在车上睡着而死亡或严重受伤。道路安全受到驾驶员疲劳的严重威胁。美国国家公路交通安全管理局进行了调查，结果显示超过三分之一的受访者承认在驾驶时经历过疲劳。在疲劳驾驶事故中，10％的人承认他们在过去一个月和过去一年中发生过此类事故。研究人员发现，驾驶员疲劳导致了22％的交通事故。在没有任何警告的情况下，驾驶疲劳导致碰撞或接近碰撞的可能性是正常驾驶的六倍。因此，研究识别驾驶员疲劳的方法对于提高道路安全性非常重要。在过去的几十年中，提出了许多驾驶员疲劳检测方法，以帮助驾驶员安全驾驶并提高交通安全性。疲劳驾驶中驾驶员的行为特征包括眨眼，点头，闭眼和打哈欠。在这些行为中，打哈欠是疲劳表现的主要形式之一。因此，研究人员对打哈欠检测做了大量研究。与传统的全身动作识别相比，面部动作可以被视为细微的脸部动作。

虽然许多研究人员提出了不同的方法来检测打哈欠，但他们仍然面临着巨大的挑战。由于在真实驾驶环境中复杂的驾驶员面部动作和表情，现有方法难以准确、稳健地检测打哈欠，特别是当有一些面部动作和表情的嘴部形变和打哈欠类似，极易发生错检。因此，面对驾驶环境的新特点、新挑战，如何快速而又准确的进行驾驶员打哈欠行为检测是我们需要研究的课题。

发明内容

本发明的目的为解决已存在的驾驶员打哈欠行为检测算法无法有效区分一些特殊的打哈欠和类打哈欠行为的问题，比如唱歌时打哈欠等特殊打哈欠行为，大声喊叫等类打哈欠行为，提出基于细微面部动作识别的驾驶员打哈欠检测方法。

为实现上述目的，本发明提供如下技术方案：基于细微面部动作识别的驾驶员打哈欠检测方法，包括以下步骤：

步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；

步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；

步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。

进一步的，所述对车载摄像机捕捉到的驾驶员驾驶视频进行预处理包括：采用Viola-Jones人脸检测算法进行驾驶员人脸区域的检测，分割出驾驶员面部区域，采用快速中值滤波法进行去噪处理。

进一步的，所述关键帧提取算法从一系列原始的视频帧F＝{F_j，j＝1，…，N}中提取一系列关键帧K＝{K_i，i＝1，…，M}；其中M表示从原始帧中选择的关键帧的数量，N表示原始帧的数量，所述关键帧提取算法包括两个选择阶段：

在第一选择阶段，计算每个视频帧的RGB颜色直方图；然后，利用欧氏距离计算两个连续帧的颜色直方图γ_j和γ_j+1之间的相似度：

其中，1≤j≤N-1，n是图片颜色直方图的维度。