[发明专利]一种基于双视角视频数据的驾驶员姿态识别方法

权利要求书

1.一种基于双视角视频数据的驾驶员姿态识别方法，其特征在于，包括以下步骤：

(1)使用双视角摄像头采集驾驶员驾驶视频数据；

(2)基于Python-OpenCV库将所述视频数据转化为图片数据，并基于时间轴进行双视角图像数据匹配，形成双视角图像数据；

(3)将驾驶动作进行分解，提取视线偏移状态量V、持续性状态量C和短暂性状态量T，对双视角图像进行标签化处理，通过叠加状态量实现驾驶动作识别，并对图像冗余数据进行剪切和压缩，形成双视角图片数据集；

(4)剪切冗余数据的单视角图像，构建小型卷积神经网络识别视线偏移量V；

(5)基于网络轻型化技术，构建多输出轻型卷积神经网络识别短暂型状态量C和持续型状态量T；

(6)联合步骤(4)和(5)中的模型，构建联合识别网络模型，综合驾驶状态量，实现驾驶姿态识别；

(7)分析驾驶状态在时间轴上的排列，实现驾驶动作的识别。

2.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(1)具体包括如下步骤：

(a)根据车型及驾驶舱环境确定双视角摄像头固定位置，确保两个视角覆盖驾驶员上半身区域，确保观察到手部和头部的运动状态；

(b)采集驾驶员的双视角驾驶视频数据。

3.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(2)具体包括如下步骤：

(a)利用OpenCV库，基于python程序语言，将视频数据转换为图片数据；

(b)将所述图片数据根据时间轴按顺序一一匹配，获得双视角图像数据。

4.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(3)具体包括如下步骤：

(a)将驾驶员动作进行分解，提取视线偏移状态量V、持续性状态量C和短暂性状态量T，通过三个状态量的叠加组合，实现驾驶动作的描述；

(b)根据所述三个状态量，对双视角图像进行标签化处理，形成标签化的双视角图像数据集；

(c)对所述标签化的双视角图像进行冗余数据剪切和压缩，形成双视角图像数据集，所述双视角图像数据集包括短暂和持续型状态量数据集及视线偏移数据集。

5.根据权利要求1或4所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(4)具体包括如下步骤：

(a)对视线偏移数据集作进行裁剪，仅保留涉及头部信息的关键区域信息，得到视线偏移数据集；

(b)使用小型卷积神经网络模型实现视线偏移检测；

(c)随机选取所述视线偏移数据集的1％-30％为测试集，剩余70％-99％的数据集为训练集，对模型进行训练，实现视线偏移量V的输出。

6.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(5)具体包括如下步骤：

(a)分析(1×1)卷积、深度可分离卷积和非对称卷积，提出宽视野单元Block_A1、宽视野单元Block_A2和深视野单元Block_B结构，基于轻型化策略构建多任务网络模型；

(b)选用短暂和持续型状态量数据集进行模型训练，实现持续型状态量C和短暂型状态量T的识别。

7.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(6)具体包括如下步骤：

(a)将步骤(4)和(5)中的两个模型进行联合，设计联合识别模型；

(b)将输出的视线偏移状态量V、持续性状态量C和短暂性状态量T三个状态量识别结果，进行组合叠加分析，实现驾驶姿态识别。

8.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法，其特征在于，步骤(7)具体包括如下步骤：

系统每秒识别g张图片，连续识别T秒，若某一状态量连续出现超过t_i秒，则认为出现了该状态量对应的动作量，其中，g为超参数，表示从每秒从视频中提取的图片张数，小于视频的每秒帧数；t为状态i对应的判别阈值，即T时间内容，动作i持续出现超过t_i秒，则表示出现了该状态量对应的动作量。