[发明专利]通过车对车连接警告驾驶员的异常状态的方法和装置

权利要求书

1.一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：

步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及

步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行的过程为，通过车对车通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。

2.根据权利要求1所述的方法，其特征在于，

在所述步骤(a)中，

所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个全连接运算，生成至少一个全连接输出值，(i-5)对所述全连接层的所述全连接输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述修正统计变换图像，使用自适应提升算法，根据从所述修正统计变换图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。

3.根据权利要求1所述的方法，其特征在于，

在所述步骤(a)中，

所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图和部分亲和字段提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。

4.根据权利要求3所述的方法，其特征在于，

所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。

5.根据权利要求3所述的方法，其特征在于，

所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。

6.根据权利要求3所述的方法，其特征在于，

所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。