[发明专利]一种识别驾驶员行为的方法、装置及设备

权利要求书

1.一种识别驾驶员行为的方法，其特征在于，所述方法包括：

从原始车辆图像中提取驾驶员区域图像；

将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；

获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；

获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；

根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；

由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述驾驶员区域图像转换为灰度图像；

对所述灰度图像的各个像素点进行卷积计算，计算得到所述灰度图像的各个像素点的卷积计算值；

将所述灰度图像的各个像素点的卷积计算值的标准差确定为所述驾驶员区域图像的清晰度值；

所述将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型，包括：

当所述清晰度值大于第一阈值时，将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。

3.根据权利要求1所述的方法，其特征在于，所述从原始车辆图像中提取驾驶员区域图像，包括：

将原始车辆图像输入车辆位置检测模型，获得所述车辆位置检测模型输出的车辆位置信息，根据所述车辆位置信息从所述原始车辆图像中提取目标车辆图像；所述车辆位置检测模型为深度学习模型，是根据待训练原始车辆图像中的车辆位置信息训练得到的；

将所述目标车辆图像输入驾驶员位置检测模型，获得所述驾驶员位置检测模型输出的驾驶员位置信息，根据所述驾驶员位置信息从所述目标车辆图像中提取驾驶员区域图像；所述驾驶员位置检测模型为深度学习模型，是根据待训练目标车辆图像中的驾驶员位置信息训练得到的。

4.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，包括：

如果所述驾驶员区域图像中各个像素点对应的分类结果中同时存在手机类别的分类结果以及手类别的分类结果，将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点；所述第一像素点为手类别的分类结果对应的像素点、所述第二像素点为手机类别的分类结果对应的像素点，或者，所述第一像素点为手机类别的分类结果对应的像素点、所述第二像素点为手类别的分类结果对应的像素点；

如果所述目标像素点的数量大于第二阈值，确定存在接打手机行为的第二分类结果；

如果所述驾驶员区域图像中各个像素点对应的分类结果中安全带类别的分类结果对应的像素点数量小于第三阈值，确定存在未系安全带行为的第二分类结果。

5.根据权利要求1所述的方法，其特征在于，当从原始车辆图像中提取出两幅驾驶员区域图像时，所述方法还包括：

根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像，包括：

在提取出的两幅驾驶员区域图像中，将所述驾驶员区域图像中各个像素点对应的分类结果中存在方向盘类别的分类结果对应的驾驶员区域图像确定为主驾驶员区域图像，将所述驾驶员区域图像中各个像素点对应的分类结果中不存在方向盘类别的分类结果对应的驾驶员区域图像确定为副驾驶员区域图像。