[发明专利]面向叉车司机实操考核与教练的操作行为检测方法及系统

权利要求书

1.面向叉车司机实操考核与教练的操作行为检测方法，其特征在于，所述方法包括：

步骤A在叉车车顶的左后方、右后方分别安装检测相机，用于识别叉车司机的操作行为；

步骤B在司机在叉车上操作时，分别标定左手-制动档杆、左手-方向盘；右手-方向盘、右手-叉车控制档杆、右手-叉架控制档杆的距离；

步骤C在采集到的图像上建立直角坐标系，通过Mask R-CNN分别检测司机左手、右手、驻车制动档杆、方向盘、叉车控制档杆及叉架控制档杆的检测框，通过所述检测框计算得到位置信息并存储；

步骤D左后方相机检测叉车司机制动档杆、方向盘操作行为，识别左右手对方向盘、制动档杆操作行为；

步骤E右后方相机检测叉车司机制动档杆、方向盘操作行为，识别左右手对方向盘、叉车控制档杆、叉架控制档杆操作行为；

所述步骤C具体包括：

设Mask R-CNN检测司机左手检测框为是图像上司机左手检测框的左上角顶点坐标，是图像上司机左手检测框的右下角顶点坐标；右手检测框为驻车制动档杆检测框为方向盘检测框为叉车控制档杆检测框为叉架控制档杆检测框为

通过左手检测框计算得到司机左手位置P_L(u_L,v_L)、右手检测框计算得到右手位置P_R(u_R,v_R)，u_L代表司机左手形心到V轴的垂直距离，v_L代表司机左手形心到U轴的垂直距离；驻车制动档杆检测框计算得到驻车制动档杆位置P_Brake(u_Brake,v_Brake)、方向盘检测框计算得到方向盘位置P_Steering(u_Steering,v_Steering)、叉车控制档杆检测框计算得到叉车控制档杆位置P_Truck(u_Truck,v_Truck)、叉架控制档杆检测框计算得到叉架控制档杆位置P_Forklift(u_Forklift,v_Forklift)：

2.如权利要求1所述的面向叉车司机实操考核与教练的操作行为检测方法，其特征在于，所述步骤A中，所述车顶左后方、右后方安装的检测相机用于采集图像，且两相机法线均与叉车车顶铁架垂直，倾斜角为15°～45°；所述左后方相机用于识别司机操作驻车制动档杆、方向盘；右后方相机用于识别司机操作叉车控制档杆、叉架控制档杆、方向盘。

3.如权利要求1所述的面向叉车司机实操考核与教练的操作行为检测方法，其特征在于，所述步骤B中，所述标定的左手-制动档杆距离为左手-方向盘距离为右手-方向盘距离为右手-叉车控制档杆距离为右手-叉架控制档杆距离为

4.如权利要求1所述的面向叉车司机实操考核与教练的操作行为检测方法，其特征在于，所述步骤C中的直角坐标系、检测框为：

以图像左上顶点为原点建立直角坐标系，以水平方向为U轴即向右为正方向，垂直方向为V轴即向下为正方向，则像素坐标点P(u,v)代表图像上水平向右u个像素、垂直向下v个像素的点；

检测框{(u_min,v_min),(u_max,v_max)}代表图像上左上角顶点坐标为(u_min,v_min)，右下角顶点坐标为(u_max,v_max)的矩形框。

5.如权利要求1所述的面向叉车司机实操考核与教练的操作行为检测方法，其特征在于，所述步骤D中：

计算左手-制动档杆距离右手-制动档杆距离左手-方向盘距离右手-方向盘距离

设操作距离安全系数为α，根据下面的公式识别司机对应的操作行为：