[发明专利]面向叉车司机实操考核与教练的操作行为检测方法及系统

说明书

本发明公开了一种面向叉车司机实操考核与教练的操作行为检测方法及系统，该方法包括：在叉车车顶的左后方、右后方分别安装检测相机，用于识别叉车司机多种操作行为。在司机在叉车上操作时，标定左手‑制动档杆、左手‑方向盘；右手‑方向盘、右手‑叉车控制档杆、右手‑叉架控制档杆的距离；运行Mask R‑CNN检测司机左手、右手、驻车制动档杆、方向盘、叉车控制档杆、叉架控制档杆检测框；计算得到位置信息并存储；左后方相机检测叉车司机制动档杆、方向盘操作行为，识别左右手对方向盘、制动档杆操作行为；右后方相机检测叉车司机制动档杆、方向盘操作行为，识别左右手对方向盘、叉车控制档杆、叉架控制档杆操作行为。

技术领域

本发明涉及自动控制技术领域，尤其涉及一种基于深度学习的实操考核与教练的操作行为检测方法及系统。

背景技术

叉车指在工厂厂区等特定区域使用的专用机动工业车辆，包括平衡重式叉车、前移式叉车、侧面式叉车、插腿式叉车、托盘堆垛车和三向堆垛车等。被广泛应用于各种搬运场景，是物流搬运的主力军。叉车事故不仅会对设备本身、周围环境及设备造成严重财产损失，往往也会造成人员伤亡事故。伴随货物运输量的不断上升，叉车的保有量也不断增加，如何从源头上减少叉车事故，成为亟待解决的问题。

面向叉车司机实操考核与教练的操作行为检测，主要包含图像采集系统和基于深度学习的操作行为检测方法。图像采集系统如专利CN111594729A等，利用固定夹、螺母、螺纹筒等机械机构实现摄像头的安装与固定、位姿调节。操作行为检测方法如专利CN111881808A、CN111753293A、CN111881007A等，采用电路设计、传感器检测的方法的方法，实现对操作行为的检测。

上述具体专利对比文件为：

1)、“基于连续追踪数据的电动公交起步阶段驾驶员异常操作行为识别方法”，专利号CN111881808A。该专利公开了一种基于连续追踪数据的电动公交起步阶段驾驶员异常操作行为识别方法，该识别方法主要针对公交车起步阶段，通过起步参数，并以历史数据作为基础，分析判断出起步阶段加速踏板踩到底的情况是驾驶人的主观急加速需求，还是驾驶员的踩踏失误，并以此确定驾驶员起步异常操作行为的识别条件；最后通过该识别条件对当前时刻某驾驶员的起步操作是否异常进行判断识别。该发明利用每个驾驶员的历史操作数据制定适合于各个驾驶员的异常起步行为判定规则和阈值，使得识别更加准确，更贴近每个驾驶员的驾驶习惯，可有效提高识别的准确度。本发明的操作行为识别方法与上述不同，为使用机器视觉+深度学习检测司机左手、右手、驻车制动档杆、方向盘、叉车控制档杆、叉架控制档杆检测框，能识别叉车司机实操考核整个过程左右手对方向盘、制动档杆、叉车控制档杆、叉架控制档杆的操作行为。

2)、“一种操作行为监测方法、装置及电子设备和存储介质”，专利号CN111753293A。该专利公开了一种操作行为监测方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标用户的目标历史操作行为数据，按照不同的维度对目标历史操作行为数据进行数据统计以便建立多维坐标系；当接收到目标操作行为时，确定目标操作行为在每个维度对应的目标数据项，并判断多维坐标系中是否存在目标数据项对应的标注点；若是，则将标注点的密度增加一；若否，则在多维坐标系中确定目标数据项对应的标注点，并将标注点的密度设置为一；根据每个坐标轴上所有标注点的密度计算每个坐标轴对应的重心位置，基于所有重心位置确定目标点以便根据目标点的位置对目标操作行为进行安全监测，通过多维坐标定位方案来分析用户行为的安全可信度。本发明的检测方法与上述发明不同，是通过计算目标检测对象之间的距离，并根据距离来判断不同的操作方法，对司机操作不同的档杆具有很高的识别率。