[发明专利]一种3D机器视觉叉车行驶辅助安全系统及方法

摘要

本发明公开了一种3D机器视觉叉车行驶辅助安全系统及方法，能够实时监测叉车的行驶状态与周边作业环境，保障叉车作业过程中的人员与资产安全。系统包括：（1）采用多个智能深度相机为主构成的作业环境感知子系统、（2）采集车辆速度、姿态、转弯等行车状态的车辆状态监测子系统、（3）连接车辆动力控制与控制制动控制的输出子系统、（4）进行逻辑控制和智能判定与辨识的信息处理子系统。本发明由智能深度相机与多传感器对叉车的作业环境和车辆状况进行全面监测，不仅能提供障碍物检测与报警，还能够通过精确的人员与物体辨识，实现主动人员安全预警及控制功能。

主权项

1.一种3D机器视觉叉车行驶辅助安全方法，其特征在于，包括作业环境感知子系统（1.1）、车辆状态监测子系统（1.2）、控制输出子系统（1.3）和信息处理子系统（1.4），所述作业环境感知子系统（1.1）、车辆状态监测子系统（1.2）、控制输出子系统（1.3）通过通信网络或输入输出模块连接到信息处理子系统（1.4）；所述作业环境感知子系统（1.1）包括前方智能深度相机（1.5）、侧方智能深度相机（1.6）、后方智能深度相机（1.7）、侧方碰撞开关（1.8）和后方碰撞开关（1.9），用来采集叉车作业时周边各种信息，确保叉车安全行驶与作业安全；所述车辆状态监测子系统（1.2）包括车辆测速传感器（1.10）、车载加速度传感器（1.11）、车载陀螺仪（1.12）、驾驶员状态传感器（1.13），用来采集车辆的运行方向、转弯、加减速、俯仰倾斜、驾驶员位置信息，为智能判别提供车辆状态类别和处理依据；所述控制输出子系统（1.3）包括多色报警指示灯（1.14）、蜂鸣报警器（1.15）、车辆制动器控制接口（1.16）、车辆动力控制接口（1.17），用来在检测到异常或危险状况时，对车辆进行主动干预，对驾驶人员和周边人员进行警示提醒；所述信息处理子系统（1.4）包括主控制器单元（1.18）以及输入输出模块、通信模块、电源模块，对叉车作业环境信息、车辆状态信息进行处理，从而生成报警与控制信息，实现叉车行驶与作业的安全运行,其使用3D机器视觉叉车行驶辅助安全系统的方法步骤如下：/n步骤1.1：根据叉车行驶和作业环境的要求以及工厂安全行驶的规范，确定每个智能深度相机的测量距离、视场角度的工作参数、预定义的警示区域、车辆速度和加速度限值，叉车作业俯仰或倾斜角度限值，初始化报警事件和参数阈值；/n步骤1.2：信息处理子系统（1.4）从车辆状态监测子系统（1.2）获得叉车运行状态，并进行分类，根据车速分为低速、中速、高速，根据方向分为前进、后退、转弯；根据叉车状态由车载加速度传感器（1.11）和车载陀螺仪（1.12）确定叉车姿态是否允许作业；根据驾驶员状态传感器（1.13）确定驾驶员是否处于正确驾驶位置；/n步骤1.3：根据加速度、速度、转弯角度、俯仰角度信息，判断叉车驾驶和作业是否符合规范，如不符合，则进入步骤1.7c，如符合，则进入步骤1.4；/n步骤1.4：如叉车方向为前进或转弯，使用前方智能深度相机（1.5）采集叉车行驶前方完全覆盖叉齿前面预定义的警示区域的3D深度影像数据，前方智能深度相机（1.5）根据由主控制器单元（1.18）发送过来的叉车状态和姿态信息进行智能机器视觉处理，处理内容包括：/n1.4a：根据预设的速度等级，当叉车在高速行驶时，将3D深度影像中叉齿前面预定义的警示区域部分前移，扩大检测深度范围，以加长叉车制动的安全距离；当叉车在低速行驶或未启动装卸作业时，将3D深度影像中的叉齿前面预定义的警示区域部分后移，以便叉车在狭窄区域作业；/n1.4b：根据叉车转弯状态和速度信息，计算出叉车的转弯半径，将3D深度影像中叉齿前面预定义的警示区部分向转弯方向偏移，实现前方智能深度相机（1.5）对叉车转弯的随动跟踪功能，同时避免叉车在狭小空间大角度转弯时的误报；/n1.4c：根据叉车行驶的俯仰姿态，对3D深度影像的信息进行空间校正与补偿；/n1.4d：前方智能深度相机（1.5）对校正偏移后的3D深度影像中叉齿前面预定义的警示区域部分进行视觉辨识，对路面、人员、墙壁、栏杆、设备进行分割辨识，将警示区域内物体属性、距离、位置、大小信息上传主控制器单元（1.18）用于判断决策；/n步骤1.5：如叉车方向为后退或转弯，使用后方智能深度相机（1.7）采集叉车后方预定义的警示区域的3D深度影像数据，由后方智能深度相机（1.7）对3D深度影像数据中预定义的警示区域部分进行视觉辨识，确定是否有障碍物，并将障碍物属性、距离、位置、大小上传主控制器单元（1.18）用于判断决策；/n步骤1.6：在叉车处于直行状态时，侧方智能深度相机（1.6）的下视3D深度影像中预定义的警示区域部分限定在车体两侧较窄的区域，以便叉车在狭窄空间作业；在叉车处于转弯状态时，侧方智能深度相机（1.6）的下视3D深度影像中预定义的警示区域部分向转弯方向扩展，以扩大安全监测范围；侧方智能深度相机（1.6）对采集的3D深度影像中预定义的警示区域部分进行视觉辨识，并将处理结果上传主控制器单元（1.18）用于判断决策；/n步骤1.7：主控制器单元（1.18）获得所有智能深度相机的视觉辨识结果后，根据叉车状态和姿态做出判断决策，内容包括：/n1.7a：当检测到可能的障碍物碰撞信息时，通过多色报警指示灯（1.14）和蜂鸣报警器（1.15）发出警示信号，并通过车辆动力控制接口（1.17）输出降速或关闭信号，以限定叉车在安全范围内工作；/n1.7b：当检测到严重人员安全状况或障碍物碰撞状况时，在发出警示信号的同时，通过车辆动力控制接口（1.17）关闭车辆动力，并通过车辆制动器控制接口（1.16）进行紧急制动，防止事故发生或降低事故损害；/n1.7c：当检测到驾驶员违规驾驶时，除发出警示信号外，通过车辆制动器控制接口（1.16）输出紧急制动信号，停止叉车运行；/n步骤1.8：主控制器单元（1.18）对叉车异常状况、发出警示信号时的3D深度影像数据进行记录形成行车日志，以便对叉车行驶与作业状况进行记录与追溯；/n步骤1.9：如叉车处于上电状态，则转到步骤1.2，机器视觉叉车行驶辅助安全系统进行循环不断的在线检测。/n