[发明专利]一种岸桥岸侧作业吊具下防砸方法及系统

说明书

本发明提供一种岸桥岸侧作业吊具下防砸方法及系统，涉及视觉和深度学习技术领域。以在吊具下落乃至遮挡下方时，准确识别、定位受遮挡物体在遮挡前的位置。该方法包括：基于Yolov5x视觉检测网络对视频帧进行检测，获得检测结果；基于DeepSort算法和重识别算法，对检测结果进行跟踪预测，获得跟踪预测结果，基于检测结果和跟踪预测结果之间的相似度，对跟踪预测结果进行标记；将跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，判断有无防砸风险，并向岸桥发送告警信息。所述岸桥岸侧作业吊具下防砸系统应用于岸桥岸侧作业吊具下防砸方法。

技术领域

本发明适用于港口行业，涉及机器视觉和深度学习技术领域，尤其涉及一种岸桥岸侧作业吊具下防砸方法及系统。

背景技术

岸桥，即岸边集装箱起重机，是集装箱码头专门用于对集装箱船进行装卸作业的专业设备。当岸桥在岸侧进行集装箱落箱作业时，司机在上方司机室控制吊具，将吊具携带的集装箱下落到内集卡的车架上。在这一作业过程中，有如下情况会使得落箱过程中在下落的集装箱旁出现物体：①有港口工人站在内集卡旁边，准备拆卸下落集装箱上的锁扣；②内集卡车架前方是内集卡车头，车头远高于车架，且二者距离极近。然而，由于操作岸桥的司机作业位置高，且司机正下方吊具遮挡司机视野，会导致司机难以看清上述情况的人员与车头，导致集装箱与这些物体进行碰撞，发生重大安全生产事故。

近年来，随着多种传感器技术、机器视觉分析技术等的迅猛发展，上述技术在智能化控制领域得到广泛应用。在港口行业中，已经有相关技术部门应用上述技术，尝试解决岸桥在岸侧进行落箱作业时砸车头的问题，并已经设计相关内集卡引导系统。现有的内集卡引导系统主要有如下类型：①基于激光技术的内集卡对位，是使用安装在吊具上的激光器，对岸侧进行照射，进而获得集装箱精确定位坐标及姿态，之后根据吊具与集装箱的相对位置进行对位，避免车头与集装箱碰撞；②基于机器视觉技术的集卡对位，是通过前背景检测的方法，先检测定位到集卡的位置，再根据吊具与集卡的相对位置进行定位，准确将集卡引导到指定位置，使集装箱在落箱中不会与集卡车头碰撞。然而，现有方法存在如下问题：(1)基于激光的集卡对位技术，难以准确识别岸桥吊具下方工作的港口工人、其它类型车辆等物体；(2)基于机器视觉检测算法的集卡对位技术，难以识别吊具遮挡时其下方物体情况；(3)前背景检测算法依赖于背景建模，受天气影响大，在雨天、雪天时，难以准确区分前背景。

发明内容

为解决上述技术问题，本发明提供一种岸桥岸侧作业吊具下防砸方法及系统，在吊具下落乃至遮挡下方时，准确识别、定位受遮挡物体在遮挡前的位置。

本发明提供一种岸桥岸侧作业吊具下防砸方法，该方法，包括：

步骤1：在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据；

步骤2：将所述岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对所述视频帧进行检测，获得检测结果；

步骤3：基于DeepSort算法和重识别算法，对所述检测结果进行跟踪预测，获得跟踪预测结果，基于所述检测结果和所述跟踪预测结果之间的相似度，对所述跟踪预测结果进行标记；

步骤4：将所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；

步骤5：根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。

优选地，所述步骤1包括：在位于岸桥吊具两侧的司机室后底部和小车架前底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据，所述岸桥吊具下方区域视频数据中的物体包括：行人、集卡车头、岸桥吊具、其它车辆。

优选地，所述步骤3包括：