[发明专利]一种基于机器视觉的岸桥单双箱检测方法和装置

权利要求书

1.一种基于机器视觉的岸桥单双箱检测方法，其特征在于，包括：

从数据库中获取多幅集装箱图像并对每幅集装箱图像进行标注以生成集装箱图像集；

建立神经网络Yolov5并利用所述集装箱图像集对所述神经网络Yolov5进行训练，以获得目标检测模型；

利用所述目标检测模型对待测试的集装箱图像进行实时检测，以获得检测结果，其中，所述检测结果包括；车载集装箱数量、箱孔和车载集装箱文字；以及

基于所述检测结果判断车载集装箱为单箱还是双箱。

2.根据权利要求1所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，基于所述检测结果判断车载集装箱为单箱还是双箱进一步包括：

根据所述集装箱图像中集装箱区域是否为两个20尺，结合中间子区域的箱孔和文本检测信息，计算总得分，其中，

当计算的总得分大于阈值时，判断所述车载集装箱为双箱；以及

当所述计算的总得分小于等于阈值时，判断所述车载集装箱为单箱。

3.根据权利要求1所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，通过以下公式计算总得分：

其中，weight₀表示集装箱数量权重、weight₁是否有文字权重以及weight₂是否有箱孔权重，R₀分别表示是否两个集装箱、R₁是否有文字以及R₂是否有箱孔，有即为1，无即为0。

4.根据权利要求1所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，在基于所述检测结果判断车载集装箱为单箱还是双箱之后进一步包括：

将单箱或双箱的判断结果传输至岸桥控制系统；

在抓取集卡上的车载集装箱时，根据集卡上的所述车载集装箱为单箱还是双箱，所述岸桥控制系统调整所述岸桥的吊具形态，以用于抓取单个车载集装箱或者两个车载集装箱。

5.根据权利要求1所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，从数据库中获取多幅集装箱图像并对每幅集装箱图像进行标注以生成集装箱图像集进一步包括：

从数据库中获取多幅历史集装箱图像或实时获取待测试的集装箱图像；

利用Labelimg工具对每幅历史集装箱图像中的集装箱进行标注以建立第一数据集；

在集装箱检测以后，对所述历史集装箱图像或待测试的集装箱图像中高度确定的集装箱进行随机裁剪以生成历史集装箱子图像或待测试的集装箱子图像；以及

利用所述Labelimg工具对所述历史集装箱子图像中箱孔和文本进行标注，以建立第二数据集。

6.根据权利要求5所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，建立神经网络Yolov5并利用所述集装箱图像集对所述神经网络Yolov5进行训练，以获得目标检测模型进一步包括：

建立第一神经网络Yolov5并利用所述第一数据集的一部分对所述第一神经网络Yolov5进行训练，以获得第一目标检测模型；

利用所述第一目标检测模型对所述第一数据集的另一部分进行集装箱检测，以将集装箱的高度区分为20尺或40尺；以及

在建立所述第二数据集之后，建立第二神经网络Yolov5并利用所述第二数据集对所述第二神经网络Yolov5进行训练，以获得第二目标检测模型。

7.根据权利要求5所述的基于机器视觉的岸桥单双箱检测方法，其特征在于，对所述历史集装箱图像或待测试的集装箱图像中高度确定的集装箱进行随机裁剪以生成历史集装箱子图像或待测试的集装箱子图像进一步包括：

根据所述历史集装箱图像或待测试的集装箱图像中任意两个20尺集装箱的最小外接矩形的高和宽，将同一集卡上的集装箱的两个最小外接矩形融合为单个最小外接矩形；

根据融合后的单个最小外接矩形的中心点在图像中的位置，确定所述集装箱的剪裁比例，并根据所述剪裁比例将所述历史集装箱图像或待测试的集装箱图像随机剪裁为上部子区域图像、中间子区域图像和下部子区域图像，其中，对所述中间子区域图像进行箱孔和文字检测。