[发明专利]吸盘作业周期生成方法、存储介质、电子设备及装置

说明书

本申请涉及一种吸盘作业周期生成方法、存储介质、电子设备及装置。方法包括：获取图像集；针对每个图像，获得该图像对应的吸盘检测框和车厢区域检测框和分别计算其之间的交集和并集，以及计算该交集和该并集的比值作为该图像的交互比；通过比较每个图像的交互比和预设交互比阈值从而筛选出多个有效图；和基于多个有效图确定吸盘相对于车厢区域运动的至少一个吸盘作业周期。其中，吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，该改进交互比包括第一部分和第二部分，该第一部分是交集和并集的比值，该第二部分用于表征该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。如此提高预测准确率。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种吸盘作业周期生成方法、存储介质、电子设备及装置。

背景技术

随着人工智能技术和计算机视觉技术的发展，通过机器学习模型来进行人脸识别、身份检判的方式已经在交通出行和安防监控等领域取得了广泛应用。工业应用中特别是废弃钢材的回收环节，需要通过计算机视觉技术和机器学习技术实现对待搬运的废弃钢材的自动识别。其中涉及识别用于搬运废弃钢材的电磁铁吸盘(也可以称之为吸盘)相对于装载废弃钢材的车辆的车体的相对运动，例如需要识别出吸盘靠近车体然后吸附一部分废弃钢材最后远离车体的情况。因此，为了实现废弃钢材的搬运过程的自动化智能识别，需要建立起关于吸盘相对于车体的相对运动的作业周期，也称之为吸盘作业周期。为此，需要一种吸盘作业周期生成方法、存储介质、电子设备及装置，能够实现精确识别并生成吸盘作业周期。

发明内容

第一方面，本申请实施例提供了一种吸盘作业周期生成方法。所述吸盘作业周期生成方法包括：获取图像集，该图像集的图像分别在不同时刻采集；针对该图像集的每个图像，获得该图像对应的吸盘检测框和车厢区域检测框，分别计算所述吸盘检测框和所述车厢区域检测框之间的交集和并集，以及计算该交集和该并集的比值作为该图像的交互比，其中，该图像对应的吸盘检测框通过将该图像输入吸盘检测模型获得；通过比较该图像集的每个图像的交互比和预设交互比阈值来判断该图像是否为有效图，从而从所述图像集中筛选出多个有效图；和基于所述多个有效图确定吸盘相对于车厢区域运动的至少一个吸盘作业周期。其中，所述吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，该训练图像集的每个训练图像各自的改进交互比包括第一部分和第二部分，该第一部分是该训练图像对应的吸盘标签和车厢区域标签之间的交集和并集的比值，该第二部分用于表征该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。

第一方面所描述的技术方案，基于图像集的每个图像的交互比和与该图像对应的状态信息来筛选有效图，实现了精简计算过程同时为确定吸盘作业周期提供了依据，并且通过训练图像的改进交互比对吸盘检测模型的训练过程做出优化设计，提供了距离测度和更好的优化效果从而提高模型的预测准确率。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像集的图像通过同一图像采集设备采集并且所述图像集的至少两个图像通过该同一个图像采集设备按照不同缩放尺度或者不同距离采集。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像集的图像通过同一图像采集设备采集，并且在所述图像采集设备采集所述图像集的图像的过程中，所述图像采集设备的缩放尺度和/或所述图像采集设备的采集距离可调整。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述吸盘检测模型包括yolov3目标检测模型、yolov4目标检测模型或者yolov5目标检测模型。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，该训练图像集的每个训练图像各自的改进交互比的第二部分基于该训练图像对应的吸盘标签和车厢区域标签之间的并集和包括该训练图像对应的吸盘标签和车厢区域标签的最小外接矩形。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，该训练图像集的每个训练图像各自的改进交互比满足特定数学关系。