[发明专利]图像帧拼接方法、视频巡检方法、装置、设备及存储介质

说明书

本公开实施例涉及一种图像帧拼接方法、视频巡检方法、装置、设备及存储介质。图像帧拼接方法包括：获取图像帧；判断图像帧是否为关键帧；若为关键帧，则对图像帧进行第一存储；将第一存储的所有关键帧进行增量拼接；其中，第一存储的任意相邻两个关键帧之间的增量基于相邻两个关键帧提取的光流特征进行确定。本公开的至少一个实施例中，通过判断图像帧是否为关键帧，实现对图像质量较好的关键帧的选取，进而只对关键帧进行拼接，而非对每一帧均进行拼接，在提高拼接质量的同时提高了拼接效率，另外，在拼接关键帧时，对关键帧进行增量拼接，而非全量拼接，进一步提高了拼接效率。

技术领域

本公开实施例涉及计算机技术领域，具体涉及一种图像帧拼接方法、视频巡检方法、装置、设备及存储介质。

背景技术

传统的线下商场和超市每年因缺货、陈列异常等问题承担着高额客损，因此，巡检机器人应运而生，通过机器人巡检货架(例如，机器人自动行进到货架附近，采集货架排面的图像)，并将数据回流到线上，便于相关人员(例如采购员、货架管理员)通过线上及时发现并解决缺货、陈列异常等问题。

目前的巡检机器人具有水平视场和垂直视场，因此，机器人在巡检过程中需要对采集的水平视场的图像和垂直视场的图像进行实时拼接，然而目前的拼接方案是对每一帧图像均进行拼接，且是将相邻两帧图像直接拼接，这种拼接方式由于机器人在运动过程中即相机的姿态计算(单应矩阵的计算)存在累积误差的问题，因此在图像的左右边界和上下边界位置会形成明显的拼接缝隙(也即矩形错位)，且消耗大量的软硬件资源，随着图像分辨率的上升，消耗的软硬件资源也越多，拼接帧率不满足巡检需求；另外，没有对图像质量进行检测，拼接效果不满足巡检需求。

另外，目前的机器人巡检方案中，通常设置多个固定位置，每个固定位置对应一个或多个货架，机器人需要行进到这些固定位置进行图像采集，图像拼接后将数据回流到线上。对于大型的商场和超市，货架数量较多，机器人巡检的耗时较长，例如5000平米的商场，机器人巡检需要5至6小时，导致巡检效率降低；并且机器人回流数据的耗时较长，例如机器人回流一节货架的数据平均消耗15分钟，导致巡检效率降低；并且回流数据量较大，也消耗了云端服务器大量的存储资源和计算资源。

上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种图像帧拼接方法、视频巡检方法、装置、设备及存储介质。

第一方面，本公开实施例提出一种图像帧拼接方法，包括：

获取图像帧；

判断所述图像帧是否为关键帧；

若为关键帧，则对所述图像帧进行第一存储；

将所述第一存储的所有关键帧进行增量拼接；

其中，所述第一存储的任意相邻两个关键帧之间的增量基于所述相邻两个关键帧提取的光流特征进行确定。

在一些实施例中，所述判断所述图像帧是否为关键帧包括：

若所述图像帧为起始帧或结束帧，则确定所述图像帧为关键帧；

若所述图像帧非起始帧且非结束帧，则基于所述图像帧的前一个关键帧，判断所述图像帧是否为关键帧。

在一些实施例中，所述基于所述图像帧的前一个关键帧，判断所述图像帧是否为关键帧包括：

确定所述图像帧与所述前一个关键帧的重合度；

判断所述重合度是否小于预设阈值；

若所述重合度小于预设阈值，则检测所述图像帧的质量；

基于质量检测结果判断所述图像帧是否模糊；