[发明专利]一种连续图像的目标检测方法、装置、设备及存储介质

说明书

本发明实施例公开了一种连续图像的目标检测方法、装置、设备及计算机可读存储介质。其中，方法包括在对视频序列的第二帧图像利用目标检测网络模型进行目标检测之前，可将第二帧图像分割为多个子图像，对各子图像根据运动估计准则在第一帧图像中匹配相应的图像块，并利用预设背景像素值替换在第一帧图像中存在相匹配图像块的子图像的像素数据，最后将替换处理后的第二帧图像作为目标检测网络模型的输入，得到第二帧图像中的目标物体的目标框和各自所属的类别。本申请优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。

技术领域

本发明实施例涉及图像处理领域，特别是涉及一种连续图像的目标检测方法、装置、设备及计算机可读存储介质。

背景技术

近几年，随着人工智能技术的兴起，目标检测作为计算机视觉中最基本和首要的任务之一，广泛应用于工业界和日常生活的各个方面，例如自动驾驶、安防系统，以及游戏娱乐等领域。

Faster-RCNN算法广泛应用于运动目标行为的特征检测和追踪。该方法首先用卷积神经网络(CNN)的卷积层加池化层提取图片的特征区域，这些特征区域被共享用于后续的区域选取网络(Region Proposal Networks，RPN)和全连接层。然后利用RPN网络生成候选框，该层先通过softmax全连接层判断锚(anchors)属于前景还是背景，然后在利用回归边界框(bounding box regression)来修改锚，从而获得精确的候选框。最后由RoI池化层收集输入的特征区域，并把这些数据送入全连接层进行目标类别的判定。

尽管Faster-RCNN算法可实现运动目标的行为跟踪和检测，但是该算法的架构比较复杂，对终端要求较高，在视频或者要求较快识别物体的应用场景中难以执行。而YOLO-v3算法处理图片的速度较快，且YOLO-v3算法移植方便，可以在各个操作系统下实现，对硬件的配置要求也相对较低，能够较容易的在轻量级设备上实现。

YOLO-v3算法首先通过特征提取网络对输入图像提取特征，得到一定尺寸大小的特征图，比如13*13，然后将输入图像分成13*13个grid cell(网格单元)，如果groundtruth(标注数据)中某个object目标主体)的中心坐标落在哪个grid cell中，那么就由该grid cell来预测该object，因为每个grid cell都会预测固定数量的bounding box(目标框)(YOLO-v3算法中为3个，这几个bounding box的初始大小是不一样的)，只有和groundtruth的IOU最大的bounding box才是用来预测该object的。可以看出，预测得到的输出特征图有两个维度是提取到的特征的维度，比如13*13，还有一个维度(深度)是B*(5+C)，其中，B表示每个grid cell预测的bounding box的数量，比如YOLO v1中是2个，YOLO v2中是5个，YOLO v3中是3个，C表示bounding box的类别数，5表示4个坐标信息和一个置信度。

尽管YOLO-v3算法通过参数的调节，模型优化，使其对视频中的人物进行快速识别和追踪，达到快速检测效果，而且可保证能够达到一定的精度。但是，该算法以单帧图像作为基本的识别输入，对每帧图像都运行完整的目标检测算法，即将每一帧进行解压缩，然后送入目标检测深度学习网络，最终在每一帧图像上得到不同数量的目标框，在保证视频中目标检测的平均准确率的基础上引入较多冗余信息。比如，I帧(视频压缩中的关键帧)中已经被CNN算法检测到的物体，在P帧(视频压缩中的前向差别帧)或者B帧(视频压缩中的前后向差别帧)的相似的位置再次出现时，CNN算法需要重新计算该目标的bounding box。此类冗余计算增加了目标检测CNN算法的复杂度，增加了计算量，导致整个目标检测过程计算量大，吞吐率较低，降低了视频序列的目标检测性能。

发明内容