[发明专利]一种基于时间域信息传递的视频目标检测方法

说明书

本发明属于计算机视觉领域，提供了一种基于时间域信息传递的视频目标检测方法，包括以下步骤：1)获取并输入视频数据；2)对视频帧进行分成每m一组；3)通过信息传递模块，首先对每一组连续帧进行合并，获取特征并通过门控循环单元实现上下文信息的传递；4)利用YOLOV5对数据进行后续检测，使用Focal Loss交叉熵损失与DIoU Loss函数训练此模型。与现有的技术相比，本发明基于YOLOV5模型对其进行了改进使其更注重连续帧中相邻帧的信息，可以有效提升目标检测的质量。

技术领域：

本发明涉及图像处理和计算机视觉领域，具体来说，涉及了基于高效多尺度上下文探索网络的显著性目标检测算法。

背景技术：

本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。

目标检测一直是计算机视觉领域经久不衰的研究方向。目标检测也是一个主观的过程，对于人类来说能够通过观察很轻易地定位到目标。但对于只能接收到RGB像素矩阵的计算机来说却难如登天。传统的目标检测算法在预测精度和速度上都很不理想，但自从深度学习算法在计算机视觉领域大放异彩，目标检测领域逐渐开始利用深度学习来做研究。

到目前为止，基于RGB图像的目标检测技术已经趋近成熟，且无论精度还是速度都达到了很高的水准。但基于视频的目标检测仍存在很大的发展空间。短视频，直播视频中大部分承载的是人物、场景、动作和语音内容，如何利用特征对其内容进行表达是解决此类问题的关键。一种最直接的方法就是基于单帧的识别方法，即将视频帧进行截断，然后基于单帧图像进行深度学习。然而一张图像相对于整个视频来说是很小的一部分，特别当这帧图像并不具备很好的区分度，或是一些和视频主题无关的图像时，分类器则无法进行很好的识别。另一种采用最多的方法是把视频帧分成关键帧和非关键帧两部分，其中关键帧的选取有两种方式，一是间隔固定的帧数选取，二是自适应的方式选取。视频中目标的检测相对于图像中，最大的特点就是增加了上下文信息，视频的每一帧图像都具有上下文的连接对应关系和相似性。因此，如何学习视频时间域上的表达是提高视频识别的主要因素。当然这不仅需要丰富的时间域信息，更依赖于普通的基于图像的目标检测技术。

发明内容

为了解决上述问题，本发明提出了一种基于时间域信息传递的视频目标检测方法及系统，设计信息传递模块，对视频帧进行分组并进行合并，通过卷积神经网络对合并后的帧进行特征的提取，并通过Gate Recurrent Unit(GRU)门控循环单元进行上下文信息的传递，从而实现视频中时间域信息的流动。

本发明的技术方案是提供了一种基于时间域信息传递的视频目标检测方法，该方法包括以下步骤：

1.获取并输入视频数据；

1.1)收集目标检测领域常用的数据集,KITTI数据集、Waymo数据集、NuScenes数据集、BDD 100K数据集、H3D数据集。

1.2)将KITTI数据集作为检测基准。

2.对视频中的帧数据进行剪切分组，分为相邻的m帧；

2.1)将多帧视频数据按照每相邻m帧分为一组，对于每组数据进行合并为一帧，在对其进行Focus切片操作。再将切片后的图像进行卷积核大小为3×3的卷积操作。

2.2)步骤3.1中生成的特征h输入到GRU单元进行相邻帧之间的信息传递，其中包括一个重置门控r和一个更新门控z。

其中σ是sigmoid函数，x^t是当前节点的输入，h^t-1是上一个传输下来的状态，W^r和W^z分别是重置门和更新门的权重。