[发明专利]一种基于时间域信息传递的视频目标检测方法

权利要求书

1.一种基于时间域信息传递的视频目标检测方法，其特征在于，该方法包括以下步骤：

1)输入视频数据；

2)对视频中的帧数据进行剪切分组，分为相邻的m帧；

3)通过信息传递机制从相邻帧中获取信息增强对当前帧的检测；

4)利用YOLOV5模型对处理后的帧数据进一步检测，得到检测结果。

2.根据权利要求1所述的一种基于时间域信息传递的视频目标检测方法，其特征在于：所述步骤1)具体方法是：

2.1)收集目标检测领域常用的数据集,KITTI数据集、Waymo数据集、NuScenes数据集、BDD 100K数据集、H3D数据集。

2.2)将KITTI数据集作为检测基准。

3.根据权利要求1所述的一种基于时间域信息传递的视频目标检测方法，其特征在于：所述步骤2)具体方法是：

3.1)将多帧视频数据按照每相邻m帧分为一组，对于每组数据进行合并为一帧，在对其进行Focus切片操作。再将切片后的图像进行卷积核大小为3×3的卷积操作。

3.2)步骤3.1中生成的特征h输入到GRU单元进行相邻帧之间的信息传递，其中包括一个重置门控r和一个更新门控z。

其中σ是sigmoid函数，x^t是当前节点的输入，h^t-1是上一个传输下来的状态，W^r和W^z分别是重置门和更新门的权重。

得到门控信号之后，首先使用重置门控来得到重置之后的数据h^t-1′，再将h^t-1′与输入x^t进行拼接，在通过一个tanh激活函数来将数据放缩到-1～1的范围内,最终得到h′。

h^t-1′＝h^t-1⊙r， (4)

其中W为权重，⊙为同或运算。

4.根据权利要求1所述的一种基于时间域信息传递的视频目标检测方法，其特征在于：所述步骤3)具体方法是：

4.1)将经过信息传递后的特征y^t依次经过CSP1_1操作、CSL操作和CSP1_2操作得到所输入图像的第一特征，如下式所示。

Y＝CSP(CLB(y^t))where CLB＝Conv+BN+ReLU, (5)

其中CSP表示特征融合。

4.2)将得到的第一特征再经过式(5)得到输入特征的第二特征。

4.3)将得到的第二特征依次经过CBL操作、SSP操作、CSP2_1操作得到输入特征的第三特征。

4.4)将得到的第三特征经过上采样操作并与第二特征进行Concat拼接操作再一次经过CSP2_1操作、CBL操作得到输入特征的第四特征。

4.5)将得到的第四特征进行上采样操作并与第一特征进行Concat拼接操作再经过CSP2_1操作得到输入特征的第五特征，对第五特征进行Conv卷积操作得到第六特征图，如下式所示。

Y′＝F(Concat，CSP，Conv)， (6)

其中F函数表示特征提取，Concate表示拼接。

4.6)将得到的第五特征输入式(6)得到第八特征图。

4.7)将得到的第七特征通过式(6)得到第九特征完成目标检测与目标选框。

5.根据权利要求1所述的一种基于时间域信息传递的视频目标检测方法，其特征在于：所述步骤4)具体方法是：

5.1)输出端对获得的第九特征进行目标Bounding Box的损失函数计算，采用DIoU的方式进行极大值抑制。

5.2)对于分类产生的损失采用Focal Loss交叉熵损失函数。

FL(p_t)＝-(1-p_t)^γlog(p_t), (7)

其中1-p_t为可变平衡因子，γ为调节因子且大于零。

5.3)对于位置回归产生的损失采用DIoU Loss损失函数。

其中ρ表示预测框和真实框中心点的距离，p和g是两个框的中心点，c表示两个框的最小包围框的对角线长度。