[发明专利]视频物体检测方法和装置、存储介质和电子设备

权利要求书

1.一种视频物体检测方法，包括：

对视频中的至少两帧图像进行物体检测，获得所述至少两帧图像中各自对应的物体候选框，得到多个物体候选框；所述至少两帧图像包括一关键帧图像和至少一非关键帧图像；

获取所述关键帧图像的物体候选框与所述多个物体候选框之间的依赖关系；

基于所述依赖关系，对所述关键帧图像的物体候选框进行特征增强，得到所述关键帧图像的物体候选框对应的增强特征；

基于所述增强特征，获取所述关键帧图像的物体候选框的检测结果。

2.根据权利要求1所述的方法，其中，所述至少一非关键帧图像包括：所述视频中检测时序位于所述关键帧图像之前的至少一图像，和/或，所述视频中检测时序位于所述关键帧图像之后的至少一图像。

3.根据权利要求1或2所述的方法，其中，所述对视频中的至少两帧图像进行物体检测，获得所述至少两帧图像中各自对应的物体候选框，包括：

通过第一神经网络分别对所述至少两帧图像进行特征提取，得到至少两个特征图；

通过第二神经网络，分别基于所述至少两个特征图中的每个特征图产生所述物体候选框，得到每个特征图的物体候选框。

4.根据权利要求3所述的方法，其中，还包括：所述第二神经网络基于所述至少两个特征图，获取所述多个物体候选框的特征；

所述获取所述关键帧图像的物体候选框与所述多个物体候选框之间的依赖关系，包括：基于所述关键帧图像的物体候选框的特征与所述多个物体候选框的特征，分别获取所述关键帧图像的每个物体候选框与所述多个物体中每个物体候选框之间的注意力权重；

所述基于所述依赖关系，对所述关键帧图像的物体候选框进行特征增强，得到所述关键帧图像的物体候选框的增强特征，包括：

分别以所述关键帧图像的每个物体候选框作为当前物体候选框，根据所述当前物体候选框的特征与所述多个物体候选框中每个物体候选框的特征之间的注意力权重，对所述多个物体候选框的特征进行加权求和；

基于加权求和的结果和所述当前物体候选框的特征，得到所述当前物体候选框的增强特征。

5.根据权利要求4所述的方法，其中，所述获取所述关键帧图像的物体候选框与所述多个物体候选框之间的依赖关系，还包括：

分别获取所述关键帧图像的每个物体候选框与所述多个物体中每个物体候选框之间的空间位置关系和时序信息；

所述基于所述关键帧图像的物体候选框的特征与所述多个物体候选框的特征，分别获取所述关键帧图像的每个物体候选框与所述多个物体中每个物体候选框之间的注意力权重，包括：

分别基于所述关键帧图像的每个物体候选框与所述多个物体中每个物体候选框的特征、空间位置关系和时序信息，获取所述关键帧图像的每个物体候选框的特征与所述多个物体中每个物体候选框之间的注意力权重。

6.根据权利要求4-6任一所述的方法，其中，还包括：

对所述视频中的另外至少两帧图像进行物体检测，获得所述另外至少两帧图像中各自对应的物体候选框，得到另外多个物体候选框；所述另外至少两帧图像包括一另外关键帧图像和至少一非关键帧图像；

获取所述另外关键帧图像的物体候选框与所述另外多个物体候选框之间的依赖关系；

基于所述依赖关系，对所述另外关键帧帧图像的物体候选框进行特征增强，得到所述另外关键帧帧图像的物体候选框的增强特征；

所述得到所述关键帧图像的物体候选框的增强特征之后，还包括：

获取所述关键帧图像的物体候选框与所述另外关键帧图像的物体候选框之间的依赖关系；

基于所述关键帧图像的目标物体候选框与所述另外关键帧图像物体候选框之间的依赖关系，对所述关键帧图像的物体候选框的增强特征进行特征增强，得到所述关键帧图像的物体候选框的综合增强特征；

所述基于所述增强特征，获取所述关键帧图像的物体候选框的检测结果，包括：基于所述关键帧图像的物体候选框的综合增强特征，获取所述关键帧图像的物体候选框的检测结果。