[发明专利]视频目标的检测方法、装置、电子设备及存储介质

权利要求书

1.一种视频目标的检测方法，其特征在于，所述方法包括：

确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧；

基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量；

基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量；

通过所述视频处理模型中的检测头网络，根据所述实例级别的特征向量，对所述待检测视频进行目标检测，确定视频目标在所述待检测视频的不同视频帧中的所在区域。

2.根据权利要求1所述的方法，其特征在于，所述确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧，包括：

对所述待检测视频进行解析，获取所述待检测视频的时序信息；

根据所述待检测视频的时序信息，对所述待检测视频所对应的视频参数进行解析，获取与所述待检测视频对应的播放时长参数与画面区域参数；

基于所述待检测视频对应的播放时长参数与画面区域参数，对所述待检测视频进行抽取以获取所述待检测视频中的待检测视频帧；

响应于所抽取的待检测视频帧，在所述待检测视频帧相匹配的视频序列中随机抽取至少一个辅助视频帧。

3.根据权利要求1所述的方法，其特征在于，所述基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量，包括：

通过视频处理模型中的特征提取网络，分别在所述待检测视频帧与所述辅助视频帧中提取不同的第一帧级别特征向量；

确定所述不同的第一帧级别特征向量中的每一个第一帧级别特征向量所分别对应的通道数量；

基于所述通道数量，确定对应的第一帧级别特征向量集合，以及与所述第一帧级别特征向量集合相匹配的相似度矩阵；

根据所述第一帧级别特征向量集合和所述相似度矩阵，通过融合处理确定相应的第二帧级别特征向量集合；

通过对所述第二帧级别特征向量集合的线性转换处理，确定所述帧级别的特征向量。

4.根据权利要求3所述的方法，其特征在于，所述通过视频处理模型中的特征提取网络，分别在所述待检测视频帧与所述辅助视频帧中提取不同的第一帧级别特征向量，包括：

通过所述视频处理模型中特征提取网络的卷积层和最大值池化层分别对所述待检测视频帧与所述辅助视频帧交叉进行处理，得到所述待检测视频帧与所述辅助视频帧的降采样结果；

通过所述特征提取网络的全连接层，对所述待检测视频帧与所述辅助视频帧的降采样结果进行归一化处理；

通过视特征提取网络对所述不同图像帧的降采样的归一化结果，进行深度分解处理，确定不同的第一帧级别特征向量。

5.根据权利要求1所述的方法，其特征在于，所述基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量，包括：

通过所述视频处理模型的候选框生成网络对所述帧级别的特征向量进行处理，确定候选物体实例的边界框集合；

基于所述候选物体实例的边界框集合，以及所述帧级别的特征向量，通过所述视频处理模型中的感兴趣区域池化层网络，确定与所述候选物体实例相对应的第一实例级别的特征向量集合；

对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进行融合处理，形成第二实例级别的特征向量集合，其中，所述第二实例级别的特征向量集合中的经过融合处理的第二实例级别的特征作为所述检测头网络所输入的实例级别的特征向量。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进行融合处理，形成第二实例级别的特征向量集合，包括：

确定所述候选物体实例的相对应的物体表观信息和物体几何信息；

基于所述物体表观信息和物体几何信息，确定物体实例级别的相似度；

根据所述物体实例级别的相似度，对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进行融合处理，形成第二实例级别的特征向量集合。