[发明专利]视频识别方法、装置、电子设备及存储介质

权利要求书

1.一种视频识别方法，其特征在于，所述方法包括：

确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；所述第一特征向量表征对应的第一图像帧的空间特征向量；所述第一图像帧的图像内容包括第一对象和第二对象；

从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理所述第二特征向量，得到第三特征向量；所述第二特征向量表征所述m个第一图像帧对应的时序特征向量；

基于所述第三特征向量确定所述第一视频对应的第一对象和第二对象之间的第一行为类型；所述第三特征向量中的每个元素对应表征一种行为类型的概率；

在所述第一行为类型是设定的行为类型的情况下，基于所述第一行为类型和第二对象的类型，确定所述第一视频的视频识别结果；其中，

m，n均为正整数。

2.根据权利要求1所述的方法，其特征在于，所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量，包括：

将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，得到所述第一特征提取模型输出的每个第一图像帧的第一特征图；

通过设定尺寸的卷积核，得到每个第一图像帧的第一特征图对应的n个第二特征图；

将每个第一特征图对应的n个第二特征图中的每个第二特征图进行特征提取，得到每个第一图像帧对应的n个第一特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，包括：

对第一视频的m个第一图像帧中的每个第一图像帧按照设定比例缩放，并根据设定尺寸的裁剪框裁剪，得到处理后的m个第一图像帧；

将处理后的m个第一图像帧中的每个第一图像帧输入第一特征提取模型。

4.根据权利要求1所述的方法，其特征在于，所述从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，包括：

将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型，得到所述第二特征提取模型输出的第二特征向量；所述第二特征提取模型用于对输入的第一特征向量进行时序特征提取，得到对应的第二特征向量。

5.根据权利要求4所述的方法，其特征在于，所述第二特征提取模型包括串联的至少两个隐藏层组合；每个隐藏层组合包括串联的第一隐藏层和第二隐藏层；所述第一隐藏层用于基于输入的特征向量提取每个第一图像帧的空间特征；所述第二隐藏层用于基于输入的每个第一图像帧的空间特征输出m个第一图像帧之间的时序特征。

6.根据权利要求4所述的方法，其特征在于，在所述将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型之前，所述方法还包括：

在样本的行为类型是设定的行为类型的情况下，删除对应的标注中的第二对象的类型，得到处理后的样本；

基于处理后的样本，训练第二特征提取模型。

7.根据权利要求1所述的方法，其特征在于，在所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量之前，所述方法还包括：

将第二视频的多个第二图像帧输入识别模型，得到所述识别模型输出的图像识别结果；

将对应的图像识别结果满足设定拼接条件的至少两个第二图像帧进行拼接，得到第一视频；其中，

所述识别模型用于识别输入的第二图像帧中的第一对象，输出对应的图像识别结果；所述图像识别结果表征对应的第二图像帧中包含第一对象的置信度。

8.根据权利要求1所述的方法，其特征在于，所述第一对象表征人的设定部位；所述第二对象表征物品。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

在所述第一行为类型不是设定的行为类型的情况下，基于所述第一行为类型确定所述第一视频的视频识别结果。