[发明专利]视频处理方法及装置、电子设备及存储介质

权利要求书

1.一种视频处理方法，其特征在于，所述方法包括：

获取待处理视频流；

对所述待处理视频流进行n级特征提取处理，得到第一中间特征序列；

对所述第一中间特征序列进行m级上采样处理，得到第一动作的第一时序边界概率序列；所述第一时序边界概率序列包含所述待处理视频流中的图像为所述第一动作的起始帧的概率，以及所述待处理视频流中的图像为所述第一动作的结束帧的概率；

所述m级上采样处理中第i+1级上采样处理的输入数据为，所述m级上采样处理中第i级上采样处理的输出数据和所述n级特征提取处理中第j级特征提取处理的输入数据之间的融合数据；所述第i级上采样处理的输出数据和所述第j级特征提取处理的输入数据之间的分辨率相同；所述i为小于所述m的正整数，所述j为不大于所述n的正整数。

2.根据权利要求1所述的方法，其特征在于，在所述对所述待处理视频流进行n级特征提取处理，得到第一中间特征序列之前，所述方法还包括：

对所述待处理视频流进行特征提取处理，得到第一特征序列；所述第一特征序列对应的所述待处理视频流的语义信息和待处理视频流中背景的光流特征信息；所述背景包括所述待处理视频流中除所述第一动作之外的内容；

所述对所述待处理视频流进行n级特征提取处理，得到第一中间特征序列，包括：

对所述第一特征序列进行所述n级特征提取处理，得到所述第一中间特征序列。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一特征序列进行时序翻转处理，得到播放顺序与所述第一特征序列相反的第二特征序列；

对所述第二特征序列进行p级特征提取处理，得到第二中间特征序列；

对所述第二中间特征序列进行q级上采样处理，得到所述第一动作的第二时序边界概率序列；所述第二时序边界概率序列包含待处理视频流中的图像为所述第一动作的起始帧的概率，以及所述待处理视频流中的图像为所述第一动作的结束帧的概率；

所述q级上采样处理中第r+1级上采样处理的输入数据为，所述q级上采样处理中第r级上采样处理的输出数据和所述p级特征提取处理中第s级特征提取处理的输入数据之间的融合数据；所述第r级上采样处理的输出数据和所述第s级特征提取处理的输入数据之间的分辨率相同；所述r为小于所述q的正整数，所述s为不大于所述p的正整数；

依据所述第一时序边界概率序列和所述第二时序边界概率序列，得到所述至少一个第一时序动作提名。

4.根据权利要求3所述的方法，其特征在于，所述第j级特征提取处理的输入数据包括所述待处理视频流的浅层特征信息；所述第s级特征提取处理包括所述第一特征序列的浅层特征信息。

5.根据权利要求3或4所述的方法，其特征在于，所述依据所述第一动作的时序边界概率序列和所述第二时序边界概率序列，得到所述第一动作的至少一个第一时序动作提名，包括：

融合所述第一时序边界概率序列和所述第二时序边界概率序列，得到所述第一动作的第三时序边界概率序列；

依据所述第三时序边界概率序列，得到所述至少一个第一时序动作提名。

6.根据权利要求3至5中任意一项所述的方法，其特征在于，所述至少一个第一时序动作提名包括第二时序动作提名，所述方法还包括：

从所述第一特征序列中提取出所述第二时序动作提名的特征序列，作为第三特征序列；所述第三特征序列包括：第一通道特征序列和第二通道特征序列；

确定所述第一通道特征序列和所述第二通道特征序列之间的相似度，得到第一相似度；

依据所述第一相似度和所述第三特征序列，得到所述第二时序动作提名的置信度。

7.根据权利要求6所述的方法，其特征在于，所述确定所述第一通道特征数据和所述第二通道特征数据之间的相似度，得到第一相似度，包括：

确定所述第一通道特征序列和所述第二通道特征序列的矩阵乘积，得到第四特征序列，作为所述第一相似度。