[发明专利]基于双路交叉注意力网络的视频重要区域预测方法和装置

权利要求书

1.一种基于双路交叉注意力网络的视频重要区域预测方法,其特征在于，包括以下步骤：

将第一视频流输入短时通路特征提取器，获取第一参考特征；

将第二视频流输入长时通路特征提取器，获取第二参考特征，其中，所述第一视频流和所述第二视频流的最后一帧视频帧的时间t相同；

确定与预设的预测间隔m对应的初始矩阵，并融合所述初始矩阵、所述第一参考特征和所述第二参考特征获取中间特征；

将所述第一参考特征和所述中间特征输入预设的第一交叉注意力模型获取第一重建特征；

将所述第二参考特征和所述中间特征输入预设的第二交叉注意力模型获取第二重建特征；

根据所述第一重建特征和所述第二重建特征获取融合特征，并根据所述融合特征获取t+m帧视频帧；

其中，所述将所述第一参考特征和所述中间特征输入预设的第一交叉注意力模型获取第一重建特征，包括：

根据预设的第一公式计算所述第一参考特征和所述中间特征的相似度；

根据预设的第二公式对所述相似度计算，获取所述第一重建特征；

其中，所述将所述第二参考特征和所述中间特征输入预设的第二交叉注意力模型获取第二重建特征，包括：

根据预设的第一公式计算所述第二参考特征和所述中间特征的相似度；

根据预设的第二公式对所述相似度计算，获取所述第二重建特征；

其中，所述第一公式为：

其中，是所述中间特征，是所述第一参考特征，i和j表示时间和空间维度的坐标，其中T表示矩阵转置，θ表示非线性映射；

所述第二公式为：

其中，f、g和w都是卷积操作，是所述第一重建特征。

2.如权利要求1所述的方法，其特征在于，所述第一视频流的视频帧之间的时间间隔为1，所述第二视频流的视频帧之间的时间间隔为τ，其中，τ不等于1。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一重建特征和所述第二重建特征获取融合特征，包括：

对所述第一重建特征和所述第二重建特征卷积融合，得到所述融合特征。

4.一种基于双路交叉注意力网络的视频重要区域预测装置,其特征在于，包括以下步骤：

第一获取模块，用于将第一视频流输入短时通路特征提取器，获取第一参考特征；

第二获取模块，用于将第二视频流输入长时通路特征提取器，获取第二参考特征，其中，所述第一视频流和所述第二视频流的最后一帧视频帧的时间t相同；

第三获取模块，用于确定与预设的预测间隔m对应的初始矩阵，并融合所述初始矩阵、所述第一参考特征和所述第二参考特征获取中间特征；

第四获取模块，用于将所述第一参考特征和所述中间特征输入预设的第一交叉注意力模型获取第一重建特征；

第五获取模块，用于将所述第二参考特征和所述中间特征输入预设的第二交叉注意力模型获取第二重建特征；

第六获取模块，用于根据所述第一重建特征和所述第二重建特征获取融合特征，并根据所述融合特征获取t+m帧视频帧；

其中，所述第四获取模块，还用于：

根据预设的第一公式计算所述第一参考特征和所述中间特征的相似度；

根据预设的第二公式对所述相似度计算，获取所述第一重建特征；

其中，所述第一公式为：

其中，是所述中间特征，是所述第一参考特征，i和j表示时间和空间维度的坐标，其中T表示矩阵转置，θ表示非线性映射；

所述第二公式为：

其中，f、g和w都是卷积操作，是所述第一重建特征；

其中，所述第五获取模块，还用于：

根据预设的第一公式计算所述第二参考特征和所述中间特征的相似度；

根据预设的第二公式对所述相似度计算，获取所述第二重建特征。

5.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3中任一所述的方法。

6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一所述的方法。