[发明专利]基于双路交叉注意力网络的视频重要区域预测方法和装置

说明书

本发明提出一种基于双路交叉注意力网络的视频重要区域预测方法和装置，其中，方法包括：将第一视频流输入短时通路特征提取器，获取第一参考特征；将第二视频流输入长时通路特征提取器，获取第二参考特征，其中，第一视频流和第二视频流的最后一帧视频帧的时间t相同；确定与预设的预测间隔m对应的初始矩阵，并融合初始矩阵、第一参考特征和第二参考特征获取中间特征；将第一参考特征和中间特征输入预设的第一交叉注意力模型获取第一重建特征将第二参考特征和中间特征输入预设的第二交叉注意力模型获取第二重建特征；根据第一重建特征和第二重建特征获取融合特征，并根据融合特征获取t+m帧视频帧。提高了视频帧的预测准确性。

技术领域

本发明涉及计算机视觉与机器学习技术领域，尤其涉及一种基于双路交叉注意力网络的视频重要区域预测方法和装置。

背景技术

人们在看到图片或视频的时候通常会有相似的视觉特性，会关注到图片或视频的同一个区域，目前研究人员已经试图去对人类的视觉注意力机制进行建模，也就是视频重要区域估计(Video Saliency Prediction,VSP)。

一些方法已经被提出，从而推动了这个领域的发展，这些方法大部分将视频的一系列帧作为输入并输出其中一帧或多帧的重要度图，所以这些方法只能用于处理过去获得的信息的任务，比如视频监控，视频压缩，视频分割等等。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于双路交叉注意力网络的视频重要区域预测方法，以实现对视频帧的精确预测。

本发明的第二个目的在于提出一种基于双路交叉注意力网络的视频重要区域预测装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于双路交叉注意力网络的视频重要区域预测方法，包括：将第一视频流输入短时通路特征提取器，获取第一参考特征；将第二视频流输入长时通路特征提取器，获取第二参考特征，其中，所述第一视频流和所述第二视频流的最后一帧视频帧的时间t相同；确定与预设的预测间隔m对应的初始矩阵，并融合所述初始矩阵、所述第一参考特征和所述第二参考特征获取中间特征；将所述第一参考特征和所述中间特征输入预设的第一交叉注意力模型获取第一重建特征；将所述第二参考特征和所述中间特征输入预设的第二交叉注意力模型获取第二重建特征；根据所述第一重建特征和所述第二重建特征获取融合特征，并根据所述融合特征获取t+m帧视频帧。

为达上述目的，本发明第二方面实施例提出了一种基于双路交叉注意力网络的视频重要区域预测装置，包括：第一获取模块，用于将第一视频流输入短时通路特征提取器，获取第一参考特征；第二获取模块，用于将第二视频流输入长时通路特征提取器，获取第二参考特征，其中，所述第一视频流和所述第二视频流的最后一帧视频帧的时间t相同；第三获取模块，用于确定与预设的预测间隔m对应的初始矩阵，并融合所述初始矩阵、所述第一参考特征和所述第二参考特征获取中间特征；第四获取模块，用于将所述第一参考特征和所述中间特征输入预设的第一交叉注意力模型获取第一重建特征；第五获取模块，用于将所述第二参考特征和所述中间特征输入预设的第二交叉注意力模型获取第二重建特征；第六获取模块，用于根据所述第一重建特征和所述第二重建特征获取融合特征，并根据所述融合特征获取t+m帧视频帧。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于双路交叉注意力网络的视频重要区域预测方法。