[发明专利]视频处理方法、装置、设备及存储介质

说明书

本发明实施例公开了视频处理方法、装置、设备及存储介质。该方法包括获取当前视频帧，并确定当前视频帧与上一视频帧的视频帧相似度；根据视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对当前视频帧的卷积处理权限，深度全卷积神经网络预先训练获得，卷积处理权限包括允许处理和拒绝处理；根据各卷积处理权限，通过深度全卷积神经网络处理当前视频帧，获得当前视频帧对应的目标视频帧。该方法在保证已有深度全卷积神经网络拓扑结构不变的前提下，通过确定卷积层的卷积处理权限来限制了参与视频处理的卷积层的数量以此来降低深度全卷积神经网络处理时的运算量，进而在保证语义分割处理精度的前提下有效降低了处理时延。

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及视频处理方法、装置、设备及存储介质。

背景技术

视频语义分割处理是计算机视觉技术领域中一种常见的视频处理方式，具体来说，视频语义分割相当于对视频中各视频帧内的目标元素和背景元素进行抠分的操作，该技术在长/短视频特效、自动驾驶、视频监控以及虚拟现实等场景中有较广泛的应用前景。一般的，不同应用场景下进行视频语义分割处理的时延要求不同，比如在直播应用场景下，需要能够实时的对各视频帧进行视频语义分割处理。

目前，常见的视频语义分割处理主要基于深度全卷积网络的方式来实现，该种方式因所采用深度神经网络本身具备的特征表达能力、所提供待分割图像中有标签的数据越来越多、所依赖计算机设备中图像处理器的大规模应用，使得其在视频语义分割精准度方面有了较大提升。

然而，深度全卷积神经网络实现视频语义分割具备的运算量很大，由此会产生较高的时延，不适合直播等对视频语义分割处理速度有要求的应用场景，且高运算量需要耗费较多的计算资源，当计算机设备(如低配移动手机)本身计算资源不足时，将会影响视频语义分割的正常实现。

发明内容

有鉴于此，本发明实施例提供了视频处理方法、装置、设备及存储介质，以降低进行视频语义分割处理的处理时延。

第一方面，本发明实施例提供了一种视频处理方法，包括：

获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；

根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；

根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。

第二方面，本发明实施例提供一种视频处理装置，包括：

相似度确定模块，用于获取当前视频帧，并确定所述当前视频帧与上一视频帧的视频帧相似度；

权限确定模块，用于根据所述视频帧相似度及设定个数的判定阈值，确定深度全卷积神经网络中各卷积层相对所述当前视频帧的卷积处理权限，所述深度全卷积神经网络预先训练获得，所述卷积处理权限包括允许处理和拒绝处理；

视频处理模块，用于根据各所述卷积处理权限，通过所述深度全卷积神经网络处理所述当前视频帧，获得所述当前视频帧对应的目标视频帧。

第三方面，本发明实施例提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例提供的视频处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提供的视频处理方法。