[发明专利]一种视频分割方法及装置、计算设备、存储介质

说明书

本申请公开了一种视频分割方法及装置、计算设备、读存储介质。所述方法包括对convLSTM模型进行改进，将convLSTM模型中每个单元的每个卷积的W*Y操作都转换为W^W*(W^h*Y)操作；采用改进的convLSTM模型进行视频分割。所述装置包括模型改进模块和视频分割模块。所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现本发明所述的方法。所述存储介质内存储有计算机程序，所述计算机程序在由处理器执行时实现本发明所述的方法。改进后的convLSTM模型具有空间可分离性，能够降低模型的计算开销，提高模型的效率。

技术领域

本申请涉及视频分割技术，特别是涉及视频分割方法及装置、计算设备、存储介质。

背景技术

视频分割是计算机视觉领域的重要研究热点，它是指给视频中的每一帧图像上的每一个像素赋予一个带有语义的标签，在视频处理领域具有广阔应用前景。视频数据的获取一定程度上并不困难，但视频数据本身有很强的冗余性和不确定性，我们可以直接将视频转换为一帧一帧的图像送入图像分割模型，但是这样势必会带来巨大的计算开销，并且由于场景中运动物体的变化，也会导致分割结果不稳定性。所以目前视频语义分割的主要研究重点主要有两个方向：第一个是如何利用视频帧之间的时序信息来提高图像分割的精度，第二个是如何利用帧之间的相似性来减少模型计算量，提高模型的运行速度和吞吐量。目前流行的视频分割网络为LSTM模型以及其扩展模型，它们都是属于RNN((RecurrentNeural Networks，循环神经网络)网络，可以考虑前后帧的图像信息以提高当前帧的分割精度。例如LSTM模型的扩展模型convLSTM(Convolutional LSTM，卷积LSTM)常用于在视频分割领域中，他使用了图像的时间序列信息因此可以减少图像的闪烁对象以此提高视频分割的精度。但将convLSTM用于视频分割有一个重要的问题在于计算成本太高，该网络中参数众多极大的增加了模型的计算消耗。有一些学者在计算消耗问题上进行改进，以提高模型的计算效率，例如将LSTM单元划分为小的独立特征组，并且每个组的输出在末尾连接到公共特征图或是分解LSTM单元，这种方法的优点是可以减少模型的参数但在时间消耗上却并没有太大的改进。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种视频分割方法，包括：

对convLSTM模型进行改进，将convLSTM模型中每个单元的每个卷积的W*Y操作都转换为W^W*(W^h*Y)操作，其中，W是K_x×K_y大小的滤波器内核，W^h和W^W分别是K_x×1和1×K_y大小的滤波器内核；

采用改进的convLSTM模型进行视频分割。

可选地，K_x＝K_y。

可选地，K_x＝K_y＝3，且输入通道与输出通道的数量均为128。

根据本申请的另一个方面，提供了一种视频分割装置，包括：

模型改进模块，其配置成对convLSTM模型进行改进，将convLSTM模型中每个单元的每个卷积的W*Y操作都转换为W^W*(W^h*Y)操作，其中，W是K_x×K_y大小的滤波器内核，W^h和W^W分别是K_x×1和1×K_y大小的滤波器内核；

视频分割模块，其配置成采用改进的convLSTM模型进行视频分割。