[发明专利]一种实现视频错误隐藏的方法、系统、终端及介质

说明书

本发明提供一种实现视频错误隐藏的方法、系统、终端及介质，其中将原始视频经编解码压缩后形成测试集和训练集；对测试集和训练集进行抽帧处理，在进行掩码块操作，得到网络训练集；构建网络模型，对网络模型进行训练，得到视频错误隐藏模型；将视频帧测试集输入视频错误隐藏模型，输出重建帧；模型的生成器采用Video Swin Transformer网络对输入的视频帧测试集进行视频帧多层特征提取，之后将不同层次的特征进行融合用于视频丢失或受损区域的重建，输出重建帧。本发明解决了不能对VVC标准压缩视频的丢失或受损区域进行有效恢复的问题，同时克服了传统卷积神经网络不能兼顾并行执行和长程时间依赖性建模能力的弊端。

技术领域

本发明涉及视频通信技术领域，具体地，涉及一种利用Transformer模型实现视频错误隐藏的方法、系统、终端及介质。

背景技术

随着多媒体技术、通信技术、网络技术等的迅速发展，视频的应用越来越广泛。为了满足日益复杂的应用场景与需求，视频的时空分辨率更高、视角范围更广、视频信号所包含的数据量更大，因此必须经过压缩编码才能在信道上传输。然而在信道资源有限的情况下，必然要求对视频信号进行高效率的压缩，这使得视频通信面临一些问题与挑战。首先，底层传输网络并不总是可靠的，并且在传输过程中通常会出现一些数据丢失的情况。其次，尽管使用了信源或信道编码技术进行保护，但错误接收或丢失压缩数据是不可避免的。再者，高效率的视频压缩编码，意味着去除视频图像中大量的空间相关性和时间相关性，使得编码输出比特流的冗余信息很少，故而视频码流对传输中产生的差错非常敏感。因此，需要一些处理丢失或错误视频数据的方法来提高最终用户感知的视频质量，满足人们对视频质量的需求。

视频错误隐藏技术是一种仅作用于解码端的技术，不占用任何网络带宽，只产生少量的时延就可以有效的提高视频通信质量，并且只有在发生错误时才会被调用，不会耗费过多资源，是目前解决视频通信中误码问题的重要手段之一。传统的视频错误隐藏技术是在不需要编码器提供额外信息的情况下，在解码端利用视频数据在空间、时间的相关性对丢失或受损区域进行恢复的技术，根据参考信息的选取方式主要可以分为空间错误隐藏和时域错误隐藏两大类。空间错误隐藏是利用空间相邻区域之间的相关性，即视频单帧图像中的冗余度来对丢失区域进行恢复。时域错误隐藏是利用时域相关性，即帧间冗余信息来对丢失区域内容进行恢复。

典型的空间错误隐藏方法有双线性插值法(Bilinear Interpolation，BI)和方向内插法(Direction Interpolation，DI)。二者均是利用受损宏块的边界像素信息进行插值，区别在于选择插值的方向与像素计算方式。Lee Y H,Lin C H,Chen C C,et al.TheVideo Spatial Error Concealment Algorithm Using Separately-DirectionalInterpolation Technique[J].Journal of Signal Processing Systems,2017,88(1):13-27.提出了一种结合使用双线性插值法和方向插值法的独立方向插值法，根据纹理复杂度信息来确定由哪一种插值方法进行恢复，其中双线性插值法对均匀纹理非常有效，方向内插法适用于边缘占优的复杂纹理，独立方向插值法综合两种方法的优点使得错误隐藏的性能得到提升。由于损失面积相对较大时，空间相邻的可用像素与损失像素相距甚远，并且除了静态和均匀场景之外，损失区域的中间部分与空间相邻块的相关性很小。因此，单纯的空间错误隐藏方法恢复效果欠佳。