[发明专利]一种编码图像的修复方法及相关系统和装置

说明书

本申请公开了一种编码图像的修复方法及相关系统和装置，其中，该编码图像的修复方法包括：获取到待处理的图像帧，并对图像帧的画质进行预测，得到预测结果；基于预测结果确定图像帧的图像修复模型的类型，得到与预测结果匹配的图像修复模型；通过与预测结果匹配的图像修复模型对图像帧进行修复。通过上述方式，本申请通过首先对受损的图像帧在后续中的修复效果进行画质预测，以能够基于相应的预测结果确定出该图像帧对应的图像修复模型，以对图像帧进行修复，从而有效地实现了图像帧编码及修复的实时性，提升了相应的处理速度，自适应能力强，且适用性高。

技术领域

本申请涉及图像修复技术领域，尤其是涉及一种编码图像的修复方法及相关系统和装置。

背景技术

随着互联网视频数据的急剧增长，在无线信道或者网络上传输视频流的时候，为了控制视频的存储和传输成本，一般会采用较高的压缩率进行视频编码。而常见的视频编码压缩标准，例如，H.264/AVC(高度压缩数字视频编解码器标准)，通常会采用有损的编码压缩算法。而这些压缩算法在减小视频体积的同时，会引入压缩伪影，如块效应、振铃效应、呼吸效应等，最终导致终端接收到的图像质量较差。人是视频数据的最终接收者，而视频质量不好会影响到人的观看感受，因此需要采用某种形式的编码图像修复技术，以改善接收到的视频信号的质量。

其中，传统意义上的图像修复是指用视觉上合理的内容填充到相应图像中缺损或被遮挡的区域中，而被广泛应用于文物保护和电影特技，以及遮挡图象的填充和图像/视频传输中的错误掩盖等应用场景，具有重要的应用价值，是计算机图形学和计算机视觉的研究热点。在现有技术中，图像修复通常是通过深度学习的方法来实现，例如，通过训练自编码全卷积神经网络或者对抗生成网络来获得图像修复模型。

其中，编码图像修复是一种用于提升视频画质的技术，而非传统意义上的图像修复。这种图像并无内容上的缺失，其损失是由基于块的混合编码技术造成的压缩伪影。而通过对压缩编码之后质量较差的图像进行去压缩伪影，能够提升视频的画质，使之更容易被用户接受。传统的视频去压缩伪影算法，是通过设计一种滤波器来达到目的，例如，通过线性低通滤波器、线性或非线性的各向同性滤波器，H.265/HEVC(高效视频编码标准)中的去块滤波器(DF，Deblocking Filter)以及样点自适应补偿(SAO，Sample Adaptive Offset)，都在一定程度上有效的减轻了块效应或者振铃效应，但也带来了一些问题，比如线性低通滤波器会使恢复的视频变得模糊；线性或非线性的各向同性滤波器需要根据经验设定滤波器的阈值，阈值的设定通常会对滤波结果产生较大的影响，鲁棒性较弱；而H.265/HEVC中的技术则大大增加了编码的复杂度，影响了编码算法的实时性。

而深度学习技术凭借其优越的通用性和自适应性，在很多领域取得了优异的成果，当然也包括视频去压缩伪影。该方向的研究主要分为环内滤波和环外滤波两个方面。环内滤波通常采用深度神经网络替换原有的编码模块，以提升整体的编码质量，但是这种做法会严重影响编码速度，实时性较差。环外滤波则是采用深度神经网络对解码后的视频帧进行后处理。这种方法不会影响原有的视频编码框架，能够适用于不同的压缩算法，但是目前该类算法仍然缺乏自适应能力。

发明内容

本申请主要解决的技术问题是提供一种编码图像的修复方法及相关系统和装置，该编码图像的修复方法能够解决现有技术中对编码图像进行修复的过程中编码速度较差、实时性较差，缺乏自适应能力的问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种编码图像的修复方法，其中，该编码图像的修复方法包括：获取到待处理的图像帧，并对图像帧的画质进行预测，得到预测结果；基于预测结果确定图像帧的图像修复模型的类型，得到与预测结果匹配的图像修复模型；通过与预测结果匹配的图像修复模型对图像帧进行修复。