[发明专利]低码率视频超分辨率重构的编码装置和解码装置

权利要求书

1.一种低码率视频超分辨率重构的编码装置，其特征在于，包括：降采样模块、标准视频编码器、第一标准视频解码器、图像特征分析模块、超分辨率重构辅助码流生成模块、第一超分辨率重构模块、码流合成模块，其中：

降采样模块、图像特征分析模块、超分辨率重构辅助码流生成模块均接收一部分输入编码装置的原始高分辨率图像序列；

降采样模块将原始高分辨率图像序列进行时间和空间的降采样，得到低分辨率图像序列；

标准视频编码器将低分辨率图像序列进行编码得到标准视频码流，并传输到第一标准视频解码器；

第一标准视频解码器将标准视频码流解码得到低分辨率图像序列，并传输给第一超分辨率重构模块；

第一超分辨率重构模块将低分辨率图像序列以及由超分辨率重构辅助码流生成模块输入的超分辨率重构辅助码流，进行超分辨率重构得到超分辨率重构后的图像序列；

图像特征分析模块将原始高质量图像序列和超分辨率重构后的图像序列进行比较，得到重构效果分析数据，并传输给超分辨率重构辅助码流生成模块；

超分辨率重构辅助码流生成模块利用原始高分辨率图像序列数据，并结合来自于图像特征分析模块的重构效果分析数据，生成超分辨率重构辅助码流，并传输给第一超分辨率重构模块，当超分辨率重构效果满足设定指标时，将超分辨率重构辅助码流传输给码流合成模块；

码流合成模块将超分辨率重构辅助码流和标准视频码流混合生成混合视频码流输出。

2.根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述超分辨率重构辅助码流生成模块，包括：分区域统计信息估计模块、矫正信息编码模块、辅助码流编码模块，其中：

分区域统计信息估计模块接收原始高质量图像序列分析得到图像统计信息，矫正信息编码模块接收原始高质量图像序列，并根据输入的重构效果分析数据生成图像矫正信息，将图像矫正信息和图像统计信息通过辅助码流编码模块压缩编码得到超分辨率重构辅助码流。

3.根据权利要求1或2所述的低码率视频超分辨率重构的编码装置，其特征是，所述超分辨率重构辅助码流生成模块，其生成超分辨率重构辅助码流是一个反馈过程，反馈过程具体如下：

首先，超分辨率重构辅助码流生成模块根据输入的原始高质量图像序列和重构效果分析数据生成超分辨率重构辅助码流；

然后，标准视频编码器输出的标准视频码流经过第一标准视频解码器后得到低分辨率的图像序列，连同上述超分辨率重构辅助码流一起输入到第一超分辨率重构模块，得到经过超分辨率重构后的图像序列；

其次，原始高质量图像序列和超分辨率重构后的图像序列被输入到图像特征分析模块，分析图像重构的效果得到重构效果分析数据；

最后，重构效果如果不满足设定的要求，则重复上述操作，将重构效果分析数据输入到超分辨率重构辅助码流生成模块，生成新的超分辨率重构辅助码流；如果满足要求，则将超分辨率重构辅助码流输出，通过码流合成模块，和标准视频码流进行合成后输出。

4.根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述第一超分辨率重构模块，包括：超分辨率预重构模块、重构码流解码器、图像矫正器，其中：

重构码流解码器将输入到超分辨率重构模块的超分辨率重构辅助码流分割成图像统计信息和图像矫正信息，并分别传输给超分辨率预重构模块和图像矫正器；

超分辨率预重构模块根据图像统计信息，对由第一标准视频解码器得到的低分辨图像序列进行超分辨率预重构，得到超分辨率预重构后的图像序列，并传输给图像矫正器；

图像矫正器根据的图像矫正信息，对超分辨率预重构后的图像序列的指定区域进行矫正后得到超分辨率重构后的图像序列。

5.根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述图像特征分析模块，包括：比较器、过滤器、人眼敏感区域分析模块，其中：

比较器将原始高质量图像序列和超分辨率重构后的图像序列进行比较得到残差数据，并将残差数据传输给过滤器；人眼敏感区域分析模块通过分析原始高质量图像序列得到人眼敏感区域信息，并将该信息传输给过滤器；过滤器根据人眼敏感区域信息和残差数据得到重构效果分析数据。