[发明专利]一种高实时性的并行视频编解码方法、系统和存储介质

说明书

本发明涉及一种高实时性的并行视频编解码方法、系统和存储介质，包括：编码步骤，获取参考图像和待编码的原始图像，对该参考图像和该原始图像进行拆分得到多个图像块，并根据拆分顺序为每个图像块分配序号，每个编码引擎编码一个图像块，以得到该原始图像每一个图像块的码流，该码流中包括其对应图象块的序号；解码步骤，使用多个解码引擎根据该序号并行解码该码流，同时进行滤波操作，得到多个解码图像，根据每个该解码图像对应的该序号拼接该多个解码图像，得到复原图象。本发明可通过选择合适的图像块大小和编解码引擎数目，相较通用方案，本发明解码性能超过通用方案。

技术领域

本发明涉及视频编解码领域，并特别涉及一种高实时性的并行视频编解码方法、系统和存储介质。

背景技术

目前通用的视频编解码器，大多数都是对完整的图像进行处理，并且以软件实现为主，满足对实时性要求较低的应用场景。在实时性要求较高的应用场景中，主要基于硬件实现视频编解码器的设计，硬件实现主要包括基于DSP、FPGA和ASIC，但在综合速度和灵活性因素，硬件的主流实现方式为SOC(FPGA+ARM)。但是，对于实时性要求更高的应用场景，通用的基于SOC实现的视频编解码方案依然不能够满足应用，造成这种问题的主要原因是编解码处理对象尺寸过大，不利于进行并行处理，从而导致解码效率低，实时性不强。

具体来说，在以往的技术中编码器和解码器主要针对整帧图像进行处理，数据间的相关性强，不利于并行化操作。以往编、解码器的构成分别如图1和图2所示。以图1为例，输入的帧或场F_n以宏块为单位被编码器处理，ME代表运动估计Motion Estimation。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码，其预测值PRED(图中用P表示)是由当前片中前面已编码的参考图像经运动补偿(MC，Moment Compensation)后得出，其中参考图像用F′_n-1表示。

预测值PRED和当前块F_n相减后，产生一个残差块D_n，经块变换T、量化Q后产生一组量化后的变换系数X，再经重排序和熵编码，与解码所需的一些边信息(如预测模式量化参数、运动矢量等)一起组成一个压缩后的码流，经NAL(Network Abstraction Layer，网络提取层)供传输和存储用。

正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的D′_n与预测值P相加，得到uF′_n(未经滤波的帧)。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出F′_n即重建图像可用作参考图像。

由图2，经熵解码和重排序得到量化后的一组变换系数X，再经反量化、反变换，得到残差D′_n。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差D′_n相加后，就产生uF′_n，再经滤波后，最后就得到滤波后的F′_n，这个F′_n就是最后的解码输出图像。

以往编解码处理原理框图如图3所示。存在的问题是不能充分利用解码器端的并行处理能力，对实时性要求高的应用场景，无法满足要求。

发明内容

为了解决以往解码技术不能充分利用FPGA的并行处理能力，无法满足实时图像处理要求的问题，本发明目的在于通过图像拆分处理算法，实现图像的有效划分，通过设计并例化多个编解码引擎，实现编解码的并行处理，最后，经过图像拼接算法，实现完整图像的显示。本发明首先解决的问题是如何实现图像的有效划分，其次是如何充分利用FPGA并行处理能力，最后是如何恢复完整的图像。

具体地说，本发明公开了一种高实时性的并行视频编解码方法，其中包括：