[发明专利]图像再生方法、图像再生装置、图像再生程序、摄像系统及再生系统

说明书

技术领域

本发明涉及图像再生技术，尤其涉及对采用通过削减时间方向的冗余性来进行信息量的压缩的画面间预测编码而被编码后的运动图像数据流进行译码并再生的图像再生。

背景技术

近年来，广泛研究了以MPEG-2(ISO/IEC 13818-2)为首的MPEG-4(ISO/IEC 14496-2)或H.264(ISO/IEC 14496-10)这样的运动图像编码技术，并在计算机、通信、民用AV设备以及广播等各种各样领域中被应用。

在这些运动图像编码技术中，通过采用画面内预测编码与画面间预测编码这两种编码方式，从而进行了信息量的压缩，其中，画面内预测编码削减同一画面上的空间方向的冗余性，画面间预测编码参考已被编码、解码前后的图像(参考图像)来生成预测图像、且通过对得到的预测图像和编码对象图像的差分值进行编码来削减时间上的冗余性。为了对被画面间预测编码的运动图像数据流进行译码并再生，需要为了生成预测图像而用于暂时存储参考图像的参考图像存储器。作为该参考图像存储器，一般使用DRAM这样的外部存储器、或者内置于系统LSI中的混合存储器，为了生成预测图像，对该参考图像存储器产生存储器存取。

另一方面，近年来，以大画面的等离子显示器或液晶电视为首的高清平板显示器在市场中正在迅速普及，能够以几万日元左右的合理价格购买高清HDTV可记录运动图像的数码摄像机或数字静态照相机等民用小型照相机。为了译码并再生利用这种照相机拍摄到的运动图像数据流，需要搭载如下的参考图像存储器：即便产生对参考图像存储器的频繁的存储器存取(存取量)也不会存在问题且能正常对运动图像数据流进行译码，且具有高频带的存储器带宽。

为了确保高频带的存储器带宽，需要使用多个具有例如32bit的数据位宽度的DRAM，或者需要使用LPDDR2(Low Power Double Data Rate 2)-SDRAM这样的即便在高速的工作频率下也能工作的高性能DRAM。但是，无论在哪种情况下，由于安装成本变高或者功耗变大，因此都存在难以低成本化和省电力化的课题。尤其是，在利用小型电池进行工作的数码摄像机或数字静态照相机等民用小型照相机中，对低成本/省电力的需求非常高，为此正在盛行与运动图像数据流的译码中的低成本/省电力化相关的研究。

接着，以下说明译码并再生运动图像数据流的一般方法。

图11是简单表示输入运动图像数据流并依次进行译码后输出再生图像的一般图像再生装置的图。从输入端子2输入成为再生对象的运动图像数据流，在译码器603中针对每个图像依次进行图像层、宏块条层、宏块层的译码。被译码后的图像从输出端子13输出至未图示的显示控制部。另外，需要作为参考图像残留的图像(例如I/P图像)被写入至参考图像存储器5中，从而被暂时存储。在由具有例如32bit的数据总线的存储器构成了参考图像存储器5的情况下，利用将4像素(8bit×4像素＝32bit)存储在一个地址中的方式来进行写入，在由具有64bit的数据总线的存储器构成了参考图像存储器5的情况下，利用将8像素(8bit×8像素＝64bit)存储在一个地址中的形式来进行写入。

另外，在对进行了画面间预测编码的图像(例如P/B图像)实施译码的情况下，依次读出参考图像存储器5所存储的参考图像来生成预测图像，与被译码后的差分值进行相加后从输出端子13输出至未图示的显示控制部。

读出在参考图像存储器5中以上述形式暂时存储的参考图像时，基于成为译码对象的宏块画面内的位置和运动矢量值，来计算出参考图像的二维空间内的读出起始地址，并变换成参考图像存储器5的读出地址(如果是具有32bit的数据总线的存储器，则指4像素单位的地址)。

图13(1)、(2)表示其一例。在计算出的参考图像的二维空间内的读出起始地址与参考图像存储器5的读出地址的边界一致的情况下(图13(1))，用于生成16×16像素的预测图像的读出时所产生的读取信息量成为256字节(4像素单位的地址时是64个地址)，根本没有产生读出中的包括无效像素的传输。另一方面，在计算出的参考图像的二维空间内的读出起始地址与参考图像存储器5的读出地址的边界不一致的情况下(图13(2))，用于生成16×16像素的预测图像的读出时所产生的读取信息量成为320字节(4像素单位的地址时是80个地址)，产生较多的读出中的包括无效像素的传输，从而读出中的开销(overhead)变大。