[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本发明涉及图像处理装置、图像处理方法和程序。

背景技术

近年来，与数字视频数据(在下文中被称作视频数据)的发布相关的技 术得到了极大发展。具体地，与高图像质量视频数据的发布和记录相关的技 术的发展特别突出。在这些技术中，与视频数据的编码和解码相关的技术受 到了关注。具有高空间分辨率和时间分辨率的视频数据具有非常大的数据尺 寸，因此期望在编码之后通过有效压缩来发布或记录这样的视频数据。为此， 期望使能够以更高压缩率来压缩高图像质量视频数据的编码技术和解码高 图像质量视频数据以便以更高的空间分辨率来再现的技术。

例如，专利文件1和2公开了用于通过将具有低空间分辨率和高时间分 辨率的第一视频数据(例如运动图像数据等)与具有高空间分辨率和低时间 分辨率的第二视频数据(例如静止图像数据序列等)组合而生成具有高空间 分辨率和时间分辨率的视频数据的基本技术。这样的技术从第一视频数据中 预测帧之间的运动向量，并且使用运动向量和第二视频数据来补偿第一视频 数据的高频成分。这样的技术使用从第一视频数据检测的运动向量和在与任 意时间点接近的时间点处的第二视频数据的帧，来生成未包含在第二视频数 据中的该任意时间点的帧。专利文件1和2包括与用于使用上述技术生成具 有高空间分辨率和时间分辨率的视频数据的图像数据记录和再现设备相关 的描述。

现有技术文件

[专利文件1]日本专利申请特开No.2004-312276

[专利文件2]日本专利申请特开No.2004-312277

发明内容

然而，因为上述的图像数据记录和再现设备使用具有不同空间分辨率的 视频数据来执行运动预测和运动补偿，所以如果关闭运动预测，则噪声将被 添加到通过运动补偿获得的视频数据的高频成分。

根据前述，期望提供新颖且改善的图像处理装置、图像处理方法和程序， 它们能够在通过具有低空间分辨率的图像数据序列的运动预测和使用高空 间分辨率的图像数据的运动补偿来生成高空间分辨率的图像数据时，防止将 噪声被添加到图像数据的高频成分。

根据本发明的实施例，提供了一种图像处理装置，包括：获取单元，用 于获取包含多个连续帧的运动图像数据以及对应于所述帧并具有比所述帧 高的空间分辨率的一个或多个图像数据；运动预测单元，用于使用所述运动 图像数据来检测所述帧之间的运动向量；差分量计算单元，用于计算任意帧 和对应于所述图像数据的帧之间的差分量；以及图像生成单元，用于基于与 所述图像数据对应的帧和所述运动向量来生成与所述任意帧对应的运动补 偿图像数据。此外，如果所述差分量小于预定值，则所述图像生成单元生成 具有与所述图像数据相同的空间分辨率的运动补偿图像数据，以及如果所述 差分量大于预定值，则生成其中任意帧被放大到与所述图像数据相同的空间 分辨率的图像数据。

图像处理装置还可以包括存储单元，用于记录运动图像数据以及一个或 多个图像数据。获取单元获取记录在存储单元中的运动图像数据和一个或多 个图像数据。

此外，存储单元可以记录有作为所述运动图像数据的、具有低空间分辨 率和高时间分辨率的第一图像数据序列以及作为所述一个或多个图像数据 的、具有比所述第一图像数据序列高的空间分辨率和低的时间分辨率以便对 应于所述第一图像数据序列中所包含的帧的第二图像数据序列。

此外，图像生成单元可以将包含在所述第一图像数据序列中而未包含在 所述第二图像数据序列中的帧作为所述任意帧，生成对应于所述任意帧的图 像数据，并增强所述第二图像数据序列的时间分辨率。

此外，存储单元可以记录有通过对成像的图像信号下采样获得的图像数 据序列，作为所述运动图像数据。

此外，如果所述差分量大于预定值，则所述图像生成单元可以根据运动 补偿中的差分量来改变将作为所述运动向量的参考源的任意帧和作为所述 运动向量的参考目的地的图像数据相组合的比率。