[发明专利]图像处理装置和图像处理方法

说明书

由校正方法确定单元40和帧间预测单元42配置的运动矢量校正单元对使用鱼眼透镜捕获的鱼眼图像中的当前预测块的例如外围块的运动矢量执行缩放处理，缩放处理是基于例如鱼眼透镜投影方法和鱼眼图像的半径的鱼眼信息而执行的。在缩放处理中，在缩放之前将外围块的运动矢量转换为没有鱼眼失真的图像中的运动矢量，并且将缩放之后的运动矢量转换为鱼眼图像中的运动矢量。通过缩放处理减小了当前预测块的运动矢量与预测运动矢量之间的任意差异，从而使得可以提高对鱼眼图像进行编码的效率。

技术领域

本技术涉及图像处理装置和图像处理方法。

背景技术

在对通过使用鱼眼透镜进行拍摄而获得的鱼眼图像的编码/解码处理中，编码/解码处理可以与通过使用例如视场角比鱼眼透镜的视场角窄的普通透镜进行拍摄而获得的图像(普通图像(normal image))类似地来实现。然而，鱼眼图像包括鱼眼失真，即随着物体沿中心方向远离中心而增大的失真。因此，例如在执行帧间预测的情况下，与普通图像相比，编码效率劣化。因此，在PTL1中，通过校正信息生成器对鱼眼图像的失真进行校正，并且然后与普通图像类似地来检测运动矢量。

引用列表

专利文献

PTL 1：JP 2017-120980A

发明内容

技术问题

其中，由PTL 1中的校正信息生成器执行的失真校正处理没有考虑透镜独有的特性式(characteristic formula)。因此，在一些情况下，在失真校正方面产生误差。另外，由于失真校正的误差，可能增加运动矢量的误差。在视场角为例如180°的情况下，当将鱼眼图像校正为普通图像时，误差被扩展到无穷大。因此，当将鱼眼图像中的预定范围变换为普通图像以进行编码时，在解码时没有获得除该预定范围以外的图像，从而使得鱼眼图像不能再现。

因此，本技术的目的是提供一种能够以高编码效率执行鱼眼图像的编码处理或解码处理的图像处理装置。

问题的解决方案

本技术的第一方面是一种图像处理装置，该图像处理装置包括运动矢量校正单元，该运动矢量校正单元基于关于鱼眼透镜和使用鱼眼透镜拍摄的鱼眼图像的鱼眼信息，对鱼眼图像中的用于计算当前预测块的预测运动矢量的运动矢量执行缩放处理。

在本技术中，运动矢量校正单元基于例如鱼眼透镜的投影方法和使用鱼眼透镜拍摄的鱼眼图像的半径的鱼眼信息，对例如鱼眼图像中的当前预测块的外围块的运动矢量执行缩放处理，并且使用外围块(peripheral block)的缩放处理之后的运动矢量来计算预测运动矢量。在缩放处理中，例如通过使用对根据距鱼眼透镜的中心的距离和鱼眼图像的半径而变化的鱼眼失真进行校正的校正因子，将鱼眼图像中的外围块的运动矢量变换为没有鱼眼失真的图像中的运动矢量来执行缩放，并且将缩放之后的运动矢量变换为鱼眼图像中的运动矢量。校正因子是基于鱼眼透镜的投影方法的特性式和用于获得没有鱼眼失真的图像的中心投影方法的特性式而计算的。针对鱼眼透镜的每种投影方法，预先将计算出的校正因子标准化为表以进行保持，并且使用保持的校正因子表中的与用于拍摄的鱼眼透镜对应的校正因子表来执行缩放处理。

对鱼眼图像进行编码的图像处理装置使无损编码器将鱼眼信息并入鱼眼图像的编码流中。无损编码器将指示是否执行缩放处理的信息并入编码流中。鱼眼信息可以包括例如鱼眼透镜的投影方法和鱼眼图像的半径，或者可以包括指示光学图像的投影方法而不是鱼眼图像的半径的信息。

在对鱼眼图像的编码流进行解码的图像处理装置中，运动矢量校正单元使用通过由无损解码器对编码流进行解码而获得的鱼眼信息，对例如外围块的运动矢量执行缩放处理。此外，在通过由无损解码器对编码流进行解码而获得的信息指示要执行缩放处理的情况下，运动矢量校正单元使用鱼眼信息来执行缩放处理。