[发明专利]图像处理方法、图像处理装置、摄像装置及图像处理程序

说明书

技术领域

本发明涉及一种图像处理方法、图像处理装置、摄像装置及图像处理程序。

背景技术

已知的摄像装置利用单个摄像光学系统通过一次拍摄生成彼此具有视差的多个视差图像。

现有技术文献

专利文献1：日本特开2003-7994号公报

发明内容

发明要解决的问题：

在专利文献1中并未公开当采用由一台相机完成的新的立体摄像方式时，实际上从摄像数据生成高清晰的立体彩色图像的具体方法。通常，已知在由一台相机进行2D摄像时的2D彩色图像生成过程中实施色彩插值、此后进行噪音去除、边缘增强等而得到高清晰2D图像的手法。然而，在新的3D摄像方式中，经过何种手续便能最终得到高清晰的立体图像仍处于未知的状态。例如，在这种摄像装置中，有时使用生成的视差图像生成高分辨率的视差图像。在此情形中，对所生成的多个视差图像单独实施边缘增强、噪音去除等滤波处理，伴随着各个视差像素采样密度的不足，反而会在各个视差图像中产生莫尔赝像。

解决问题的方案：

本发明第一形态中的图像处理方法，输入使用摄像元件经由一个光学系统输入将被拍体像以基准方向视点、左方向视点和右方向视点同时拍摄到各不相同像素中的第一图像，转换为左方向视点相关的图像和右方向视点相关的图像，该摄像元件包括在一个像素具有一个开口掩模的多个像素，并包括配置有具备生成基准方向视点的开口掩模的无视差像素、具备相对于基准方向生成左方向视差的开口掩模的左视差像素、以及具备相对于基准方向生成右方向视差的开口掩模的右视差像素的至少三种像素的像素排列，该图像处理方法包括：使用第一图像的左视差像素的像素值在各像素生成临时左视点图像的步骤；使用第一图像的右视差像素的像素值在各像素生成临时右视点图像的步骤；使用第一图像的至少无视差像素的像素值在各像素生成基准视点图像的步骤；对基准视点图像进行边缘增强处理，生成被边缘增强的基准视点图像的步骤；以及基于被边缘增强的基准视点图像、临时左视点图像和临时右视点图像，在各像素分别生成左方向视点相关的图像和右方向视点相关的图像的步骤。

本发明第二形态中的图像处理方法输入使用摄像元件经由一个光学系统输入将被拍体像以基准方向视点、左方向视点和右方向视点同时拍摄到各不相同像素中的第一图像，并将该第一图像转换为左方向视点相关的图像和右方向视点相关的图像，该摄像元件包括在一个像素具有一个开口掩模的多个像素，并包括配置有具备生成基准方向视点的开口掩模的无视差像素、具备相对于基准方向生成左方向视差的开口掩模的左视差像素、以及具备相对于基准方向生成右方向视差的开口掩模的右视差像素的至少三种像素的像素排列，该图像处理方法包括：使用第一图像的左视差像素的像素值在各像素生成临时左视点图像的步骤；使用第一图像的右视差像素的像素值在各像素生成临时右视点图像的步骤；使用第一图像的无视差像素的像素值在各像素生成基准视点图像的步骤；对基准视点图像进行噪音去除处理并生成噪音去除后的基准视点图像的步骤；基于噪音去除后的基准视点图像、临时左视点图像和临时右视点图像，在各像素分别生成左方向视点相关的图像和右方向视点相关的图像的步骤。

本发明第三形态中的图像处理装置包括：视差图像数据取得部，取得相对于基准方向向第一方向错开的视点所对应的第一视差图像数据和相对于基准方向向与第一方向相反的第二方向错开的视点所对应的第二视差图像数据；基准图像数据取得部，取得对应于基准方向且分辨率高于第一视差图像数据及第二视差图像数据的空间频率分辨率的基准图像数据；滤波处理部，对基准图像数据实施边缘调整及噪音去除的至少之一的滤波处理；以及视差图像数据生成部，使用实施了滤波处理的基准图像数据、第一视差图像数据及第二视差图像数据生成向第一方向错开的视点所对应的第三视差图像数据、向第二方向错开的视点所对应的第四视差图像数据。

本发明第四形态中的摄像装置包括：摄像元件，输出第一视差图像数据及第二视差图像数据的至少之一；以及上述图像处理装置。