[发明专利]立体图像的处理方法、检测分割方法及相关装置和设备

说明书

本申请公开了一种立体图像的处理方法、检测分割方法及相关装置和设备，包括：从输入的立体图像中检测后期加入物体(PIO)，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO的立体图像进行立体校正处理；在所述经过校正处理后的立体图像中重新加入所述分割提取出的PIO。本发明可以纠正含有PIO的立体图像在进行立体校正时的立体误差，提高立体显示质量。

技术领域

本申请涉及立体图像显示处理技术领域，尤其涉及一种立体图像的处理方法、检测分割方法及相关装置和设备。

背景技术

立体显示技术包括显示内容生成技术和显示设备技术。为了高质量地显示立体图像内容，立体显示设备可以集成对立体图像内容进行处理的技术，通过软件处理的方式，提升三维图像的视觉显示效果。

在现有技术中，一种比较有效的立体图像处理技术是立体图像校正技术。立体图像校正技术的目的是消除立体图像对之间在竖直方向上的视差。这些视差往往是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。这些参数误差可能包括两台相机之间位置上的错位，成像参数的不一致等等。立体图像校正过程通过估计这些误差，得到对立体图像进行变换的参数，使得变换后的立体图像对在竖直方向上的视差消除，只保留在水平方向上的视差。即，相同物体在立体校正之后的立体图像对的左右两图之间的图像点，位于相同的图像行坐标，其位置差异仅仅出现在列坐标上。

现有的立体显示设备对立体图像内容误差的处理技术，主要集中在对相机拍摄的真实三维世界的二维影像的处理。三维世界中的物体被不同视点的左右两台相机拍摄，得到的立体图像对满足对极线(Epipolar Line)几何约束。因此，按照多视角几何理论，只要通过对两幅图像分别进行全局的二维透视投影变换(或者单应变换)，就可以将两幅图像的对极线对齐。如果考虑到镜头成像误差引起的非线性畸变，由于光学镜头引起的畸变是局部平滑的，可以使用局部平滑变换来进行进一步的校正。

但是，对于后期加入物体(PIO，Post Inserted Object)，它们在立体图像中的左右两幅图像之中通常位于相同的水平位置。当立体图像内容本身存在立体误差时，后期加入物体和场景中真实三维物体的立体几何关系不同，这导致在后期加入物体区域中和周围图像内容的立体几何关系的非平滑不连续变化。

因此，现有技术的主要技术问题是：使用现有技术，对立体图像进行一个全局变换或局部平滑的变换，对于具有后期加入物体的立体图像进行校正时，其中的后期加入物体部分将产生立体误差，即竖直方向上的视差，从而对立体图形的视觉效果产生影响，且后期加入物体通常具有比较明显的视觉特征，在这些位置出现的误差极大地影响着用户对立体图像的观看质量。

下面采用附图进一步介绍现有技术的主要缺陷：

图1为一种立体图像的左图和右图形成的图像对的示意图。其中包括立体图像对的左图11和右图12。其中场景中真实物体在左图中的图像为111和112，场景中真实物体在右图中的图像为121和122。在理想的立体图像对的情况下，真实物体在左右两图之间的图像应该对齐在同一条水平线上。由于含有立体误差，如图1所示，真实物体在左右两图之间的图像没有对齐在同一条水平线上。立体图像对中有在后期编辑时加入的物体，即后期加入物体PIO，如电视台的标志和字幕。电视台标志在左右两图中的图像分别为113和123。字幕在左右两图中的图像分别为114和124。后期加入物体通常符合标准的立体几何关系，即它们的图像在左右两图上位于相同的水平线上，如图1所示。

如图1所示，场景中物体的立体图像包含立体图像误差，需要进行立体图像校正。现有的立体图像校正算法分别对两图进行全局变换或者局部平滑的变换，经过变换得到的立体图像对如图2所示。由图2可见，场景中的真实物体在左右两图中的图像对，如211和221，212和222，对齐到相同的水平线上，符合标准的立体几何关系。与此同时，后期加入物体在左右两图中的图像对，如213和223，214和224，由于随着图像进行了变换，引入了立体图像误差，没有对齐到相同的水平线上。这将导致视觉质量的下降。