[发明专利]立体图像处理方法、装置以及立体视频显示设备

说明书

技术领域

本申请涉及计算机处理领域，具体涉及立体显示技术，尤其涉及立体图像处理的方法、装置以及立体视频显示设备。

背景技术

立体显示技术包括显示内容生成技术和显示设备技术。为了高质量地显示立体图像内容，立体显示设备可以集成对立体图像内容进行处理的技术，通过软件的方式提升三维图像的视觉显示效果。当立体显示设备显示的立体图像内容中包含竖直方向的视差时，三维图像的视觉质量会产生下降。

一种有用的立体图像处理功能是立体图像校正。立体图像校正的目的是消除立体图像对之间在竖直方向上的视差。这些视差往往是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。这些参数误差可能包括两台相机之间位置上的错位，成像参数的不一致等等。立体图像校正过程通过估计这些误差，得到对立体图像进行变换的参数，使得变换后的立体图像对在竖直方向上的视差消除，只保留在水平方向上的视差。即，相同物体在立体校正之后的立体图像对的左右两图之间的图像点，位于相同的图像行坐标，其位置差异仅仅出现在列坐标上。

已经提出了一些用于立体图像校正的方法。例如，已知一种校正方法可以在立体视觉系统中校正三维物体的二维图像。该方法根据特殊的透视投影变换或仿射投影变换计算二维透视投影变换或单应变换。这是一种对图像的全局变换。又例如，已知另一种校正方法使用带有局部变形的网格变换来代替全局变换，可以适应更加复杂的立体误差情况。其基本假设是两幅图像之间的变换是局部平滑的。

这些已知的立体图像校正方法对立体图像内容误差的处理技术集中在对相机拍摄的真实三维世界的二维影像的处理。三维世界中的物体被不同视点的左右两台相机拍摄，得到的立体图像对满足对极线(Epipolar Line)几何约束。因此，按照多视角几何理论，只要通过对两幅图像分别进行全局的二维透视投影变换(或者单应变换)，就可以将两幅图像的对极线对齐。如果考虑到镜头成像误差引起的非线性畸变，由于光学镜头引起的畸变是局部平滑的，可以使用类似上述第二种校正方法提出的局部平滑变换来进行进一步的校正。

发明内容

在实际应用中，一些立体图像内容可能在后期编辑时被加入一些物体，例如字幕、视频图标等。这些后期叠加物体的立体几何关系和立体图像内容的立体几何关系不同，传统的立体校正算法会在这些物体区域产生误差。

为了解决上述一个或多个问题，本申请提供一种立体图像处理方法、装置以及立体视频显示设备。

第一方面，本申请提供了一种立体图像处理方法。该方法包括：判断图像帧中的立体图像内容是否存在立体误差，其中图像帧包括至少两个不同视角的图像；响应于存在立体误差，检测图像帧中是否存在与立体图像内容具有不同立体几何约束的对象；以及若检测到对象，则针对立体图像内容和该对象分别进行处理。

在一些实施例中，针对立体图像内容和对象分别进行处理，包括：将对象从图像帧中分割出去；填补图像帧中由于分割产生的图像空洞；以及对填补后的图像帧执行立体校正。

在一些实施例中，对象为图像帧中的后期插入对象，并且将对象从图像帧中分割出去基于对象的至少一个如下属性：可预期的形体特征、时域上的稳定性、以及符合标准的立体几何关系。

在一些实现中，对象为后期插入的字幕。在这些实现中，将对象从图像帧中分割出去，包括：从图像帧的不同视角的图像中分别检测文字笔画特征；提取包含文字笔画特征的字幕框；在字幕框中，根据文字颜色分割出文字像素；以及将文字像素从图像帧中分割出去。

在一些实现中，在根据文字颜色分割出文字像素之前，还包括：通过匹配不同视角的图像的字幕框确定字幕深度；以及根据字幕深度去除误检测的字幕框。

在另一些实现中，对象为后期插入的视频图标。在这些实现中，将对象从图像帧中分割出去，包括：利用预先建立的视频图标的模板图像对图像帧的不同视角的图像分别进行匹配；以及将所匹配的区域作为视频图标从图像帧中分割出去。

在一些实现中，视频图标的模板图像通过如下离线处理方式来建立：初始化图标图像；按照时间顺序读取输入视频的每一帧图像并根据相邻两帧之间的像素颜色差异更新图标图像；以及将收敛得到的图标图像作为视频图标的模板图像。

在又一些实现中，对象为后期插入的图形对象。在这些实现中，将对象从图像帧中分割出去，包括：将图像帧的不同视角的图像中的任一图像分割为多个图像区域；针对每个图像区域，在图像帧的不同视角的图像中的另一图像中相同水平线上的每个位置进行匹配；以及根据匹配结果确定图形对象并将其分割出去。