[发明专利]立体图像处理方法、装置以及立体视频显示设备

权利要求书

1.一种立体图像处理方法，包括：

判断图像帧中的立体图像内容是否存在立体误差，其中所述图像帧包括至少两个不同视角的图像；

响应于存在立体误差，检测所述图像帧中是否存在与所述立体图像内容具有不同立体几何约束的对象；以及

若检测到所述对象，则针对所述立体图像内容和所述对象分别进行处理。

2.根据权利要求1所述的方法，其中，针对所述立体图像内容和所述对象分别进行处理，包括：

将所述对象从所述图像帧中分割出去；

填补所述图像帧中由于所述分割产生的图像空洞；以及

对填补后的图像帧执行立体校正。

3.根据权利要求2所述的方法，其中，所述对象为所述图像帧中的后期插入对象，并且将所述对象从所述图像帧中分割出去基于所述对象的至少一个如下属性：可预期的形体特征、时域上的稳定性、以及符合标准的立体几何关系。

4.根据权利要求2或3所述的方法，其中，所述对象是后期插入的字幕，将所述对象从所述图像帧中分割出去，包括：

从所述图像帧的不同视角的图像中分别检测文字笔画特征；

提取包含所述文字笔画特征的字幕框；

在所述字幕框中，根据文字颜色分割出文字像素；以及

将所述文字像素从所述图像帧中分割出去。

5.根据权利要求4所述的方法，其中，在根据文字颜色分割出文字像素之前，还包括：

通过匹配所述不同视角的图像的字幕框确定字幕深度；以及

根据字幕深度去除误检测的字幕框。

6.根据权利要求2或3所述的方法，其中，所述对象是后期插入的视频图标，将所述对象从所述图像帧中分割出去，包括：

利用预先建立的视频图标的模板图像对所述图像帧的不同视角的图像分别进行匹配；以及

将所匹配的区域作为所述视频图标从所述图像帧中分割出去。

7.根据权利要求6所述的方法，其中，所述视频图标的模板图像通过如下离线处理方式来建立：

初始化图标图像；

按照时间顺序读取输入视频的每一帧图像并根据相邻两帧之间的像素颜色差异更新图标图像；以及

将收敛得到的图标图像作为所述视频图标的模板图像。

8.根据权利要求2或3所述的方法，其中，所述对象是后期插入的图形对象，将所述对象从所述图像帧中分割出去，包括：

将所述图像帧的不同视角的图像中的任一图像分割为多个图像区域；

针对每个图像区域，在所述图像帧的不同视角的图像中的另一图像中相同水平线上的每个位置进行匹配；以及

根据匹配结果确定所述图形对象并将其分割出去。

9.根据权利要求8所述的方法，其中，针对每个图像区域进行匹配包括：

计算所述图像区域在所述每个位置的匹配度量,从中找到一个最优匹配度量；并且

所述根据匹配结果确定所述图形对象并将其分割出去，包括：

判断所述最优匹配度量是否满足预设条件；

响应于所述最优匹配度量满足预设条件，确定所述图像区域为后期插入的图形对象；以及

将所述图形对象从所述图像帧中分割出去。

10.根据权利要求2所述的方法，其中，填补所述图像帧中由于所述分割产生的图像空洞，包括根据周围图像的信息，基于以下至少一种方式对所述图像空洞进行填充：

对于所述图像空洞中的每个对象像素，使用距离所述对象像素最近的立体图像内容中的像素来填充；

按照所述图像空洞周围的图像纹理特征，对所述图像空洞进行填充；

根据所述图像空洞周围的物体类别信息推理图像内容信息，以对所述图像空洞进行填充；以及

利用所述图像帧的不同视角的图像之间的互补信息，对所述图像空洞进行填充。

11.根据权利要求1所述的方法，其中，判断图像帧中的立体图像内容是否存在立体误差，包括：

判断所述图像帧是否为视频段的边界帧；

响应于所述图像帧是所述视频段的边界帧，检测所述图像帧中是否存在立体误差，以及基于检测结果更新所述视频段的立体误差信息以及立体校正变换；以及

响应于所述图像帧是所述视频段的非边界帧，基于所述视频段的立体误差信息来判断是否存在立体误差。