[发明专利]用于3D显示的基于多线索的视频处理方法

说明书

技术领域

本发明涉及一种视频处理方法，更具体地，涉及一种用于3D显示的基于多线索的视频处理方法。

背景技术

最近几年，由于在包括医疗、教育、娱乐和制造业的广泛领域内的迫切需要，3D(三维)显示市场已经快速扩展。同时，由于大量3D素材(尤其是3D电影)对于普通消费者可用，因此未来几年3D显示市场的扩展速度会更加快速。虽然每年整个电影工业会制作更多的3D电影，但是仍有大量视频素材是通过单个相机捕捉，并以传统2D(二维)格式存储。由于这些单眼2D视频没有相应的深度信息，故它们不能直接被3D显示。因此，由于巨大的市场潜力，2D到3D视频转换技术引起了工业的极大兴趣。

大多数现有转换方法和技术(诸如，TriDef的3D体验方案(DDD))都遵循相似的工作流程：首先从输入视频序列估计似然深度图，随后将视频帧与深度图组合以用于立体视角合成。为了恢复这些场景的深度信息，通常使用各种深度线索(诸如，阴影、运动估计、纹理模式、聚焦/失焦、几何透视和统计模型)用于视频分析。虽然这些现有转换方法获得了一些明显效果，但是它们没有为实际应用做好准备，原因在于：首先，深度线索仅对特定视觉场景具有较好的效果，这种对视觉场景的极端假设通常会在一般视频素材中被干扰；其次，难以将各种线索组合以产生一致的深度结果；再次，从单眼图像或视频恢复深度本身就是不适定问题。在一些情况中，如果没有必需的多视角信息，则不可能测量视觉深度。

显著图是指示视觉场景的视觉显著性的强度图，已经在大脑和视觉科学领域中对其进行了二十多年的研究。图1示出示例性视觉场景及其相应的显著图。如图1所示，显著图中的亮度区域表示引起人类观察者注意的对象。由于显著图可以提供有价值的低等级场景信息，故已经将其广泛应用于许多机器版本任务，诸如自动目标检测和视频压缩等。

然而，现有显著技术不适用于2D到3D视频转换。虽然这些通过现有方法产生的显著图成功地指出场景中的重要对象，但是这些显著图共有以下缺点：出现块状；显著信息没有准确跟随对象边界；对于较大的对象，仅高亮显示轮廓而不填充整个对象。现有显著技术的另一问题是仅聚焦于静态显著特征(诸如，强度/色彩对比、亮度和定位)，而没有对视频素材中提供了重要的视觉信息的动态线索(诸如，运动对象和人)进行处理。

发明内容

本发明提供了一种用于3D显示的基于多线索的视频处理方法，该方法对现有显著技术进行改进，并将改进的显著技术应用于2D到3D视频转换。

本发明提供了一种用于3D显示的基于多线索的视频处理方法，所述方法包括：1)对输入视频的每个帧进行镜头的边界检测，获得镜头的切边界；2)对输入视频的每个像素计算纹理显著；3)对输入视频的每个像素计算运动显著；4)基于获得的镜头的切边界对输入视频的每个像素计算对象显著；5)通过将纹理显著、运动显著、对象显著组合来获得每个像素的通用显著。

所述步骤1)可包括：对输入视频的每个帧计算HSV直方图；计算当前帧与先前帧的HSV直方图之差，得到直方图相交距离；将直方图相交距离与阈值进行比较，如果直方图相交距离低于阈值，则当前帧被检测为镜头的切边界。

所述阈值可等于一帧图像总像素数的一半。

所述步骤1)可包括：对输入视频的每个帧计算HSV直方图；在与当前帧相邻的先前帧和随后帧可用时，计算先前帧与当前帧的直方图之差和当前帧与随后帧的直方图之差，得到第一相交距离和第二相交距离；将第一相交距离与第一阈值进行比较，第二相交距离与第二阈值进行比较，如果第一相交距离低于第一阈值并且第二相交距离高于第二阈值，则当前帧被检测为镜头的切边界。

所述第一阈值可等于第二阈值等于一帧图像总像素数的一半。

所述步骤2)可包括：对每个帧构造金字塔结构，通过一对参数(lx，ly)分别控制金字塔结构的X、Y方向的尺度等级，使用以下公式来计算像素x的纹理显著S_T(x)：