[发明专利]替换视频流中的对象的方法及计算机程序

说明书

本发明涉及替换视频流中的对象的方法。视场的立体视图被创建。其用于测量距离摄像机的距离并确定前景、背景和遮挡对象。立体视图可由3D摄像机提供或其可使用来自单一摄像机或多台摄像机的信号构造。将被替换的对象的结构可以是静态的或动态的。该方法不需要任何特殊设备来跟踪摄像机的位置并且其可被用于直播内容及存档的材料。本发明利用了当将被替换的对象被电子地被填充时的特殊情况中将被替换的源材料。

技术领域

本发明涉及图像处理且更具体地涉及替换视频流中的对象的方法以及用于执行该方法的计算机程序。

更具体地说，该方法涉及检测和识别视频流中将被替换的对象并用替换图像或图像序列替换它们。可使用本方法的典型应用是在体育事件的现场直播期间替换出现在围绕运动场或现场的其它区域的周界板上的广告图像。这允许当对不同的位置进行播出时传递出现在这些区域的多个广告内容。

背景技术

虚拟插入、增强现实和图像替换在过去的15年里已经作为研究领域。考虑到移动的对象遮挡将被替换的前景图像，已经提出了很多不同的方法以使虚拟图像尽可能看起来真实和自然。

现有技术可被分类为四大类：

·跟踪摄像机设备；

·地标识别；

·手动选择将被替换的对象或区域；

·通过图像分析装置预先识别将被代替的图像。

这些技术尤其是在现场直播中受到限制，导致它们变得不切实际或不可靠。图像替换被期望增加赞助或广告收益，因此，这种方法需要保证在各种情况下的可操作性，以使收益流可以是有保障的。然而，现有的解决方案具有较多的限制。

使用测量设备跟踪有基座的摄像机仅可以在现场进行并需要特定的设备和操作员。很多播出操作不能担负这样的跟踪开销。

用于报道比赛所需的任意摄像机视点不能确保任何地标在采集的图像上都是明显的。地标识别仅可被应用于某些摄像机和某些拍摄。

手动交互，尤其是替换视频图像上的区域将花费太长时间而不能用于直播事件。其强制延迟多秒，是不切实际的。

图像识别技术已经被用于识别采集的图像中的对象模式。动态广告的发展(在广告牌、周界板、显示屏......上部署全动态视频)使这些方法过时，因为将被替换的图像通常不能被预测。

大部分现有工作基于摄像机定位系统(跟踪头部、GPS、基于镜头的测量)和/或可视地标(通常是运动场的线和图)。

例如，以下是关于这种情况：

WO 97/00581 A1：需要至少三个地标可见

WO 2009/018135A1：使用3D对象模型适应的基于GPS的对象定位。

US7230653B1：基于使用GPS和镜头方向指示测量的跟踪和传感器遥测的方法；另外，这个专利从静态参考CAD模型识别图像，以致其用于LED板的替换是不切实际的。

一些方法包括手动对象识别过程，导致它们对于直播事件和多对象替换(诸如环绕周界板)是不切实际的：

US7689062B2：在源视频段中植入容器；这是纯后期处理过程，不能用于直播事件播出。

US2010067865A1：要求用户选择的输入区域，以致其对于在自动区域检测必须被实时执行时的直播事件不适用。

当周界板的内容是静态时的过去的方法与当前LED板的动态内容需求不匹配。所有这些方法需要对将被代替的静态图像预先识别：

US7116342B2描述了基于色彩分离模型以识别、存储和索引关注的区域的方法，并因此该方法不能用于周界板的动态内容。