[发明专利]替换视频流中的对象的方法及计算机程序

权利要求书

1.一种用于替换视频流中的对象的方法，包括：

接收来自至少一台摄像机的一个或多个图像；

分析所述一个或多个图像以提取摄像机位姿参数，所述摄像机位姿参数至少包括所述至少一台摄像机的坐标x、y和z及方向；

使用通过所述至少一台摄像机观看的对象的深度表格创建立体视图，其中，所述深度表格定义从摄像机镜头沿着z轴到所述至少一台摄像机的视场中的每一个对象的距离，所述深度表格包括具有z值的多个像素，其中像素基于所述z值被分组到对象；

使用所述立体视图和所述深度表格识别遮挡背景对象的前景对象；

检测前景对象轮廓；

用前景对象轮廓创建遮挡掩模；

使用所述摄像机位姿参数计算替换图像；以及

将所述遮挡掩模应用于所述替换图像。

2.根据权利要求1所述的方法，其中，用从至少两台摄像机接收的图像来创建所述立体视图。

3.根据权利要求1所述的方法，其中，建立所述摄像机位姿参数包括：

检测在当前图像与之前的图像之间是否发生剪切；

其中，如果没发生剪切，

将所述之前的图像的背景信息和摄像机位姿参数用在所述当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改；

根据所述背景变化计算背景信息，并根据所述摄像机位姿参数修改计算新摄像机位姿参数，以及

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移，并针对所述前景对象更新所述深度表格；

其中，如果发生了剪切，

根据所述当前图像和存储的图像视图之间的可能匹配来识别正确的摄像机，以及；

设置所述新摄像机位姿参数。

4.根据权利要求1所述的方法，其中，创建所述立体视图包括：

将之前的图像的背景信息和摄像机位姿参数用在当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改，从而计算新摄像机位姿参数；

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移；并针对每个前景对象更新所述深度表格。

5.根据权利要求1所述的方法，其中，当只有单一摄像机可用时，创建所述立体视图包括：

接收所述摄像机位姿参数；

检测当前图像和之前的图像之间的剪切；

如果没检测到剪切，

检测背景和前景信息并更新深度表格；以及

如果检测到剪切，

接收下一个图像，以及使用所述摄像机位姿参数分析所述当前图像和所述下一个图像之间的差异并使用背景和前景信息来更新深度表格。

6.根据权利要求1所述的方法，其中，来自所述至少一台摄像机的所述一个或多个图像形成以3D接收的馈送，并且其中，与所述对象相关的深度信息直接从所述馈送获得。

7.根据权利要求1所述的方法，还包括替换过程，其中所述替换过程包括：

将所述一个或多个图像中的图像中的将被替换的源图像与所述源图像的可用表示相匹配；

计算所述源图像的所述可用表示和将被替换的所述源图像之间的差异，以及

提取摄像机位姿参数。

8.根据权利要求1所述的方法，还包括：

当将被替换的源图像的表示不可用时，使用模式识别从所述一个或多个图像中的图像识别所述源图像。