[发明专利]视频处理系统和方法

说明书

技术领域

本发明涉及一种计算变换的方法，该变换用于将对象模型内的点变换为摄 像机捕获的该对象的图像。本发明还涉及图像处理装置和系统，用于计算变换 以将对象模型内的点变换为摄像机捕获的该对象的图像视图。

本发明的实施例通过在模型内产生模拟特征或效果，可被用于表示在摄像 机捕获的图像内的模拟特征或效果，并利用计算的变换矩阵将该特征或效果置 换为由该模型表示的图像视图。

背景技术

众所周知，提供一种配置，其中通过在视频图像中显示计算机生成图像来 修饰运动会的视频或电视图像，从而例如它们被重叠在显示区域上。例如，在 足球比赛中对阵的球队的广告或俱乐部标志，例如能够被重叠在摄像机捕获的 足球场图像上，从而让运动员看起来是显示在重叠于足球场上的标志图像的最 上方。为了达到这样的效果，即其中计算机生成图像被重叠在特定运动区域图 像上，众所周知根据表示摄像机生成的图像的模型来校正该图像。

此处所用的术语“模型”将被用于指定对象的模拟表示，其具有平面的表 面，如运动区域，该运动区域的图像是利用摄像机捕获的。

正如Zhengyou Zhang于1999年发表在ICCV，第1卷，第666页，标题为 “Flexible Calibration by Viewing a Plane from Unknown Orientations”一文所披露 的，其披露了一种自校准方法，其中在静态场景中移动摄像机，该场景的稳定 性通过单独使用图像信息从一次摄像机移置给摄像机的内部参数提供了两个约 束。该自校准与3-D空间中校准对象几何形状已知的摄影测量校准相比十分精 确。该文披露了一种装置用于转化模型中的点和图像中的点，这样模型中的点 就能映射到图像中，反之亦然。然而，该披露的技术需要将模式添加到图像的 平面表面，该图像在产生五个固有参数的估计以便在模型和图像之间转化之前 被捕获。

特别的，在视场平面如竞技运动场中的图像内表示模型内的特征或效果的 处理所包括或涉及的改进代表一技术问题，例如转化在实时情况下是何时实现 的。

发明内容

根据本发明，提供了一种计算变换矩阵的方法，该变换矩阵用于将对象模 型中的点变换为摄像机捕获的该对象的图像。摄像机生成对象的二维视图，该 对象具有一平面，其包括在该对象平面上定义特征的多条线或边缘。该方法包 括在摄像机图像中确定对象线或边缘上的多个三重点，每个三重点在对象线或 边缘上提供三个或更多的非共线点。该方法包括在模型中确定样本三重点，对 于确定的多个三重点中的每一个，计算变换矩阵用于将来自模型的样本三重点 变换为来自摄像机图像的确定的三重点，对于每一个确定的变换矩阵，计算变 换矩阵用于将来自模型对象的线或边缘上的多个点变换到图像，在由模型中的 对象平面的线或边缘变换的点和对象图像视图中的对应点之间计算比较度量， 确定生成最佳比较度量的变换矩阵。因此，确定的变换矩阵可被用于将模型上 的点变换到摄像机生成的图像中，或将图像中的点变换到模型上。

因此，可利用确定的变换矩阵将模型上的点变换到由摄像机生成的图像中， 或者将图像中的点变换到模型上，这取决于是在图像还是模型中选择多个三重 点和从相应的模型还是图像匹配样本三重点。这是因为，在从模型到图像或从 图像到模型的一个方向上一次性确定的变换矩阵，可被用于计算逆变换以在另 一个方向上变换点。

本发明的实施例能提供一种技术，其根据摄像机捕获的图像的模型，通过 利用对象平面内的线寻找在模型平面或摄像机生成的图像内的点的最佳变换， 自动校准摄像机捕获的图像，其展示对象特征如在摄像机生成的图像视图中所 见的那样。

一旦计算了变换矩阵，可利用其将模型中的点转化为对象图像平面内的点。 因此，可利用变换矩阵将在对象模型内创建而成的图形特征从对象平面转换为 图像视图，从而特殊的效果，如对足球场的修饰，能在足球场的实况图像上被 再现。同样的，对象模型被锁定于摄像机捕获的真实对象的图像，而无需手动 校准或提供训练图像的需求。因此，同现有技术相比，本发明的实施例可被安 排于将对象模型锁定到对象图像而无须在摄像机视场内放置训练对象，因为变 换矩阵的产生是参照对象平面内的线，这些线可能存在于如足球场的对象内。