[发明专利]图像处理装置及方法

说明书

技术领域

本发明涉及产生包括多个排列于平面上的对象的场景的三维表示的图像处 理装置及方法，该三维表示从由摄像机捕获的该场景的一个或多个视频图像中 产生，该视频图像包括平面上对象的视图。

背景技术

通过添加可叠加于比赛场上的图形化特征或效果到图像上，例如体育比赛 的实况比赛(1ive event)的视频图像适合于修饰图像。例如，广告或在足球比赛 中彼此比赛的球队的俱乐部徽章可以叠加于由摄像机捕获的足球场图像之上， 使得运动员看起来是在叠加于足球场上的徽章的图像之上进行比赛。同样地， 整场比赛中可以手动追踪运动员，追踪图形可以手动地叠加于感兴趣的运动员 之上，以突出显示该运动员的能力。

为了提高在例如电视的显示屏上观看比赛的观众的体验，可以使用若干个 摄像机并将它们放置在运动场周围，以便从不同的位置及角度观看比赛。而且， 所谓的运动员摄像机(player cam)专注于捕获特定运动员的动作。然而，摄像 机很昂贵，布置若干摄像机以覆盖比赛也很贵，此外，整合由每个摄像机产生 的视频图像是很复杂的任务。而且，不管使用多少摄像机，都存在从没有摄像 机的位置观看比赛的需求。

发明内容

在第一方面，本发明提供了产生包括多个排列于平面上的对象的场景的三 维表示的方法。该三维表示从该场景的一个或多个视频图像中产生，该视频图 像包括由摄像机从场景的视图中产生的平面上的对象。该方法包括：处理已捕 获的视频图像以便从每个对象中提取一个或多个图像特征；将这一个或多个图 像特征与来自视频图像可以包括的预定义的可能实例对象集合中的样本图像特 征进行比较；并基于所述图像特征与可能实例对象的已存储图像特征的比较来 识别所述对象。该方法包括产生对象路径数据，其包括每个对象的对象识别数 据，该对象识别数据识别各对象；并且该方法提供了在视频图像中平面的三维 模型上的关于时间的对象位置。该方法进一步包括计算用于将根据对象路径数 据的每个对象的位置从所述平面投影到所述平面的三维模型的投影矩阵。由此， 在一些实例中，通过使用投影矩阵和预定义的每个对象的假定高度，将根据对 象路径数据的对象位置投影到场景的三维模型的平面中，可以产生包括平面上 多个对象中每个对象的合成表示的场景的三维表示。作为每个对象的假定高度 的替换，可以使用观看该三维表示的摄像机的模拟距离的假设，或使用其组合。

本发明的实施例可以从例如实况足球比赛的视频图像中产生三维模型。由 此，可以改变已产生的三维模型的相关视图，使得可以在场景的三维模型中， 在被捕获了实况场景的视频图像的现实世界中实际上并不存在摄像机的视点提 供视图。因此，场景的三维模型提供了真实场景的虚拟表示，其可以被操作以 在三维空间改变该模型的视图。此外，可以从视频图像中创建三维模型，所述 视频图像由一个摄像机产生，尽管可以使用多个摄像机。

在一些实施例中，为每个对象产生平面中的对象的相对方位的指示，其包 含于对象路径数据中。由此，当产生反映如足球场上运动员的对象的移动的三 维模型时，使用由视频图像识别的相对方位的指示在模型的平面中定位每个合 成的对象。由此通过场景的三维模型，可以产生更加逼真的表示。在其他实例 中，例如场景是足球比赛的场景，其中足球场提供了场景中的平面，运动员是 对象，运动员的其他属性被记录，例如相对状态、姿势或行为的指示。结果， 当产生三维模型时，相对状态、姿势或行为的指示可以从每个运动员的可能的 表示集合中选取一个表示，集合中每个这样的表示对应于一个可能的相对状态、 姿势或行为的指示。因此，本发明可以提供三维模型反映真实场景的程度的改 善。

本发明的实施例可以用于创建例如体育比赛的场景的三维模型的合成表 示，其可用于创建反映真实体育比赛的计算机游戏或模拟。

在一些实施例中，该方法包括使用关于对象排列于其上的平面的三维模型 的对象路径数据来识别视频图像中的每个对象。自识别开始，该方法包括：产 生标识符的图形化表示，该标识符识别视频图像中的每个对象；以及当对象在 视频图像中的平面上移动时，将标识符覆盖到视频图像中的对象之上，以便为 一个或多个对象提供标识符。由此，使用对象排列于其上的平面的三维模型追 踪对象，将已识别对象的相对位置投影回视频图像以及引入图形标签或标识符 或其他效果，使得在视频图像中可以看到运动员的标识符。