[发明专利]视频流的帧中的对象位置确定

说明书

一种对象定位方法包括：针对视频流的至少一个帧并且基于表示由所述至少一个帧表示的场景与由视频流的参考帧表示的场景之间的改变的至少一个参数，决定对至少一个对象(11、13、15、17、19)在所述至少一个帧中的位置的确定是基于应用于所述至少一个帧的对象检测，还是基于在参考帧中检测到的至少一个对象(11、13、15、17、19)的位置的变换。

技术领域

本发明总体上涉及一种用于视频流的帧中的对象位置确定的方法、对象定位器、计算机程序、计算机程序产品和用户设备。

背景技术

增强现实(AR)是物理的现实世界环境的直接或间接的实况视图，其对象通过计算机生成的感知信息来增强(即在感知上得到丰富)。叠加的感知信息可以是建设性的，即对自然环境的附加，也可以是破坏性的，即对自然环境的掩盖。

已经开发了越来越多的用于用户设备(例如，智能电话和平板计算机)的AR应用，以将虚拟对象叠加在现实世界视图上。这些应用中的核心技术挑战是：

1)识别现实世界对象及其在屏幕上的位置，在本领域中通常表示为对象检测(OD)或对象识别；

2)跟踪感兴趣的对象，在本领域中通常表示为对象跟踪(OT)；以及

3)利用人造对象、标签或其他类型的感知信息来增强场景。

先前，对象检测领域中的一些最佳解决方案被认为是基于具有方向梯度直方图(HOG)特征的可变形部件模型(DPM)。在过去几年中，基于卷积神经网络(CNN)技术的更精确解决方案被认为是对象检测领域中的最新技术。这些解决方案检测视频流的给定帧或图片中的对象，但是需要大量处理能力来实时操作。因此，CNN通常在配备有具有大量存储器的现代图形处理单元(GPU)的服务器上运行。

在一些AR应用中，对象检测需要在便携式用户设备上实时运行。典型的示例是工业AR应用，例如，其可以是用于技术人员修复复杂硬件系统的支持工具。那么，便携式用户设备(例如手持设备或头戴式设备的形式)包括用于捕获被输入到对象检测的视频的相机。如果这种便携式用户设备的相机改变其位置，则对象检测需要在视频流的几乎每个帧中运行，以便找到对象当前在场景中的位置。然而，由于对象检测的处理复杂度以及便携式用户设备的有限的处理能力和电源，很多时候不可能在每个帧中运行对象检测。

传统上，通过不在每个帧上运行对象检测，而是周期性地运行对象检测，并且作为替代在连续的对象检测运行之间跟踪检测到的对象，来解决该问题。然而，与对象检测相比，对象跟踪通常较不准确，并且对象可能很容易丢失。此外，对象跟踪无法处理被跟踪对象的遮挡或检测到进入场景的新对象。此外，例如，如果场景是静态的，则周期性运行对象检测在计算上不是有效的，因为对象跟踪可以容易地处理这种静态场景。周期性运行对象检测的另一个问题是，如果新对象在所安排的对象检测运行之间进入场景，则这些对象将不会被及时可视化。

因此，需要适合于在便携式用户设备中实现的更有效的对象位置确定。

发明内容

总体目的是提供一种适合于在便携式用户设备中实现的对象位置确定。

本发明的各方面以及本文所公开的实施例实现了该目的和其他目的。

本发明的一方面涉及一种对象定位方法。所述方法包括：针对视频流的至少一个帧并且基于表示由所述至少一个帧表示的场景与由视频流的参考帧表示的场景之间的改变的至少一个参数，决定对至少一个对象在所述至少一个帧中的位置的确定是基于应用于所述至少一个帧的对象检测，还是基于在参考帧中检测到的至少一个对象的位置的变换。