[发明专利]图像处理设备及方法

说明书

一种图像处理设备，其包括：相机，其捕获场景的图像馈入；传感器，其获得表示图像处理设备的定向的传感器数据；第一估计单元，其基于场景的第一捕获图像，估计相机在第一时刻的位置和方向；渲染器，其在第二时刻渲染虚拟对象；第二估计单元，其基于所估计的相机在第一时刻的位置和方向以及在第一和第二时刻获得的传感器数据，估计相机在第二时刻的位置和方向，其中，渲染器基于所估计的相机在第二时刻的位置和方向来渲染虚拟对象；以及显示器，其显示与图像馈入一起登记的所渲染的虚拟对象。

技术领域

本发明的领域涉及图像处理，更具体地，涉及增强现实和/或虚拟现实应用。特定实施例涉及适于由用户携带的图像处理设备以及用于渲染与图像馈入一起登记的虚拟对象的图像处理方法。

背景技术

用于向用户提供虚拟现实(VR)和/或增强现实(AR)体验的图像处理设备在本领域中是公知的。这种设备通常配备有头戴式显示器(HMD)并且具有内嵌的传感器，其允许根据设备的实际物理动作来改变渲染场景的视点。如此，用户可以通过移动他或她的头部，从而有效地移动虚拟相机来环顾虚拟环境或用虚拟对象增强的真实环境。

在VR设备尤其是在HMD中出现的已知问题是：在基于传感器的输入获取虚拟视点时开始渲染与渲染完成之间存在延迟。在延迟的期间，VR设备可能已经改变了位置和/或定向，这导致渲染图像与VR设备的实际位置和/或定向不对应。

一般通过测量渲染开始与渲染完成之间VR设备的位置和/或定向差来解决该问题，并且通过添加根据延迟改变虚拟相机的视点的快速附加渲染通道来补偿延迟。

发明内容

与VR设备相比，AR设备使用与AR设备一起登记的实时内容，并且在登记实时内容的时刻与渲染开始之间可存在额外的显著延迟。这种延迟的内容更新可能对用户导致诱发恶心效应，因此在现有技术VR设备中不被考虑。

本发明的实施例的目的是提供一种图像处理设备，更具体地提供一种适于由用户携带并且降低对用户导致诱发恶心效应的风险的增强现实设备。本发明的实施例旨在提供一种降低对用户导致诱发恶心效应的风险的图像处理设备(更具体地增强现实设备)和图像处理方法。

根据本发明的第一方面，提供了一种适于由用户携带的图像处理设备，其包括：

-相机单元，其被配置为捕获用户位于其中的环境的场景的图像馈入；

-传感器单元，其被配置为获得传感器数据，传感器数据表示图像处理设备在相机单元捕获图像馈入时的定向；

-第一估计单元，其被配置为至少基于在第一时刻捕获的场景的第一捕获图像，估计相机单元在第一时刻在环境内的位置和方向；

-渲染单元，其被配置为在第一时刻后，在第二时刻渲染虚拟对象；

-第二估计单元，其被配置为至少基于所估计的相机单元在第一时刻的位置和方向以及由传感器单元在第一时刻和第二时刻获得的传感器数据，估计相机单元在第二时刻在环境内的位置和方向，其中，渲染单元被配置为基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象；

-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。