[发明专利]图像处理设备及方法

权利要求书

1.一种适于由用户携带的图像处理设备，包括：

-相机单元，其被配置为捕获所述用户位于其中的环境的场景的图像馈入；

-传感器单元，其被配置为获得传感器数据，所述传感器数据表示所述图像处理设备在所述相机单元捕获所述图像馈入时的定向；

-第一估计单元，其被配置为至少基于在第一时刻捕获的所述场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；

-渲染单元，其被配置为在所述第一时刻后，在第二时刻渲染虚拟对象；

-第二估计单元，其被配置为至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及由所述传感器单元在所述第一时刻和所述第二时刻获得的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向，其中，所述渲染单元被配置为基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象；以及

-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。

2.根据权利要求1所述的图像处理设备，其中，

-所述第一估计单元被配置为至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机单元的相机参数，其中，所述相机参数表示所述相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及

-所述渲染单元被配置为基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。

3.根据权利要求1或2所述的图像处理设备，包括：

-渲染更新单元，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。

4.根据权利要求3所述的图像处理设备，其中，所述渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。

5.根据前述任一权利要求所述的图像处理设备，其中，所述第一估计单元被配置为基于至少检测在所述场景中的预定义标记、模板或图案，估计所述相机单元在所述环境内的位置和方向。

6.根据前述权利要求中任一项所述的图像处理设备，其中，所述渲染单元被配置为基于3D模型来渲染所述虚拟对象，并基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异来缩减所述3D模型。

7.根据前述权利要求中任一项所述的图像处理设备，其中，所述渲染单元被配置为基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异，缩减所捕获的图像馈入。

8.根据前述权利要求中任一项所述的图像处理设备，其中，所述图像处理设备包括安装装置，其用于安装在所述用户的身体上，更具体地用于安装在所述用户的头部。

9.一种图像处理方法，用于在用户携带的图像处理设备中渲染与相机所捕获的图像馈入一起登记的虚拟对象，所述方法包括：

-至少基于在第一时刻捕获的环境的场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；

-在所述第一时刻后，在第二时刻渲染虚拟对象；

-至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及在所述第一时刻和所述第二时刻获得的表示所述图像处理设备的定向的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向；以及

-基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象。

10.根据权利要求9所述的图像处理方法，包括：

-至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机的相机参数，其中，所述相机参数表示所述相机的焦距、宽高比、分辨率和视场中的至少一项；以及

-基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。