[发明专利]信息处理装置、计算机可读介质和头戴式显示装置

说明书

信息处理装置和计算机程序。一种头戴式显示装置包括相机、与相机成第一空间关系的惯性传感器以及处理器，该处理器：从相机获取图像数据序列；并且从惯性传感器获取传感器数据序列；基于图像数据序列中的图像帧和基于与对象对应的3D模型创建的模板数据来推导对象的第一姿态；至少基于第一姿态或从第一姿态跟踪的姿态、传感器数据序列和第一空间关系来推导对象或3D模型上定义的对象坐标系与全局坐标系之间的第二空间关系；并且使用非线性估计算法至少基于图像数据序列、传感器数据序列和第二空间关系来推导对象的第二姿态。

技术领域

本发明的实施方式涉及一种使用相机和运动传感器(例如，惯性传感器)来处理关于目标对象的三维模型的信息的信息处理装置的技术。

背景技术

JP-A-2013-50947中公开了估计由相机成像的对象的姿态的方法，其公开了这样一种技术：创建包括对象的图像的输入图像的二值掩码，从二值掩码提取作为对象的内外轮廓中的点的单重态(singlet)，并且将单重态的集合彼此连接以形成被表示为双重矩阵的网格，从而估计对象的姿态。

然而，诸如JP-A-2013-50947的现有技术仅使用相机来估计姿态。然而，相机具有延迟，其随着用户的头部的运动或速度增加而增加。

发明内容

本申请的实施方式公开了具有相机的系统以及具有相机和运动传感器的系统。组合的相机和运动传感器的实施方式减小了延迟并增加了系统的效率。

本发明的一些方面的优点在于解决了上述问题中的至少一部分，并且本发明的各方面可被实现为以下方面。

(1)根据本发明的一方面，提供了一种用于跟踪用户正在观看的对象的姿态的方法。该方法可包括：从相机获取图像数据序列；从惯性传感器获取传感器数据序列，所述惯性传感器固定或者相对于相机以第一空间关系可调节地固定；利用计算机处理器使用图像数据序列中的图像帧和基于与对象对应的3D模型创建的模板数据来推导对象的第一姿态；利用计算机处理器至少基于(1)第一姿态或从第一姿态跟踪的姿态、(2)传感器数据序列和(3)第一空间关系来推导对象或3D模型上定义的对象坐标系与全局坐标系之间的第二空间关系；利用计算机处理器使用非线性估计算法至少基于图像数据序列、传感器数据序列和第二空间关系来推导对象的第二姿态；以及利用显示器使用对象的第二姿态来显示图像。

(2)根据本发明的另一方面，一种用于跟踪用户所观看的对象的各个姿态的方法可包括：从相机获取图像数据序列；从惯性传感器获取传感器数据序列，所述惯性传感器固定或者相对于相机以第一空间关系可调节地固定；利用计算机处理器基于图像数据序列中的图像帧和基于分别与对象对应的3D模型创建的模板数据来推导各个对象的第一姿态；利用计算机处理器至少基于第一姿态或从第一姿态跟踪的姿态、传感器数据序列和第一空间关系来推导对象或3D模型上分别定义的对象坐标系与全局坐标系之间的各个第二空间关系，并且利用计算机处理器使用非线性估计算法至少基于图像数据序列、传感器数据序列和第二空间关系来推导各个对象的第二姿态；以及将第二空间关系存储在存储器中。

(3)根据本发明的另一方面，一种头戴式显示装置可包括：相机；惯性传感器，其固定或者相对于相机以第一空间关系可调节地固定；以及处理器。该处理器可被配置为：从相机获取图像数据序列；从惯性传感器获取传感器数据序列；基于图像数据序列中的图像帧和基于与对象对应的3D模型创建的模板数据来推导对象的第一姿态；至少基于第一姿态或从第一姿态跟踪的姿态、传感器数据序列和第一空间关系来推导对象或3D模型上定义的对象坐标系与全局坐标系之间的第二空间关系；并且使用非线性估计算法至少基于图像数据序列、传感器数据序列和第二空间关系来推导对象的第二姿态。

本发明可按照信息处理装置以外的形式方面来实现。例如，本发明可按照诸如头戴式显示器、显示装置、信息处理装置和显示装置的控制方法、信息处理系统、用于实现信息处理装置的功能的计算机程序、记录有该计算机程序的记录介质以及包括计算机程序并以载波具体实现的数据信号的形式来实现。

附图说明