[发明专利]虚拟或者增强现实中的对象操作方法及装置

说明书

本发明公开了基于提供触觉反馈的手动作捕捉装置的在虚拟/增强现实中操作对象的方法及装置。根据本实施例的一侧面，一种在虚拟或者增强现实中操作对象的方法，该方法以提供触觉反馈的手动作捕捉装置为基础，其特征在于，所述方法包括以下步骤：从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动；感知所述调节的虚拟手与虚拟对象间的接触；以及如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，所述虚拟手是按照各使用者分别进行建模的。

技术领域

本发明涉及一种基于提供触觉反馈的手动作捕捉装置的虚拟/增强现实中的对象操作方法及装置。

背景技术

该部分记载的内容仅用于提供本发明的背景信息，而不构成现有技术。

随着技术的发展，对于虚拟现实或者增强现实的关注也随之增加。虚拟现实(Virtual Reality)将图像、周边背景、客体全部制作并展示成虚拟的图像形式。相反，增强现实(Augmented Reality)以真实世界的实际模样为主，而只把附加信息制作并展示成虚拟形式。虚拟现实和增强现实都应该使使用者产生好似与虚拟的对象进行相互作用的感觉。

与此相关地，开发有作为可供使用者看虚拟图像的装置的HMD(Head MountedDevice)、用于与虚拟对象进行相互作用的遥控器等。为了提高虚拟现实或者增强现实中的真实感，虚拟对象的构成及图像质量固然重要，特别地，使用者与虚拟对象间的相互作用也十分重要。由于使用者用手把持前面所述的开发的遥控器并使用，因此这种遥控器在识别所述使用者的具体动作的过程中存在局限性。由此为了克服这种局限性，另一技术正在开发着。例如，有在手指上粘贴光学测标(marker)并用照相机跟踪或者利用各种传感器测定手指活动的技术等。但是，这种技术由于在实际使用者手的活动与虚拟手的活动中产生时间或者空间上的差异(gap)，因此需要操作虚拟对象时会使使用者的真实感下降。为了尽可能地提高真实感需要更多的传感器，由此造成价格上升、数据处理量增加等问题产生，因此需要其他解决方案。

此外，为了使使用者具有好似与虚拟对象进行相互作用的感觉，触觉(Haptic)技术，即能够使使用者感受触觉(觸感)的′计算机触觉技术十分重要。初期的触觉接口装置的形态为手套形态，所述装置为不向使用者生成触觉的信息，而只向虚拟环境传递手势信息的装置。然而，只向虚拟环境传递手的动作信息的手套由于没有包括用于认知虚拟环境的对象的重要要素中一个的触觉要素，因此很难使接触虚拟环境的使用者的沉浸感最大化。后来，随着触觉技术的发展和研究，能够向使用者传送触觉的触觉手套技术得到了长足的发展。然而，到目前为止，在虚拟现实及混合现实空间中的虚拟对象的操作，由于使用者不能衡量准确的深度且不同于真实世界不存在基于物理接触的感觉，因此真实情况很难再现真实感受。

发明内容

【技术问题】

本实施例的主要目的在于，提供一种在虚拟或者增强现实中基于提供触觉反馈的手动作捕捉装置的对象操作方法及其装置。

【解决的技术方案】

根据本实施例的一侧面，一种在虚拟或者增强现实中操作对象的方法，该方法基于提供触觉反馈的手动作捕捉装置，其特征在于，所述方法包括以下步骤：从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动；感知所述调节的虚拟手与虚拟对象间的接触；以及如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，所述虚拟手是按照各使用者分别进行建模的。