[发明专利]重构的手部状态信息的可视化

说明书

用于基于肌肉骨骼表示来再现视觉表示的方法和装置。该方法包括至少部分地基于从用户记录的多个神经肌肉信号来更新肌肉骨骼表示，其中，至少部分地基于以下信息来更新该肌肉骨骼表示：描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、以及描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及基于更新的肌肉骨骼表示经由用户界面来再现视觉表示，其中视觉表示包括位置信息的视觉指示和力信息的视觉指示。

相关申请

本申请根据35USC 119(e)要求于2018年1月25日提交的题为“VISUALIZATION OFRECONSTRUCTED HANDSTATE INFORMATION”、序列号为62/621,792的美国临时申请的优先权，其全部内容通过引用结合于此。

背景

在生成人体的表示的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。

概述

在虚拟现实(VR)环境中，“沉浸感(immersion)”指的是足够令人信服的虚拟体验，使得用户体验虚拟环境作为现实的真实代理(realistic proxy)，并且感觉沉浸在虚拟环境中。逼真的图形再现和响应于头部移动的视点偏移是有助于沉浸在虚拟环境中的一些特征。类似地，可以理解，再现的手部(或再现的用户手持控制器)的逼真再现、运动学和环境交互有助于沉浸在虚拟环境中，部分原因是手在非虚拟环境交互中的作用以及人类检测手、手腕和手臂的自然运动学的天生能力。用于用户身体部位(例如，手)的逼真且自然再现的改进系统可以改善用户体验的沉浸感，以及共享虚拟环境中的第三方用户体验的沉浸感。

在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，可以理解的是，希望该应用提供身体位置、移动和由用户身体的一个或更多个部分(例如，手)施加的力的更真实的表示。在示例中，在VR环境中，跟踪用户手部的空间位置使得能够虚拟地再现手部，并且逼真地近似自然运动学和手势的再现可以增强用户在虚拟环境中的沉浸感。尽管一些基于照相机的系统试图跟踪用户身体的位置和移动，但是应当理解，可以通过使用可穿戴的神经肌肉传感器进行生理测量并基于人体解剖学进行建模来改进这种解析。

一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segment articulated rigidbody system)，其具有连接刚体系统的多个节段的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手相关联。与和手相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时地(或者接近实时地)更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。