[发明专利]在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互

说明书

提供了用于在增强现实(AR)系统生成的AR环境中与物理对象进行交互的计算机化系统、方法、套件和存储用于实现这些方法的代码的计算机可读介质。一个这样的系统包括：能够感测来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器。神经肌肉传感器布置在用户穿戴的一个或更多个可穿戴设备上，以感测神经肌肉信号。至少一个计算机处理器被编程为：至少部分地基于由神经肌肉传感器感测的神经肌肉信号，确定关于由AR系统生成的AR环境中用户与物理对象的交互的信息；并且指示AR系统至少部分地基于关于用户与物理对象的交互的信息来提供反馈。

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2018年10月5日提交的题为“USE OFNEUROMUSCULAR SIGNALS TO PROVIDE ENHANCED INTERACTIONS WITH PHYSICAL OBJECTSIN AN AUGMENTED REALITY ENVIRONMENT”的美国临时专利申请序列号62/741,781的权益，其全部内容通过引用结合于此。

发明领域

本技术涉及检测和解释神经肌肉信号的系统和方法，用于在增强现实(AR)环境以及诸如虚拟现实(VR)环境、混合现实(MR)环境等的其他类型的扩展现实(XR)环境中执行动作。

背景

AR系统通过将计算机生成的感知或虚拟信息叠加在现实世界环境的各个方面上，为用户提供了以虚拟信息为补充的现实世界环境的交互体验。存在各种技术来控制AR系统的操作。典型地，一个或更多个输入设备(诸如控制器、键盘、鼠标、相机、麦克风等)可以用于控制AR系统的操作。现实世界环境中的物理对象可以用由AR系统生成的AR环境中的视觉指示器来注释。视觉指示器可以向AR系统的用户提供关于物理对象的信息。

概述

根据本文描述的技术的方面，提供了一种用于在增强现实(AR)系统生成的AR环境中与物理对象进行交互的计算机化系统。该计算机化系统可以包括：多个神经肌肉传感器，其被配置为感测来自用户的多个神经肌肉信号；以及至少一个计算机处理器。多个神经肌肉传感器可以布置在用户穿戴的一个或更多个可穿戴设备上，以感测多个神经肌肉信号。至少一个计算机处理器可以被编程为：至少部分地基于由多个神经肌肉传感器感测的多个神经肌肉信号，确定关于由AR系统生成的AR环境中用户与物理对象的交互的信息；并且指示AR系统至少部分地基于关于用户与物理对象的交互的信息来提供反馈。

在一个方面，至少一个计算机处理器还可以被编程为指示AR系统在AR环境中的物理对象上显示至少一个视觉指示器。

在该方面的变型中，至少一个计算机处理器可以至少部分地基于用户与在物理对象上显示的至少一个视觉指示器的交互来确定关于用户与物理对象的交互的信息。

在一个方面，计算机化系统可以进一步包括至少一个相机，该相机被布置成捕获用户的至少一部分、或者物理对象的至少一部分、或者用户的至少一部分和物理对象的至少一部分的至少一个图像。至少一个计算机处理器可以至少部分地基于至少一个图像来确定关于用户与物理对象的交互的信息。

在另一方面，至少一个计算机处理器可以指示AR系统向用户提供反馈。

在该方面的变型中，至少一个计算机处理器可以指示AR系统在AR环境中将所述反馈作为视觉反馈提供给用户。在一个示例中，至少一个处理器可以指示AR系统在AR环境中将视觉反馈作为由AR系统显示的至少一个视觉指示器的至少一个属性的改变提供给用户。在另一个示例中，至少一个处理器可以指示AR系统在AR环境中将视觉反馈作为与AR环境中的物理对象相关联的至少一个新的视觉指示器的显示提供给用户。

在该方面的另一个变型中，至少一个处理器可以指示AR系统将反馈作为音频反馈、或电刺激反馈、或音频反馈和电刺激反馈提供给用户。