[发明专利]用于触摸检测的IMU

说明书

本公开涉及用于触摸检测的IMU。触摸检测可包括：基于来自第一设备上的监测触摸对象的运动的IMU的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触；获得由第二设备捕获的包括触摸图像的深度图像；基于触摸图像来确定对象的触摸点；以及基于对象的触摸点和所触摸的表面来提供响应。

背景技术

本公开整体涉及触摸检测领域，并且更具体地涉及提供用于触摸检测的可穿戴IMU的领域。

当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用虚拟或物理键盘、鼠标、轨迹球、操纵杆、触摸屏等与电子设备进行交互。用户经常与其设备上的数字信息进行交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他对象与显示表面进行交互。触摸传感器识别所触摸的区域并向用户提供响应。

随着混合现实环境的增加，用户通常通过附加方式提供输入，以便使虚拟对象能够与真实对象进行交互。例如，用户可触摸真实对象以便以混合现实方式与真实对象进行交互。然而，真实对象通常不包括传统上用于检测来自用户的触摸的触摸传感器。

发明内容

在一个实施方案中，描述了一种触摸检测的方法。该方法可包括基于来自第一设备上的监测触摸对象的移动的惯性测量单元(IMU)的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触。该方法还可包括响应于触摸事件来获得由第二设备捕获的包括触摸图像的深度图像，基于触摸图像来确定对象的触摸点，以及基于对象的触摸点和所触摸的表面来提供响应。

在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂时性存储设备中。在另一个实施方案中，该方法可在电子设备中实现。

附图说明

图1以框图形式示出了根据一个或多个实施方案的简化系统图。

图2以流程图形式示出了根据一个或多个实施方案的用于在真实环境中检测触摸的示例性技术。

图3以流程图形式示出了根据一个或多个实施方案的用于生成模型的示例性技术。

图4以流程图形式示出了根据一个或多个实施方案的用于识别真实触摸事件的示例性技术。

图5以框图形式示出了根据一个或多个实施方案的简化多功能设备。

具体实施方式

本公开涉及用于检测物理环境中的触摸的系统、方法和计算机可读介质。一般来讲，公开了提供用于识别用户何时使用惯性测量单元触摸物理环境中的表面的技术，以及用于响应于检测到物理环境中的触摸来细化触摸对象(诸如手指)的模型的技术。此外，本公开涉及用于估计物理环境(例如，估计物理表面的法向/方向)的技术。

根据一个或多个实施方案，可穿戴设备诸如手表或戒指可由与物理环境交互的用户佩戴。可穿戴设备可包括惯性测量单元(“IMU”)，该惯性测量单元可跟踪用于与之附接的对象的力、加速度、声学信号(例如，由与物理环境交互的用户生成)等。在一个或多个实施方案中，可穿戴设备可由物理环境中的用户佩戴。具体地讲，可穿戴设备可例如佩戴在手臂、手腕或手指上，其是或连接到通过触摸与物理环境进行交互的手指。在一个或多个实施方案中，可基于来自IMU的传感器数据来确定触摸事件。例如，所检测到的力可指示触摸事件。触摸事件可指示触摸对象与表面之间的接触。该表面可以是现实环境中的对象的一部分，或可以是用户的另一部分，诸如手部或手指。响应于检测到触摸事件，可获得触摸事件的触摸图像，该触摸图像包括触摸对象和被触摸的表面。触摸图像可由第二设备捕获。所捕获的图像可为RGB图像或深度图像。基于触摸图像，可确定所触摸的表面，并且可基于所触摸的表面向用户提供响应。可首先在图像中检测用户部位(例如，手或手指)，并且将表面确定为在用户部位下方延伸的表面。