[发明专利]用于在用户身上显示用户界面并检测触摸手势的方法、设备和系统在审
申请号: | 201980021480.0 | 申请日: | 2019-01-08 |
公开(公告)号: | CN111936959A | 公开(公告)日: | 2020-11-13 |
发明(设计)人: | 肖恩·杰森·凯勒;特里斯坦·托马斯·特鲁纳;赫尔沃耶·本科 | 申请(专利权)人: | 脸谱科技有限责任公司 |
主分类号: | G06F3/0488 | 分类号: | G06F3/0488;G06F1/16;G06F3/01;G06T19/00 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 周靖;杨明钊 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 用户 身上 显示 用户界面 检测 触摸 手势 方法 设备 系统 | ||
提供了一种识别用户身上的触摸手势的示例方法。该方法包括通过附连到用户的第一附肢的第一可穿戴设备的一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号,其中(i)接收该组信号在第一和第二可穿戴设备之间创建信号路径,以及(ii)该组信号中的信号至少通过用户的第一附肢传播。该方法还包括确定在第一可穿戴设备和第二可穿戴设备之间创建的信号路径的基线特征,在接收该组信号时感测基线特征的变化,并且根据确定感测到的信号路径的基线特征的变化满足接触标准,报告用户的第一附肢上的候选触摸事件。
技术领域
本公开总体上涉及虚拟现实/增强现实,包括但不限于将图像投影到用户身上并检测用户身上与投影相关的手势。
背景
虚拟现实(VR)和/或增强现实(AR)技术允许用户以不同的方式与技术交互。VR和/或AR允许用户与数字世界进行触觉交互。用户可以体验来自电子设备的触觉响应,从而给用户带来丰富的体验。用于VR和/或AR的可穿戴设备可以允许用户通过不同于电子设备屏幕的介质与数字世界交互(例如,可穿戴设备使用例如增强现实将图像投影到用户的前臂上)。然而,以足够的精度确定手势在投影图像上的定位(location)是一个挑战。
概述
因此,需要用于以足够的保真度将虚拟图像投影到用户身上以确定是否发生了接触或手势的方法、设备和系统。一种解决方案是将计算机视觉(例如,可穿戴设备上的照相机)和单独的模态(例如,具有一个或更多个换能器(transducer)的可穿戴腕带)相结合,以在确定手势(例如,接触)的定位和/或压力时提高保真度。
在一些实施例中,可以在包括多个换能器(例如,致动器)的可穿戴设备上实现上面解释的解决方案。在某些情况下,可穿戴设备佩戴在用户的手腕(或各种其他身体部位)上,并用于将图像投影到用户身体的一部分上,实质上在用户身体上创建虚拟或增强现实显示。在一些实施例中,可穿戴设备可以虚拟化要通过可穿戴设备的透镜看到的图像,就好像该图像被投影到用户身上一样。此外,可穿戴设备可以与主机系统(例如,虚拟现实设备和/或增强现实设备等)通信,并且可穿戴设备可以基于来自主机系统的指令显示图像。作为示例,主机系统可以向用户显示视频数据(例如,可以指示头戴式显示器显示视频数据),并且主机系统还可以指示可穿戴设备将来自视频的图像投影到用户的身体上。
本文描述的设备、系统和方法提供了包括但不限于以下项的益处:(i)检测用户的附肢(appendage)在投影图像和/或虚拟图像上的触摸手势,(ii)确定触摸手势在用户身体上的投影图像上的定位,(iii)可穿戴设备不妨碍用户的手部和/或手腕(或其他身体部位)的自由运动,以及(iv)可以同时使用多个可穿戴设备。
(A1)根据一些实施例,在包括投影仪和多个换能器的第一可穿戴设备处执行一种方法。该方法包括将图像投影到第一可穿戴设备的用户的第一附肢的一部分上,并检测用户的不同于第一附肢的第二附肢在图像上的触摸手势。该方法还包括在具有照相机和处理器的第二可穿戴设备处,确定触摸手势在图像上的定位,其中计算机系统被指示根据检测和定位来执行操作。在一些实施例中,第一可穿戴设备附连到用户的附肢(例如,手腕、前臂、二头肌、大腿、脚踝等)并且第二可穿戴设备佩戴在用户的头部(例如,头戴式显示器)。
(A2)在A1的方法的一些实施例中,还包括在第二可穿戴设备处,经由照相机和处理器确认检测到的由用户的第二附肢做出的触摸手势已经出现在图像上。计算机系统被指示进一步根据确认来执行操作。
(A3)在A1-A2中任一项的方法的一些实施例中,多个换能器是第一多个换能器,每个换能器可以生成一个或更多个信号,并且第一可穿戴设备还包括耦合到第一多个换能器的第一控制电路。此外,该方法还包括经由第一多个换能器生成耦合到/振动进入第一可穿戴设备的用户的第一附肢的至少一部分的信号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于脸谱科技有限责任公司,未经脸谱科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201980021480.0/2.html,转载请声明来源钻瓜专利网。