[发明专利]一种融合视触觉感知的超声波阵列交互方法及系统

说明书

本发明公开了一种融合视触觉感知的超声波阵列交互方法及系统，采集手部位姿信息，对于手指，计算指尖坐标形成位置数组；对于手掌，计算掌心坐标及掌面法向量参数形成向量数组；若检测到手指，根据位置数组，基于距离选择激活超声波阵列；若检测到手掌，根据手指位置数组及手掌向量数组，基于方向性选择启动运动平台，当平台与手掌平行后激活相应的超声波阵列，并返回角度信息；采用经齐次坐标变换后的焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈，实时显示聚焦点、虚拟手及周围场景信息，完成视触觉融合感知。本发明针对手指和手掌提供多角度不同形式的触觉反馈，感受更加精细逼真，融合视觉感知，丰富交互体验，提高交互准确性。

技术领域

本发明属于视触觉融合感知技术领域，具体涉及一种融合视触觉感知的超声波阵列交互方法及系统。

背景技术

如今图像、语音等信息的识别处理技术经过多年发展已经日趋成熟，随之而来的是视觉感知、语音交互等手段的广泛应用，这使得人机交互方式主要集中在视觉、听觉交互，而实现触觉交互感知的能力非常有限。触觉在人们获取环境信息过程中发挥的作用仅次于视觉，它是唯一具有双向信息传递能力的感知通道。

相较于传统的接触式触觉交互，非接触式触觉交互由于无需接触物体即可获得触觉感知，所以在公共操作展示、AR/VR等领域具有重要应用。同时视觉显示的融入可以增强交互体验，提高交互过程中的直观性与准确性。基于超声波相控阵的空中触觉交互技术采用声辐射压力原理，在三维空间中形成聚焦的触觉点，提供了一种无束缚的自然交互方式。人们无需穿戴任何设备就可以在空间中感知触觉刺激，摆脱了对接触触摸提供触觉感知的依赖。

由于新冠疫情在全球爆发，人们对公共接触物体的卫生安全格外重视，基于超声波相控阵的非接触式触觉交互提供了一种有效的解决方式，避免了交叉接触感染，更加干净卫生。

现有方法根据扫描的手部位置确定聚焦点，计算超声波发射时延，聚焦产生声发射力，作用于皮肤形成触觉。同时调制超声波谐振频率，使手部皮肤更加敏感。该系统仅有触觉反馈，而且未区分手指和手掌感知，无法获得更加精细多元的触觉感受。还有一种是通过将可以分别独立工作的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，在三维空间内实时产生非接触触觉反馈，结构简单，易于实现。但由于该系统是辅助盲人感知盲文，所以未提供视觉交互通道。同时超声阵列固定，若盲人手部运动幅度较大，无法准确感知盲文触觉点。第三种是根据相位检索方式确定焦点数据的时间序列，采用空间调制方法，控制由超声波相控阵包围的腔中声压分布，形成可感知的盲文触觉点，并识别手部位置快速更新信息。因为是辅助盲人的系统，所以没有视觉感知。而且固定式的空间相控阵列，不易模块化装卸。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种融合视触觉感知的超声波阵列交互方法及系统，利用手部位姿采集模块和可变角度随动装置，将手部数据分为手指和手掌考虑，分别选择基于距离和方向性的方式激活相应的超声波阵列，实现跨阵列焦点跟随手部运动。同时融合视觉感知，增强交互体验，提高交互准确性。

本发明采用以下技术方案：

一种融合视触觉感知的超声波阵列交互方法，采集手部位姿信息，对于手指，计算指尖坐标形成位置数组；对于手掌，计算掌心坐标及掌面法向量参数形成向量数组；若只检测到手指，根据位置数组，基于距离选择激活超声波阵列；若检测到手掌，根据手指位置数组及手掌向量数组，基于方向性选择启动运动平台，当平台与手掌平行后激活相应的超声波阵列，并返回角度信息；采用经齐次坐标变换后的焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈，实时显示聚焦点、虚拟手及周围场景信息，完成视触觉融合感知。

具体的，具体步骤如下：

S1、交互系统通电，复位可变角度随动装置，取初始水平位置的法向量为

S2、启动手部位姿采集模块，检测手部信息，判断是否检测到手，若否，则跳转至步骤S9结束；若是，则采集手部位姿数据；