[发明专利]VR环境中裸手与模拟触控屏界面的交互操作系统及方法

说明书

本发明涉及一种VR环境中裸手与模拟触控屏界面的交互操作系统及方法，该交互操作系统包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；中控单元检测到触发器与模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给模拟触控屏界面；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。

技术领域

本发明涉及虚拟现实人机交互技术领域，尤其涉及一种VR环境中裸手与模拟触控屏界面的交互操作系统及方法。

背景技术

近年来虚拟现实技术迅速发展，VR设备也逐步开始支持人手部的跟踪和识别，让手部动作能够在虚拟空间中定位，并跟踪到手指的动作，并支持通过手的动作和空间移动，来影响三维场景中的物体，也逐步在一些虚拟现实应用中出现。

当前在很多产品设计领域，尤其是智能汽车内的智能驾舱，屏幕显示设备越来越多，交互设计越来越复杂，在用户体验设计过程中，很难提前构造模拟环境来验证设计的体验效果。

通过虚拟现实来制作产品的设计场景，同时让体验者佩戴VR头盔，模拟最终用户的使用体验，同场景中的各个设备进行互动，是一个高效可行的方案。

但是当前VR设备更多是依赖带有各种传感器的手柄来进行互动操作，而实际场景中用户并不是使用手柄来操作的，无法真实还原用户的实际体验。

少部分VR设备，可以支持裸手动作的跟踪和识别，但是仅支持空间立体物体的简单交互，不支持同现实中触摸屏这种二维平面设备交互，更不能模拟触控屏的滑动，拖拽等多点触控操作，难以还原在实际驾舱空间的触控屏设备交互模式。

发明内容

本发明针对现有技术中存在的技术问题，提供一种VR环境中裸手与模拟触控屏界面的交互操作系统及方法，支持在虚拟的三维空间中，实现人手同虚拟二维屏幕设备的交互，并能够支持常用的触控屏多点手势操作；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。

根据本发明的第一方面，提供了一种VR环境中裸手与模拟触控屏界面的交互操作系统，包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；

所述视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；

所述模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；

所述中控单元检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述视觉追踪单元通过视觉算法对操作者的指尖位置进行追踪识别，包括：

通过视频采集单元采集所述操作者手部的图像帧数据，并基于目标跟踪模型对所述图像帧数据进行指尖位置的目标检测跟踪识别。

可选的，所述触发器还包括实体结构，包括：惯导定位系统和无线信号发送模块；

所述惯导定位系统采集所述触发器的空间姿态数据和加速度数据，发送给所述视觉追踪单元，所述视觉追踪单元基于所述空间姿态数据和加速度数据得到所述触发器在实际环境中的运动轨迹后，换算后得到所述触发器在VR环境中的运动轨迹。

可选的，所述中控单元检测所述触发器与所述模拟触控屏界面是否有交集的过程包括：

针对每一个渲染帧，对所述触发器和所述模拟触控屏界面的触控区域进行碰撞检测，检测到有碰撞时判定所述触发器与所述模拟触控屏界面有交集。