[发明专利]一种通用的模块化的虚拟现实被动力触觉反馈系统

摘要

本发明公开了一种通用的模块化的虚拟现实被动力触觉反馈系统，用于为虚拟环境中的可交互目标提供通用的触觉反馈，包括：模块化实体包括通过被动连接件或者主动运动单元相互连接的一或多个几何体模块；几何体模块上有含纹理特征的唯一模块标识；主动运动单元依运动控制信号控制几何体模块间运动；摄像头拍摄交互场景图像；计算机获取几何体模块的实时位姿在虚拟环境中渲染相应虚拟形象，根据用户手部数据在虚拟环境中渲染手部；头戴式显示器获取用户头部的实时位姿；计算机根据手部、头部与几何体模块的实时位姿，判断交互意图，控制虚拟形象做形象变化响应，发运动控制信号控制模块化实体做相应动作响应；用户通过头戴式显示器沉浸于虚拟环境中。

主权项

1.一种通用的模块化的虚拟现实被动力触觉反馈系统，其特征在于，该系统用于为虚拟环境中的可交互目标提供通用的触觉反馈，包括：模块化实体、头戴式显示器、手型获取设备、摄像头以及计算机；所述模块化实体包括相互连接的一个或多个几何体模块，所述几何体模块上设有包含纹理特征的唯一模块标识；所述几何体模块及模块标识间存在一一映射关系、且二者之间具有固定的位姿关系；所述几何体模块间通过被动连接件或者主动运动单元连接；所述被动连接件包括但不限于磁铁、铰链或者连接杆；所述主动运动单元用于根据所述计算机发来的运动控制信号控制所述几何体模块间运动；所述摄像头用于实时拍摄交互场景图像发送至计算机；所述计算机实时从交互场景图像中提取特征点，与预先建立的特征点库进行特征点匹配，识别出所述交互场景图像中包含的模块标识，计算模块标识位姿并根据模块标识和所述几何体模块间固定的位姿关系进一步获得几何体模块的实时位姿；所述预先建立特征点库，具体为：预先设定模块标识集合，采用特征点提取算法对集合中模块标识进行特征点提取，将来自不同模块标识的特征点组织建立特征点库；所述计算机根据所述几何体模块的实时位姿，判断模块化实体中各几何体模块间的连接方式，并从计算机预先存储的虚拟形象库中选取符合所述连接方式的虚拟形象形成虚拟形象列表提供给用户进行选择；计算机接收用户输入的虚拟形象选择信息，并将所述虚拟形象选择信息指定的虚拟形象实时渲染在虚拟环境中对应模块化实体的位置处；所述手型获取设备对用户手部进行实时跟踪，获取用户手部数据发送至所述计算机；所述计算机对所述用户手部数据进行处理获得用户手部实时位姿和手型，并在虚拟环境中进行用户手部可视化；所述头戴式显示器佩戴于用户头部，获取用户头部的实时位姿并发送至所述计算机；所述计算机根据所述用户手部实时位姿、所述用户头部实时位姿与所述几何体模块实时位姿之间的关系，判断用户与所述模块化实体的交互意图，控制虚拟形象做出相应的形象变化响应，同时发出运动控制信号驱动所述主动运动单元运动，从而控制所述模块化实体做出针对所述交互意图的动作响应；用户通过所述头戴式显示器沉浸于所述虚拟环境中。