[发明专利]基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统

权利要求书

1.一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，其特征在于，所述系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，所述机械臂交互道具连接所述VR服务器，所述机械臂交互道具包括机械臂主体和动作捕捉装置，所述机械臂主体呈多轴多关节结构并与潜水器上的机械臂的结构匹配，所述机械臂主体的不同位置固定有所述动作捕捉装置，每个所述动作捕捉装置均包括若干个光学标记物，每个所述动作捕捉装置上的光学标记物用于反射或发送与所述动作捕捉装置的空间位置和空间姿态相关的空间数据；所述光学定位摄像头布设在所述机械臂交互道具的四周并用于接收各个光学标记物反射或发送的空间数据；所述光学定位摄像头连接所述VR服务器并将接收到的所述空间数据输出给所述VR服务器，所述VR服务器还连接所述VR头显；所述VR服务器获取训练场景模型，并根据所述训练场景模型和随机生成的目标物数据生成训练场景数据发送给所述VR头显，所述VR头显显示所述训练场景数据并展示VR训练场景，所述VR训练场景包括潜水舱、所述潜水舱外部的海底环境以及位于所述潜水舱外的机械臂、载物篮和目标物，所述载物篮和目标物均位于所述机械臂的操作范围内；在受训者操控所述机械臂交互道具的过程中，所述VR服务器接收所述光学定位摄像头输出的实时空间数据，并根据所述实时空间数据生成位置姿态数据，所述VR服务器将所述机械臂的位置姿态数据并发送给所述VR服务器连接的所述VR头显，所述VR头显显示所述机械臂的位置姿态数据在所述VR训练场景中显示所述机械臂的运动轨迹，所述机械臂在所述VR训练场景中的运动轨迹与所述机械臂交互道具的运动轨迹相同；对于所述VR训练场景，所述VR服务器在检测到所述机械臂抓取到所述目标物时，控制所述目标物随所述机械臂运动，并在检测到所述机械臂松开所述目标物时控制所述目标物与所述机械臂分离；所述VR服务器在检测到所述VR训练场景中的所有目标物都落入所述载物篮后，清空所述载物篮内的目标物并随机生成新的目标物；

所述系统还包括操作手柄，所述操作手柄连接所述VR服务器；所述VR服务器获取灯光模型并生成灯光图标数据发送给所述VR头显，所述VR头显播放所述灯光图标数据并在所述VR训练场景中显示各个灯光图标；所述VR服务器在检测到所述操作手柄选中目标灯光模型时，在所述VR训练场景中显示所述目标灯光模型并控制所述目标灯光模型随所述操作手柄运动，在检测到所述操作手柄松开所述目标灯光模型时，控制所述目标灯光模型与所述操作手柄分离并在分离位置显示所述目标灯光模型。

2.根据权利要求1所述的系统，其特征在于，所述训练场景模型包括机械臂模型、潜水舱模型、海底环境模型和载物篮模型，所述训练场景数据包括根据所述机械臂模型生成的机械臂结构数据、根据所述潜水舱模型生成的潜水舱数据、根据所述海底环境模型生成的海底环境数据、根据所述载物篮模型生成的载物篮数据以及随机生成的所述目标物数据。

3.根据权利要求2所述的系统，其特征在于，在系统初始化阶段，所述机械臂交互道具处于初始标定动作，所述VR服务器接收所述光学定位摄像头输出的初始空间数据，并根据所述实时空间数据、所述初始空间数据和所述机械臂结构数据生成所述机械臂的位置姿态数据。

4.根据权利要求1所述的系统，其特征在于，所述VR服务器在通过所述机械臂和所述目标物内置的碰撞盒检测到所述机械臂与所述目标物发生碰撞且检测满足第二预设条件时，确定所述机械臂抓取到所述目标物，在所述第二预设条件不再满足时，确定所述机械臂未抓取所述目标物；所述第二预设条件包括所述机械臂的增量控制已激活、所述机械臂的卡抓液压已激活、所述机械臂的卡抓按钮激活以及视觉中心在所述目标物的预定范围内。

5.根据权利要求1所述的系统，其特征在于，在所述目标灯光模型设置过程中，所述潜水舱的移动控制锁定；在所述目标灯光模型设置完成后，所述目标灯光模型与所述潜水舱绑定并随着所述潜水舱运动。