[发明专利]基于AR交互的沉浸式安全教育实训系统及方法

说明书

本发明公开了一种基于AR交互的沉浸式安全教育实训系统及方法，方法包括：图形工作站将虚拟安全场景输出给3D投影仪以在实训空间的指定面显示；图形工作站控制单片机在第一预设位置输出预设交互介质图案；设安卓终端扫描交互介质图案，连接到云端服务器获取交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；图形工作站判断教学者的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集。本发明通过分离沉浸式场景与人机交互设置点的展现方式，实现智能化虚拟与现实同步，可以让交互更自然，并且降低安全教育实训教学的成本。

技术领域

本发明涉及AR技术领域，特别是一种基于AR交互的沉浸式安全教育实训系统及方法。

背景技术

目前，基于沉浸式的安全教育实训室，以头戴式VR为主，虽然可以沉浸体验安全教育，但是并不能满足于安全教育实训教学。现有的单人体验时无法实时教学，人机交互太单一，体验者与教学者无法实时互动，这些都是需要改进的点。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于AR交互的沉浸式安全教育实训系统及方法，通过分离沉浸式场景与人机交互设置点的展现方式，实现智能化虚拟与现实同步，可以让交互更自然，并且降低安全教育实训教学的成本。

本发明采用如下技术方案：

一方面，本发明一种基于AR交互的沉浸式安全教育实训系统，包括：3D投影仪、图形工作站、单片机、交互介质图案、安卓终端和若干摄像头；

所述图形工作站与所述3D投影仪相连接以将虚拟安全场景输出给3D投影仪，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；

所述图形工作站与所述单片机相连接以控制单片机在第一预设位置输出预设交互介质图案；所述交互介质设置在所述实训空间底面；

设置在所述交互介质图案上方的安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；

设置在所述实训空间上方的若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作。

优选的，所述3D投影仪包括三个，分别投影至所述实训空间的左、右和前三个面；所述图形工作站和投影仪之间还设置有矩阵拼接器以消除不同投影仪的间隙或重叠区域。

优选的，所述图形工作站控制单片机在第一预设位置输出预设交互介质图案，具体包括：

所述图形工作站通过串口向所述单片机发送输出预设交互介质图案消息；

所述单片机通过继电器控制对应电机运动，将预设交互介质图案输出至第一预设位置。

优选的，若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作，具体包括：

若干动作捕捉摄像头进行若干角度的拍摄，通过数据采集器和位姿传感器将所拍摄的图片序列帧依次进行采样，将所取得的数据传送到图形工作站进行处理，所述图形工作站提取图像系列帧的时间和空间系列特征，再通过3D卷积神经网络计算出教学者预设身体关节位置在人机交互过程所输出的运动轨迹曲线，当运动轨迹曲线与预设交互点的坐标系有交集时，触发对应动作。

优选的，还包括设置在所述安卓终端屏幕上方的钢化玻璃。

另一方面，本发明一种基于AR交互的沉浸式安全教育实训方法，包括：