[发明专利]基于数字孪生的虚拟现实交互方法

权利要求书

1.一种基于数字孪生的虚拟现实交互方法，其特征在于，包括以下步骤：

步骤1，根据所要模拟的场景，进行场景搭建，搭建建筑模型，传感器模型以及需要控制的对象模型；

所述需要控制的对象模型为无人机模型，将建立的场景和无人机模型进行标注，并且设置无人机模型以及室内室外场景的建筑物模型的3D刚体、角色控制器并对所有的场景进行位置设置，然后着色背景，针对无人机模型加碰撞器，设置旋翼，对无人机模型进行位置布控以及无人机模型局部渲染和贴图；

步骤2，针对于无人机模型进行虚拟端的控制，首先要在虚拟端绑定无人机对象，编写脚本，设置无人机模型的重量，速度，俯仰角，偏航角，滚转角，还需要定义摄像头跟随，光线，并且在无人机模型中加入碰撞器，同时还需要多传感器模拟，利用红外传感器进行红外避障，信息传递；利用超声波传感器进行超声波避障；利用相机传感器模拟机器视觉；利用IMU传感器进行无人机模型姿态信息以及无人机模型运行信息获取；利用高度传感器获取无人机模型的高度信息及速度信息；利用接触式传感器获得无人机模型的感知范围，利用深度相机传感器和激光雷达传感器，获取环境深度信息，进行自主定位导航；利用深度相机检测位姿，深度相机坐标系下的三维坐标需要由图像中的像素点坐标计算得到，借助于虚拟现实、数字孪生和智能操控技术进行三维重建，实现无人机模型的精准定位；

步骤3，连接VR设备到电脑端，将虚拟现实头盔连接到电脑，并且在虚拟端中配置环境，实现虚拟端的连接；

步骤4，标定激光雷达传感器和相机传感器的内部参数，使标定后的相机传感器符合针孔成像模型后，对GPS/IMU组合导航系统、相机传感器以及激光雷达传感器之间的相对位姿进行配准，为数据融合做准备；

在机载测量系统中，GPS/IMU组合导航系统提供了无人机模型在世界大地测量坐标系下的位置；利用April Tag得到相对于相机传感器的6自由度位姿；建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，以及机载测量系统的定位方程；

步骤5，在虚拟现实头盔设备上进行控制，利用投影机，将虚拟内容呈现于物理空间，达到虚实融合的效果，无人机模型作为输入和输出信息的双载体，实现交互输入与视觉呈现完全一致化；

步骤6，通过云平台进行命令发布，当无人机模型在虚拟端进行仿真模拟飞行的同时，实际的无人机接收到云平台发布的命令，按照接收信息进行定点飞行，实现虚拟现实交互，在实现交互的同时，实际的无人机搭载激光雷达，摄像头，借助5G模块将当下环境传输到虚拟端，虚拟端接收数据进行三维重建，达到虚拟现实高度一致化。

2.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，所述建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，具体包括3个坐标系，分别为：

传感器坐标系，惯性坐标系和世界坐标系；传感器坐标系与惯性坐标系之间的关系刚性固定，它们之间的旋转平移关系分别用和表示，标定物在惯性坐标系下的坐标X_IMU可通过下式得到：

式中，X_IMU为标定物点P在惯性坐标系下的坐标；为传感器坐标系到惯性坐标系的平移参数；为传感器坐标系到惯导坐标的旋转参数构成的旋转矩阵，X_Sensor为标定物点在传感器坐标系下的坐标；

机载测量系统在无人机模型移动过程中，传感器高频率记录测量数据，经后处理得到无人机模型的位置和姿态信息。在惯性坐标系下的任一扫描点坐标可通过下式得到：

式中，为惯性坐标系到世界坐标系的平移参数；为惯性坐标系到世界坐标系的旋转参数构成的旋转矩阵，为传感器坐标系到世界坐标系的平移参数，X_L为惯性坐标系下的坐标，从而可以得到机载测量系统的定位方程。

3.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，利用虚拟现实头盔的手柄进行控制，运行虚拟端环境，即可看到虚拟端场景的模型，当手柄点击场景内的某一点的时候，无人机模型会飞向该位置，当达到该位置的时候，无人机模型保持悬停状态，从而实现人机交互，还可以在虚拟现实头盔中导入手动模型脚本，实现用手指控制。