[发明专利]AR环境下的虚实遮挡交互方法及系统

权利要求书

1.一种AR环境下的虚实遮挡交互方法，其特征在于，包括：

AR融合场景构建步骤：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；

交互建立步骤：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；

标定步骤：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；

重叠步骤：将AR融合场景中虚拟手与真实手重叠放置；

深度计算步骤：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；

遮挡步骤：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。

2.根据权利要求1所述的AR环境下的虚实遮挡交互方法，其特征在于，所述AR融合场景构建步骤包括：

S101、将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；

S102、把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；

S103、将Unity资源包导入工程，在ImageTarget组件上的Image Target Behaviour上选中识别图；

S104、设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。

3.根据权利要求2所述的AR环境下的虚实遮挡交互方法，其特征在于，所述交互建立步骤包括：

把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。

4.根据权利要求1所述的AR环境下的虚实遮挡交互方法，其特征在于，所述标定步骤包括：

使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵T_cm；

虚拟手在体感控制器坐标系的三维坐标值(X_v，Y_v，Z_v)、真实手在摄像机坐标系中的三维坐标值(X_RC，Y_RC，Z_RC)以及真实手在虚拟世界坐标系中的坐标值(X_RW，Y_RW，Z_RW)之间的关系如下：

(X_RW，Y_RW，Z_RW)＝T_cm(X_RC，Y_RC，Z_RC)＝T_cm·P·(X_v，Y_v，Z_v)。

5.一种AR环境下的虚实遮挡交互系统，其特征在于，包括：

AR融合场景构建模块：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；

交互建立模块：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；

标定模块：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；

重叠模块：将AR融合场景中虚拟手与真实手重叠放置；

深度计算模块：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；

遮挡模块：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。