[发明专利]一种面向医学影像的移动增强现实系统构建方法

权利要求书

1.一种面向医学影像的移动增强现实系统构建方法，其特征在于，该方法具体包括以下步骤：

S1：通过3D Slicer软件进行医学图像三维重建，得到三维重建模型，并将该模型导入ARKit框架；

S2：开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；

S3：将虚拟的三维重建模型叠加到当前场景并放置到识别出的现实平面上；

S4：识别出当前用户的交互手势，与真实场景中的虚拟对象进行交互。

2.根据权利要求1所述的一种面向医学影像的移动增强现实系统构建方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：将患者数据导入到3D Slicer软件，得到连续数据场，然后在Segment editor模块中，选择感兴趣区域，并进行三维重建；

S12：在Segment editor模块或其他插件中进行手术模拟，同时得到新的三维重建模型，对不同感兴趣组织进行染色；如果导出的三维模型需包括杂乱孤立的碎片，则需要进行清理；

S13：将S12中所得到的三维重建模型，先经过blender软件转换为所需的dae格式，然后导入到基于ARKit框架的移动增强现实程序中。

3.根据权利要求2所述的一种面向医学影像的移动增强现实系统构建方法，其特征在于，所述步骤S12中，如果导出的三维模型需包括杂乱孤立的碎片，则需要进行清理，具体为：首先采用MeshLab软件Remove Isolated Pieces模块清理碎片，然后采用Split inConnected Components模块将模型根据是否连接分成不同部分，最后将得到的所有三维模型保存为obj格式或stl格式。

4.根据权利要求1所述的一种面向医学影像的移动增强现实系统构建方法，其特征在于，所述步骤S2具体包括：运行ARWorldTrackingConfiguration对当前的场景进行追踪，并通过planeDetection识别场景平面，然后用FoucusSquare类在AR视图中绘制一个方形轮廓，为用户提供关于ARKit世界跟踪状态的提示，方形改变大小和方向以反映估计的场景深度，并通过突出的动画在打开和关闭状态之间切换，以指示ARKit是否检测到适合放置对象的平面；用户放置虚拟对象后，焦点正方形消失，保持隐藏状态，直到用户将相机指向另一个表面。

5.根据权利要求1所述的一种面向医学影像的移动增强现实系统构建方法，其特征在于，所述步骤S3具体包括：

S31：首先在ARKit程序中添加手势识别器addGestureRecognizer(_:)，从而使设备能够检测到所有交互手势，然后通过设置tap手势子类UIGestureRecognizer来进行最基本的交互操作；

S32：当用户选择要放置的虚拟对象时，调用setposition(:relativeto:smoothmovement)方法使用FocusSquare对象的简单启发式方法将对象放置在屏幕中间大致真实的位置；随着时间的推移，arkit检测平面并优化其位置估计值，调用渲染器(:didadd:for:)和渲染器(:diddupdate:for:)委托方法来报告结果。

6.根据权利要求1所述的一种面向医学影像的移动增强现实系统构建方法，其特征在于，所述步骤S4具体包括：

S41：首先添加管理标准交互手势的类VirtualObjectInteraction，拖动虚拟对象使用translate(_：basedOn：infinitePlane:)方法，且程序会将对象的移动限制为放置在其上的二维平面；然后使用setPosition(_:relativeTo:smoothMovement)方法来产生平滑的拖拽运动，避免拖拽的对象滞后于用户的手势；使用didRotate(_:)方法实现旋转手势，仅围绕其垂直轴旋转对象；最后虚拟医学模型的缩放我们则通过设置捏合手势子类UIPinchGestureRecognizer和合适的缩放比列Scale来实现；

S42：在交互式虚拟物体的合理接近范围内回应手势：在objectInteracting(with:in:)方法中使用手势识别器提供的接触位置来执行碰撞测试；通过对虚拟对象的边界框进行点击测试，使得用户触摸更可能影响对象，即使触摸位置不在对象具有可见内容的点上；通过对多点触控手势执行多点触控测试，使用户触摸更可能影响目标；

S43：在touchesMoved(with:)方法中使用hresholdPanGesture类让用户在单个双指手势中拖动对象和旋转对象之间平滑过渡；

S44：添加额外的交互手势：通过在拖拽手势正在进行时持续调用updateObjectToCurrentTrackingPosition()方法来支持这种手势；如果设备在拖拽期间移动，则该方法计算与触摸位置相对应的新世界位置，并相应地移动虚拟对象。