[发明专利]一种基于增强现实与移动交互的虚拟装配方法

权利要求书

1.一种基于增强现实与移动交互的虚拟装配方法，其特征在于，通过Leap Motion获取人的手势数据，构建人手虚拟骨骼模型，然后利用AR技术将其投射到虚拟环境中，在虚拟环境中进行碰撞检测，从而实现操作者能直接裸手与虚拟环境中的虚拟零件进行交互；并且利用移动机器人对人手势和身体的追踪，使得人能不用站在一个固定的地方，而手也不用担心会移动出操作空间从而在装配过程中出现问题，使得操作者可以360度无死角对零件进行观察；而安装在操作平台上的电磁铁和人手上佩戴的磁铁阵列对装配过程中的零件和人手以及零件和零件间的相互作用力进行的反馈，使得在不干扰操作者手部任何动作的条件下能够让操作者感受到相应的力并及时地做出装配动作的调整；

该方法包括以下步骤：

S1、利用Kinect跟踪人体从而实现操作平台随着人手的运动而移动；

S2、使用LeapMotion传感器获取手势数据；

S3、利用IKF(Interval Kalman Filter)和PF(Particle Filter)消除传感器的测量误差，并估计手的位置和方向；

S4、利用碰撞检测使得操作者的手能直接与虚拟环境中的物体进行交互；

S5、利用闭环控制调节电磁铁中的电流从而改变电磁力反馈；

实现整个虚拟装配系统主要分为手势捕获、抖动消除、虚拟映射、碰撞检测和磁力反馈五个模块；手势捕获模块利用两个LeapMotion来获取人手的手势数据，通过对手部关节以及手掌的捕捉，建立出手部骨骼的3D模型，方便之后将其投射到虚拟环境中与虚拟模型进行交互；抖动消除模块分别利用区间卡尔曼滤波(IKF)和粒子滤波(PF)来估计手的位置和方向，从而消除传感器采集过程中产生的噪声；

虚拟映射模块通过Kinect获取到的人身的关节数据来定位人的位置，再利用AR技术将虚拟的装配零件模型投射到人的身前的操作平台上；操作平台动态跟踪操作者，操作平台的线圈会在整个虚拟装配过程中被不断调整使得人手的磁铁阵列的中心与线圈的中轴线在一条直线上，保证操作者可以随时感受到准确的力反馈，同时也使得操作者手部的操作空间被极大地拓展了，操作者可以不再为手移出操作空间导致操作失败而担心，提高了操作者在虚拟装配过程中的沉浸感；机器人的移动则保证了整个方法实现移动交互的可能，操作者可以随意移动，每当操作者移动的时候，机器人都会自动进行路径规划从而重新将虚拟的物体投射到操作者的身前；

碰撞检测模块首先会对根据人手建立的模型和操作者准备操作的零件之间进行碰撞检测，从而判断是否存在相互作用而实现真实人手和虚拟零件之间的交互；发生碰撞的时候，该操作者正在对该零件进行抓取等动作；同时，该模块也会负责在装配过程中对两个零件之间的碰撞进行检测；运用人工势场法从而实现一种辅助；设定整个操作空间是一个势场，由两种势场叠加形成的一个合成势场；这两个势场分别是引力势场和斥力势场，零件所要达到的目标状态和位置是一个引力点，装配时会对零件产生损害或无法进行装配的状态是斥力点，引力场可以表示为：

q是物体的状态，q_tar就是想要达到的目标状态，即设定的引力点，ξ是引力因子，ρ是求取两个状态之间距离的函数；引力则是引力场函数的导数：

由斥力点生成的斥力场则可以表示为：

η是对应的斥力因子，q_unexp就是会对零件产生损害的状态，也是设定的斥力点，ρ₀是斥力点能够影响范围的半径，当零件距离斥力点过远的时候，斥力点对其的影响就会归零；同样，斥力点对物体产生的斥力也是斥力场函数的导数：

磁力反馈利用电磁力让操作者感受到装配过程中零件之间的相互作用力。

2.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法，其特征在于，步骤S1中使用Kinect识别人体关节，用于定位并跟踪操作者。

3.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法，其特征在于，步骤S2中，利用LeapMotion传感器获取手势数据，从而构建出了人手骨骼的框架模型。