[发明专利]一种基于Leap Motion的虚拟装配示教方法

摘要

一种基于Leap Motion的虚拟装配示教方法，先对装配体的零部件进行三维建模并进行正确装配，得到装配体模型，然后进行格式转换，导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；在Unity3D中进行虚拟装配场景的搭建，进行零部件的装配，再进行手势动作信息的获取与控制视图方法的编写，利用人手的动作信息实现对虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配；本发明可以准确的捕捉手部精细动作，实现对界面的控制及零部件的抓取并完成装配，并且将多种格式的零部件或装配体模型通过3dsMax格式转换后，进行虚拟装配，具有一定的通用性。

主权项

一种基于LeapMotion的虚拟装配示教方法，其特征在于，包括以下步骤：步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：步骤1‑1，零部件三维建模使用CAD建模软件，建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；步骤1‑2，利用步骤1‑1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1‑1，进一步改进装配过程，若未干涉，则进行步骤2；步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：步骤3‑1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；步骤3‑2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；步骤3‑3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：步骤4‑1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3‑2中半透明示范三维模型中的相应零件位置获得；步骤4‑2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离d1、正确距离d2:1)当L>d1时，零件呈颜色1，即零件还未接近正确位置；2)当d1>L>d2时，零件呈颜色2，即零件已接近正确位置；3)当L<d2时，零件呈颜色3，即判定零件已到达正确位置，零件被吸合到正确位置，且解除零件的碰撞属性以避免手的误碰，完成一次零件的装配；步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：步骤5‑1，装配者手势动作信息的获取依靠LeapMotion数据采集器对人手动作的捕捉，LeapMotion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指，并且LeapMotion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算机显示屏显示，并通过视觉反馈给装配者；步骤5‑2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；步骤5‑3，手势控制视图的具体方法为：1)首先利用相关函数得到人手的旋转数据和手部离原点的距离；2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；步骤6，利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。