[发明专利]一种智能感知虚拟装配系统

权利要求书

1.一种智能感知虚拟装配系统，其特征在于，包括：硬件部分和软件部分；

硬件部分包括：VR虚拟现实眼镜(1)、体感交互设备(2)、定位基站(3)、手持控制器(4)和主机(5)；

所述头戴显示器(1)、体感交互设备(2)、定位基站(3)、手持控制器(4)都与主机(5)进行信号连接；

VR虚拟现实眼镜(1)用于显示虚拟的装配场景；

体感交互设备(2)用于采集的手部姿势和位置并传输至主机(5)；

手持控制器(4)用于与虚拟环境中的物体进行交互；

定位基站(3)用于确定在其识别范围内运动物体的位置；

主机(5)用于发送、接收及计算数据；

软件部分包括：装配约束智能识别模块、手势识别交互模块、自适应视线辅助交互模块和数据可视化装配辅助模块；

装配约束智能识别模块；

为实现零件在装配过程中的动态变化，使零件在虚拟环境中更真实的模拟实际装配过程，需研究在约束条件下零件的运动规律，并进行数学描述，从而对已知约束条件和装配基体的零件进行动态位姿调整；

采用FDH包围盒，根据虚拟装配中包围盒的功能，结合本系统中的装配零件，分别在零件数据的零件层和特征层建立碰撞包围盒，用于零件穿透的判定和特征的识别；

在空间几何中，采用四元素法表达零件的三维旋转，用一个4×4齐次矩阵来描述零件的位姿，称作位姿矩阵，形式为

将位姿变换量表示成矩阵形式，与原位姿矩阵相乘，得到的新齐次矩阵就是经过坐标变换后零件位姿矩阵的表达式；

装配零件分为装配基体(简称基体)和待装配零件(简称待装件)；以基体为参照物，装配约束表征为待装件在基体坐标系中六个自由度限制的组合；在装配过程中，装配人员用手或者工具拾取零件并控制待装配零件的移动，即待装配零件的运动和装配人员一致，同时由于存在约束，该运动只有部分分量能够对零件产生实际作用。

2.根据权利要求1所述的一种智能感知虚拟装配系统，其特征在于：为了让零件伴随操作手进行平移及旋转，当零件被抓取时使手与零件的位置保持一致，实现约束零件在拾取条件下的运动，本系统在基体坐标系中，对零件的位姿进行了修正；在得到零件在约束条件下的改变量之后，需要在基体坐标系中将复合运动在各轴上的分量分离出来，再根据约束条件对被限制量进行剔除修正，并分别计算出在基体局部坐标系下待装配零件相对基体各轴的转角和平移量；当待装配零件存在多个约束时，需综合考虑多个约束对于零件自由度的影响，并重新对位姿改变量进行修正；

手势识别交互模块以体感交互设备采集的手部位置与姿态数据为基础，基于立体视觉原理和跟踪前检测(Track-Before-Detect：TBD)技术，使人的手部运动可被系统识别，从而人可在虚拟环境中完成复杂的装配动作，提升系统的交互性能；

自适应视线辅助交互模块

在虚拟环境中进行装配时，场景中存在诸多零件，许多零件功能近似、尺寸接近，仅靠外形难以区分，即便在实际装配中也需要对零件编号匹配，确认无误后方可进行装配，因而在虚拟环境中需要有在装配过程中能够显示被拾取零件信息的机制；

本系统基于视线碰撞原理，开发实时信息资讯显示界面，使零件的名称、编号等基本信息能够进行实时显示于眼前,此交互面板称为HUD(Head Up Display)；当操作者持续观察虚拟环境中待装配零件时，零件的相关信息便显示HUD上，当视线切换至其它零件时，界面信息也随之相应改变；

HUD技术可提供随视角而变换位置且视距固定的显示界面；将HUD技术原理应用到虚拟环境当中，使装配相关信息投射在操作者眼前，可以实现装配过程中信息资讯实时显示；

HUD技术的关键在于求取显示界面的空间位姿矩阵和确定信息显示内容；头盔作为虚拟场景中相机节点的定位基础，可以通过其内部的高精度陀螺仪获得头盔视点的空间位置和方向；当视距确定以后，可以通过数学推算获得信息面板的位姿矩阵，从而确定信息显示界面的空间位置；当操作者持续观察虚拟环境中待装配零件时，零件的相关信息便能够在眼前显示出来，有助于操作者更好的进行装配；

数据可视化装配辅助模块包括电子指导手册；

电子指导手册基于认知心理学，以图文说明、影像资料及演示动画等信息在虚拟电子屏上向使用者展示装配时的每一步骤，不仅可以清晰明了的向操作者展示装配顺序，而且可以充分满足操作者的自学要求；

进行虚拟装配时，电子指导手册可以指导操作者进行装配；电子手册屏幕主要分为两部分，左半部分为实际装配视频播放区，右半部分为文字、图片指导说明区；当操作者需要使用电子手册时，翻转左手至手掌面向自己便可调出电子手册控制按钮，按钮主要分为四大部分，左右两个按钮分别为前进和后退按钮，上方按钮为场景重置按钮，当装配过程中出现问题时，可按下此按钮返回最初的装配状态，下方按钮可自行添加其他功能键。