[发明专利]一种基于双目视觉的高精度虚拟装配系统算法

说明书

技术领域

本发明涉及一种基于双目视觉的高精度虚拟装配系统算法。

背景技术

在产品的设计和制造过程中，装配是一个很重要的环节，装配的效率和质量直接影响产品的最终质量。据有关资料介绍，装配工作的成本占总制造成本的30％～50％，甚至还可能更高。在传统的装配过程中，由于装配通常并不能一次性完成，必须要反复的装配和修改设计，且修改过程中需依赖实物模型。这种繁复的工作不仅使得装配过程极其复杂，也使得装配成本颇高。虚拟装配是利用计算机工具，在没有产品或支撑工艺的物理实现情况下，通过分析、虚拟模型、可视化和数据表达，做出或辅助做出装配关系工程的决定。不同于传统设计必须依靠实物模型进行装配，虚拟装配技术可以在数字环境中进行装配，从而对设计进行检验和修改，并形成评价模型。虚拟装配技术的应用可以简化产品的优化设计，缩短设计周期，减少设计成本，提高产品精度和生产自动化程度。实现手部姿势的高精度立体跟踪是虚拟装配系统的一个关键性且具有挑战性的问题。为了开发一种有效的且高效的解决方案，研究者们需要考虑一些复杂的、相互关联的因素，例如手部动作会存在的高维度的问题、手的外观颜色的均匀度的问题和严重的自遮挡问题。为了解决以上这些问题，一些非常成功的方法应用于专门进行动作捕捉的硬件或者用来进行视觉标记。遗憾的是，这些方法需要一个复杂的、昂贵的硬件设备或者它们会受到观测场景的干扰,或者两种情况同时存在。由于上述原因，从而影响虚拟装配系统的用户体验效果和推广普及。

对于通过无标记视觉数据来解决手势的立体跟踪识别问题，现有的方法可 以分为基于模型和基于外观两种。基于模型的方法提供连续的解决方案,但是需要昂贵的成本和依赖于丰富的视觉信息的可用性,这些信息一般由多功能摄像机系统提供。基于外观的方法需要相对较少的计算成本和不那么复杂的硬件，但是它们对手势的识别是不连续的，不能实现对手势的准确跟踪识别。

发明内容

本发明的目的是为了克服背景技术中的不足之处，基于Kinect传感器系统，融合手势识别跟踪技术及人机交互方式，提供一种基于双目视觉的高精度虚拟装配系统算法。该算法主要是依靠Kinect传感器采集的信息作为输入，在基于模型方法的基础上，将手势的识别跟踪问题转化为一个利用改进的PSO算法解决的最优化问题，并利用GPU提高最优化性能。

为了解决上述存在的技术问题，本发明是通过以下技术方案实现的：

一种基于双目视觉的高精度虚拟装配系统算法，该算法内容如下：

通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装配过程；

采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为输入信息，通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；应用OpenGL建立手部模型，采用球体、圆柱体、椭球体和椎体四个基本图元，建立一个用27个参数表征的具有26个自由度的3D手部模型；

将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相似度，采用改进的粒子群优化算法，通过相异性计算公式E(h,O)，估算出观察对象与模型对象之间的相异程度，不断优化手部模型的27个参数，使得相似度度量达到最大，最终得到采集图像的手部模型，基于手部模型以及 Kinect传感器的标定信息，最终渲染得到深度图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过程。

所述的相异性计算公式E(h,O)为：

E(h,O)＝D(O,h,C)+λ_k·kc(h)(1)

其中λ_k是一个标准化因数，C表示摄像机的校准信息，h代表模型对象，O代表观察对象；函数D(O,h,C)表示为：

函数D(O,h,C)中的绝对值表示观察对象与模型对象的箝位深度差，ε用来防止分母为零。

本发明采用一种合理的统一的评价标准(PTB)，通过对包围盒随时间和序列而发生的变化进行统计分析，对不同算法的跟踪效果进行一个具有说服力的比较和评价。该标准需要构造了一个统一的基准数据库，并实现对偏离率统计数据的分析。这个数据库由100段高歧异度的RGBD视频样本构成，其中95段视频样本用于评价，其余5段视频样本用于参数调整，利用2D或3D模型测试不同的跟踪算法，而且提出一种定量比较方法，对依据RGB或RGBD信息进行跟踪的不同算法做出合理的比较和评价。