[发明专利]一种基于产品深度图像点云的无标识装配状态识别方法

说明书

为了解决现有的装配状态识别方法必须依赖于装配体上有明显局部特征才能较好识别，以及时间复杂度高的技术问题，本发明提出了一种基于产品深度图像点云的无标识装配状态识别方法，首先，在虚拟场景下获取产品数字模型各装配状态在不同视角下的投影点云，并利用形状向量对数字模型的投影点云构建形状向量描述符。其次，通过深度相机在实际装配场景中获取在装产品装配状态的深度图像点云，并利用形状向量对在装产品点云构建形状向量描述符。最终，利用余弦相似度方法计算两种描述符之间的相似度，依据相似度计算结果完成无标识装配状态的识别。

技术领域

本发明涉及一种利用装配现场所采集的产品深度图像点云进行无标识装配状态识别的方法。

背景技术

制造业的生产模式将由大批量生产转变为快速响应客户多样化需求的生产模式。在新的生产模式下，产品将根据客户的需求定制，具有灵活多变的特点。不同批次的产品可能相差较大，传统的大批量装配方法难以满足产品灵活多变的要求，在这种情况下单纯依靠装配人员也难以完成装配任务。增强装配的出现很好地解决了这类问题。增强装配是指在实际装配过程中装配人员利用混合现实等技术开展装配工作。当装配人员使用具有VR、AR等技术的设备进行装配作业时，可以获取在装产品的当前装配状况的信息，利用虚实信息的交互，可以与数据库中数字模型信息对比。根据对比结果并结合装配指令，可以获取下一步装配作业需要的零部件、工艺装备及装配操作等信息。目前已经出现了一些用于装配状态识别的方法：

公开号为CN113111741A的专利文献公开了一种基于三维特征点的装配状态识别方法，依据装配体局部结构特征提取特征点，对比数字模型与在装产品之间的特征点，实现点云配准与相似度计算，进而完成产品装配状态识别。由于这种方法需要提取局部特征作为匹配依据，当装配体上没有显著局部特征时，识别效果较差；此外，还需要对在装产品与数字模型点云配准，时间上较为繁琐。

文献“刘然.AR辅助装配中基体零件位姿估计与状态检测方法研究[D].上海交通大学，2018.002514.”中提出利用RGB相机采集零件位姿进行零件识别与装配状态检测，实现AR辅助产品装配。然而，该方法对于弱纹理零件位姿判断准确性与速度有待提升，且在离线数据采集中需要人工标定，效率低、易出错。

发明内容

为解决现有的装配状态识别方法必须依赖于装配体上有明显局部特征才能较好识别，以及时间复杂度高的技术问题，本发明提出了一种基于产品深度图像点云的无标识装配状态识别方法，利用不同视角下采集的在装产品深度图像，并采用全局描述符形状分布向量作为三维描述符进行装配状态的识别，不需要装配体具有显著的结构特征，同时具有良好的响应速度，无需人工标定，可以加快装配人员对操作流程的熟悉，提高装配工作的效率，减少纰漏。

本发明的发明构思是：

首先，在虚拟场景下获取产品数字模型各装配状态在不同视角下的投影点云，并利用形状向量对数字模型的投影点云构建形状向量描述符。其次，通过深度相机在实际装配场景中获取在装产品装配状态的深度图像点云，并利用形状向量对在装产品点云构建形状向量描述符。最终，利用余弦相似度方法计算两种描述符之间的相似度，依据相似度计算结果完成无标识装配状态的识别。

本发明的技术方案是：

一种基于产品深度图像点云的无标识装配状态识别方法，其特征在于，包括以下步骤：

步骤1：获取装配体每个装配状态的数字模型在不同视角下的点云数据集合；

步骤2：获取装配体每个装配状态的数字模型在不同视角下的点云数据集合对应的形状分布向量S_model；

步骤3：获取实际装配场景下在装产品当前装配状态的点云数据P_product；

步骤4：获取实际装配场景下在装产品当前装配状态的点云数据P_product对应的形状分布向量S_product；