[发明专利]一种基于深度图像对比的装配体多视角检测方法和系统

说明书

本发明涉及一种基于深度图像对比的装配体多视角检测方法和系统，本发明方法包括以下步骤：在装配体上或附近设置注册卡，建立三维模型库和零件库；通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；计算所述RGB传感器在注册卡坐标系中的位置和姿态；计算所述深度传感器在注册卡坐标系中的位置和姿态；更新所述三维模型库的视角，获取三维模型库当前视角下的合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；根据所述变化区域及视角在零件库中查询当前装配零件；更新所述三维模型库。本发明系统包括RGB‑D相机、注册卡和计算机，通过RGB‑D相机采集图像，通过计算机根据采集图像对装配过程进行检测。

技术领域

本发明涉及一种基于深度图像对比的装配体多视角检测方法和系统，属于装配过程监测技术领域。

背景技术

机械产品大多具有连接形式多样，外形尺寸巨大，装配工艺繁琐等特点。但是机械装配是机器制造和修理的重要环节，装配工作的好坏直接影响着机器工作的效率等问题。装配工作由操作人员完成时，难以避免存在装配错误或者遗漏等问题。现有技术中没有对装配体装配过程进行检测的方法。对装配体装配过程进行检测需要考虑装配过程中装配体和零件之间组合的变化，也要考虑所采集图像随采集设备的位置和姿态的变化，导致所采集图像具有三维物体不同角度和距离的信息。

发明内容

为了克服上述问题，本发明提供一种基于深度图像对比的装配体多视角检测方法和系统，该检测方法通过装配过程中采集的RGB图像和物理深度图像，确定装配步骤与各步骤装配零件。

本发明的技术方案如下：

一种基于深度图像对比的装配体多视角检测方法，包括以下步骤：

在装配体上或附近设置注册卡，建立三维模型库和零件库；所述三维模型库包含所述装配体的三维信息；所述零件库包含各待装配零件的三维信息；

采集图像，通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；所述RGB图像和所述物理深度图像中均包含所述注册卡的图像；

获取位姿，识别所述RGB图像中的注册卡，获取所述RGB传感器在注册卡坐标系中的位置和姿态；根据所述RGB传感器和所述深度传感器之间的位置关系，计算所述深度传感器在注册卡坐标系中的位置和姿态；

获取变化区域，在深度图像合成工具中，利用所述深度传感器在注册卡中的位置和姿态，更新所述三维模型库中虚拟模型的视角，利用深度缓存技术，合成当前视角下虚拟模型的深度图像，即合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；

更新三维模型库，根据所述变化区域及视角在零件库中查询当前装配零件；根据所述当前装配零件和所述变化区域及视角更新所述三维模型库中的虚拟模型信息。

进一步的，还包括判断装配过程是否结束，若未结束，则重复采集图像、获取位姿、获取变化区域和更新三维模型库步骤，直到完成装配过程；所述三维模型库记录实际装配过程，所述装配过程包括装配步骤、各步骤装配零件和零件装配位置。

进一步的，所述对比合成深度图像和物理深度图像，获取变化区域，具体包括以下步骤：

通过所述合成深度图像与所述物理深度图像的对应像素坐标的深度值作差并取绝对值，获取深度变化图像；

设定深度变化阈值，根据所述深度变化阈值对所述深度变化图像进行二值化处理，得到区域变化图像；所述二值化处理，将灰度值大于所述深度变化阈值的像素设为目标像素，其余为背景像素；

所述目标像素相连通的区域设为目标区域，计算每个目标区域的像素个数，设定区域面积阈值，所述目标区域的像素个数大于所述区域面积阈值的设为变化区域；若不存在变化区域则判断未装配新零件，重复则重复采集图像、获取位姿和获取变化区域步骤。