[发明专利]基于虚拟样本深度学习的机器人目标识别和位姿重构方法

说明书

本发明提供了一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法，包括采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。本发明解决了深度卷积神经网络的海量样本需求问题，以及轮廓匹配视角偏差过大时导致的特征遮挡、匹配困难的问题；提升了机器人视觉感知的主动性和目标位姿重构的算法柔性。

技术领域

本发明涉及机器视觉以及机器人控制领域，具体地，涉及基于虚拟样本深度学习的机器人目标识别和位姿重构方法。

背景技术

目前工业机器人的视觉感知主要通过目标工件某些特定平面上的关键轮廓特征进行目标位姿重构和操作路径规划，其缺点包括：物体视角偏差过大时，会出现特征遮挡、匹配困难的问题；软件柔性不足，对于不同的操作目标，需要预先定义不同的轮廓特征及相应的位姿反求公式。

经检索：王中任等在《基于CAD模型的随机工件视觉识别和定位方法》中提出采用CAD模型进行模板训练，然后采用模板轮廓和目标轮廓相似度度量，识别出与图像中目标相似度高的模板；然后，采用非线性优化算法进行多次增强鲁棒性的迭代，使得模板轮廓(线框模型)与目标轮廓实现最优匹配，以获得目标的姿态信息。

但是，上述方法不具有视角选择的主动性，如果当前相机姿态对应目标图像的轮廓信息比较少，则难以实现精准匹配；且传统的模板匹配方法无法适应实际工业场景中复杂背景引入的轮廓噪声，且模板搜索和非线性优化过程会占用大量的时间，无法满足工业控制的实时性要求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法。

根据本发明提供的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，包括如下步骤：

目标区域检测步骤：采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；

相对姿态估计步骤：采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；

主动视角变换步骤：采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；

精确位姿求解步骤：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。

优选地，所述CNN区域探测器是指：使用基于CAD模型多视角虚拟相机的渲染图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的完整图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和区域检测，输出为目标在图像中的区域。

优选地，所述基于CAD模型多视角虚拟相机的渲染图像自动生成的方法是指：采用图像渲染的方法逼近真实场景的照明、背景影响因素，并加入部分真实场景的相机图像进行样本改良的方法。

优选地，所述CNN姿态分类器是指：使用基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的轮廓图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和特征分类，输出为目标的当前观测视角。

优选地，所述基于CAD模型的多视角虚拟相机是指：采用以CAD模型为原点，以精确位姿求解最佳视角为径向方向的球坐标系，按照一系列等间距的方位角、仰角生成样本标签，并让相机绕当前球径翻滚，生成不同方位角、仰角、翻滚角下的虚拟相机。