[发明专利]基于虚拟样本深度学习的机器人目标识别和位姿重构方法

权利要求书

1.一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，包括如下步骤：

目标区域检测步骤：采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；

相对姿态估计步骤：采用CNN姿态分类器估计机器人末端相机当前视角，基于当前视角与精确位姿求解最佳视角来得到观测角偏差；

主动视角变换步骤：采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；

精确位姿求解步骤：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。

2.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述CNN区域探测器是指：使用基于CAD模型多视角虚拟相机的渲染图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的完整图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和区域检测，输出为目标在图像中的区域。

3.根据权利要求2所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型多视角虚拟相机的渲染图像自动生成的方法是指：采用图像渲染的方法逼近真实场景的照明、背景影响因素，并加入部分真实场景的相机图像进行样本改良的方法。

4.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述CNN姿态分类器是指：使用基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的轮廓图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和特征分类，输出为目标的当前观测视角。

5.根据权利要求2至4中任一项所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型的多视角虚拟相机是指：采用以CAD模型为原点，以精确位姿求解最佳视角为径向方向的球坐标系，按照一系列等间距的方位角、仰角生成样本标签，并让相机绕当前球径翻滚，生成不同方位角、仰角、翻滚角下的虚拟相机。

6.根据权利要求4所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法是指：采用每个轮廓图像的虚拟相机方位角和仰角作为样本标签，同时的同一样本标签下的方位角、仰角允许在设定范围内随机变动，以扩充样本丰富性。

7.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，精确位姿求解最佳视角是指：通过轮廓特征的虚实匹配、位姿反求获取目标位姿的观测视角。

8.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述相对姿态估计是指：将三维姿态估计简化成二维连续观测视角，包括方位角θ和仰角的离散化分类问题，即将

离散化为其中表示方位角为θ_i，仰角为的样本标签，i表示第i个方位角，j表示第j个仰角；R表示[0,2π]连续实数；

观测视角的离散化分类采用的姿态分类器，以深度卷积神经网络为基本结构，以基于CAD模型的多视角轮廓图像为训练样本，以离散化观测视角，即方位角θ_i和仰角为样本标签，以当前样本最可能的观测视角类别为分类器输出。

9.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，主动视角变换是指：在每一次视角变换前，按照所估计的当前观测视角沿着距离精确位姿求解最佳视角的球面最短路径进行路径规划；变换过程中每一次视角变换的步长为沿着规划路径前进至下一个离散化观测视角，通过小步长多次迭代、反复矫正的方法确保视角变换过程中的运动误差不会使目标脱出视野。

10.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，通过位姿反求得到精确位姿求解最佳视角对应的CAD模型信息，自动求出所匹配特征的实际相对空间关系并用于PNP问题求解；轮廓特征的虚实匹配采用轮廓方位特征，所述轮廓方位特征包括：直线轮廓交点或者延长线交点、直线轮廓夹角。