[发明专利]一种基于神经网络的物体位姿识别方法

说明书

本发明公开了一种基于神经网络的物体位姿识别方法，该方法包括步骤：用户预先根据物体放置在方桌或者圆桌上，在初始化界面上进行动态/静态识别模式的选择；摄像机拍摄图片并绘制出桌面坐标系；得到相对于空间坐标系的变换矩阵；然后运行YOLO6D神经网络，识别到桌面上放置的物品，并得到物品的边框，进而求出静态识别模式的角度或动态识别模式下与圆桌中心的距离，再实现识别结果的可视化，然后将物品坐标数据缓存，求出缓存的各个坐标的加权平均值，作为最终的识别结果，并将数据缓存；将缓存的数据写入文本文件中，保存结果，结束识别。该方法能够通过单张照片识别出桌面上的物品并估计物品的位置和朝向。

技术领域

本发明涉及物体位姿识别领域，尤其涉及一种基于神经网络的物体位姿识别方法。

背景技术

在物流技术得到越来越广泛的应用的背景下，物流中心的分拣工作十分繁重，传统的人力分拣费事费力，如果将实时目标检测技术应用于桌面上生活物品的识别和检测，准确识别出桌面上物品并且判断出其位姿，就能够实现机械臂抓取。实时目标检测与物品6D位姿估计对增强现实技术，虚拟现实技术和机器人技术至关重要。在桌面上识别出物品并得到其6D位姿，是机器人抓取物品的前提条件。

传统神经网络进行物品位姿识别检测往往使用了深度信息，得到了良好的识别效果，但是深度相机耗电量较大，不适用于有大量需求的场景。Bugra等人提出了一种在RGB图像中同时检测目标并预测其6D姿态的单次拍摄方法，它不需要多个阶段或检查多个假设，无需经过额外处理就可以实现使用单张2D图片预测物品6D姿态。

发明内容

发明目的：针对上述问题，本发明提供一种基于神经网络的物体位姿识别方法。能够通过单张照片识别出桌面上的物品并估计物品的位置和朝向，将识别结果通过GUI界面告知用户，同时在图片中绘制出bounding box，实现识别结果的可视化。

为实现上述目的，本发明采用如下方案：

一种基于神经网络的物体位姿识别方法，该方法包括如下步骤：

S1. 用户预先根据物体放置在方桌或者圆桌上，在初始化界面上进行动态/静态识别模式的选择：如果物体放在方桌上，使用静态识别；如果放在圆桌上，使用动态识别；

S2. 摄像机拍摄图片并根据步骤S1中用户在初始化界面的选择确定静态/动态识别模式绘制出桌面坐标系；

S3. 利用步骤S2中得到的桌面坐标系得到相对于空间坐标系的变换矩阵；

S4. 在步骤S2所拍摄的图片上运行YOLO6D神经网络，识别到桌面上放置的物品，并得到物品的边框，使用YOLO6D网络进行识别能够得到预测9个特征点的坐标，所述特征点是指网络预测出的3Dbounding box，其中心点和上下表面的8个角点；

S5. 根据步骤S3中得到的桌面坐标系得到相对于空间坐标系的变换矩阵和第四步得到的物品边框，使用PNP算法可以得到9个特征点在桌面坐标系中的坐标，进而求出静态识别模式的角度或动态识别模式下与圆桌中心的距离；

S6. 将步骤S4中得到的物品边框和步骤S5中静态识别模式下求出的物品角度或动态识别模式下求出的物品与圆桌中心的距离显示在用户界面上，作为输出信息，使用OpenCV在所拍摄到的图片中依据特征点绘制出bounding box，实现识别结果的可视化，然后将物品坐标数据缓存；

S7. 判断用户是否在软件界面点击结束识别，如果否，则返回第二步；如果是，则进行下一步；

S8. 求出步骤S6中缓存的各个坐标的加权平均值，作为最终的识别结果，并将数据缓存；

S9. 将步骤S8中缓存的数据写入文本文件中，保存结果，结束识别。

所述的基于神经网络的物体位姿识别方法，步骤S2的具体方法为：