[发明专利]一种基于神经网络的物体位姿识别方法

权利要求书

1.一种基于神经网络的物体位姿识别方法，其特征在于，该方法包括如下步骤：

S1. 用户预先根据物体放置在方桌或者圆桌上，在初始化界面上进行动态/静态识别模式的选择：如果物体放在方桌上，使用静态识别；如果放在圆桌上，使用动态识别；

S2. 摄像机拍摄图片并根据步骤S1中用户在初始化界面的选择确定静态/动态识别模式绘制出桌面坐标系；

S3. 利用步骤S2中得到的桌面坐标系得到相对于空间坐标系的变换矩阵；

S4. 在步骤S2所拍摄的图片上运行YOLO6D神经网络，识别到桌面上放置的物品，并得到物品的边框，使用YOLO6D网络进行识别能够得到预测9个特征点的坐标，所述特征点是指网络预测出的3Dbounding box，其中心点和上下表面的8个角点；

S5. 根据步骤S3中得到的桌面坐标系得到相对于空间坐标系的变换矩阵和第四步得到的物品边框，使用PNP算法可以得到9个特征点在桌面坐标系中的坐标，进而求出静态识别模式的角度或动态识别模式下与圆桌中心的距离；

S6. 将步骤S4中得到的物品边框和步骤S5中得到的静态识别模式的角度或动态识别模式下与圆桌中心的距离显示在用户界面上，作为输出信息，使用OpenCV在所拍摄到的图片中依据特征点绘制出bounding box，实现识别结果的可视化，然后将物品坐标数据缓存；

S7. 判断用户是否在软件界面点击结束识别，如果否，则返回第二步；如果是，则进行下一步；

S8. 求出步骤S6中缓存的各个坐标的加权平均值，作为最终的识别结果，并将数据缓存；

S9. 将步骤S8中缓存的数据写入文本文件中，保存结果，结束识别。

2.根据权利要求1所述的基于神经网络的物体位姿识别方法，其特征在于，步骤S2的具体方法为：

对于静态识别，利用方桌二值化阈值对拍摄到的图像进行二值化，使用Canny边缘检测法提取出图像中的边缘线，然后使用霍夫直线拟合提取方形桌面的边缘，然后对检测到的直线进行聚类处理，得到上下两组分类，对各组直线的斜率和截距求平均值，就可以得到方桌四条边缘的拟合直线，利用四条桌面边缘线能够求出桌面四个桌角的坐标估计值，从而实现方桌边角的识别；又已知方桌的尺寸，取方桌左上角为坐标原点建立坐标系，利用四个顶点的照片坐标和理论上方桌俯视图中四个对应顶点的坐标进行透视变换，从而得到方桌坐标轴的标度，透视变换实现了将相机拍摄到的桌面图片变换到俯视图下，以便绘制出桌面坐标系；

对于动态识别，利用圆桌二值化的阈值对拍摄到的图像进行二值化，利用Canny边缘检测法提取出图像中的边缘线，然后使用椭圆检测识别图像中的椭圆，根据椭圆的面积滤除图像中的干扰图案，得到圆形桌面的边缘线，基于深度信息，采用以下的算法：首先根据摄像机拍到的RGB图像找到圆桌轮廓，在RGB图像上拟合椭圆，找到长短轴和上下左右四个点，利用pyrealsense库函数进行RGB与深度图像对齐，得到在RGB图上指定点所对应的深度，进而计算出该点在以相机为原点的三维坐标系下的坐标，根据几何关系，空间中的三个不共线的点可以确定唯一圆，将三维坐标带入空间圆周的参数方程确定系数，能够找到圆心的坐标，因此得到椭圆上下左右点的三维坐标后，首先找到三维坐标确定圆桌圆环方程和圆心在相机坐标系下的坐标，连接下端点和圆心作为基础向量，在空间圆环上遍历，找到与基础向量垂直的点坐标，即为实际圆环的左右两端点，将左右两端点在RGB图上找到对应坐标，就能获得透视变换矩阵，利用透视变换，将相机拍摄的圆桌图片变换到俯视图下，以便绘制出圆桌坐标系。

3.根据权利要求2所述的基于神经网络的物体位姿识别方法，其特征在于，所述方形桌面坐标系是指以桌面俯视图左上角为原点，向右为x正方向，向下为y轴正方向建立的三维左手坐标系，所述朝向角度为物品平放在桌面时，指定的正方向与x轴所夹锐角，物品指定正方向是指对于所拍摄物品，事先人为指定正面，则正面的法方向为正方向；所述动态识别模式下，桌面旋转速度为5s/转至180s/转，软件根据拍摄到的图片确定物品至圆盘中心的距离。

4.根据权利要求1所述的基于神经网络的物体位姿识别方法，其特征在于，在所述YOLO6D网络识别物品并估计特征点坐标的过程中，每一个物品都需要使用一个预先训练好的权重文件通过网络在所拍摄到的2D图像中进行匹配，为了提高软件运行速度，对于一张图片的识别，同时使用多个线程利用不同物品的权重文件运行网络，即可同时识别出不同的物品并分别得到各自的特征点坐标。