[发明专利]一种基于深度学习的集装箱角件识别方法

摘要

本发明涉及一种基于深度学习的集装箱角件识别方法。实际工业环境中需要利用叉车对集装箱角件进行固定，需要首先获得角件的空间位置信息。彩色相机与深度相机相结合的系统部署方便快捷，精度高，所以利用视觉信息来进行角件检测最广泛。利用传统的视觉算法来进行集装箱检测难以提取出有效的特征，精度较低，速度较慢。本发明通过YOLO神经网络进行特征提取，提出了一种利用神经网络与特征匹配算法进行集装箱角件检测的方法，能在不同的工作场合下得到集装箱角件坐标及集装箱角件平面与相机平面的偏移角度。

主权项

1.一种基于深度学习的集装箱角件识别方法，其特征在于，该方法的具体步骤是：步骤(1)使用彩色相机获取一张集装箱所在区域的高分辨率彩色图像记为C，使用深度相机获取集装箱所在区域内的深度图记为D、强度图记为I；步骤(2)使用YOLO‑v3神经网络检测彩色图片中的集装箱与角件；具体如下：①将彩色图像输入训练好的YOLO‑v3神经网络中；神经网络会自动对输入图像进行特征提取，然后利用提取出的特征对目标物体在彩色图像中的坐标进行预测，最后经过对多个可能的坐标进行筛选，输出可能性最大的坐标，精确到像素；其中YOLO‑v3的检测目标为集装箱和角件，最后会输出三个结果，分别是集装箱与两个角件；②判断网络输出是否有效；通过对两个角件的坐标是否位于集装箱坐标内来判断网络结果的正确性，只有正确才进入下一步；具体方式如下：其中，flag表示结果是否有效，x_{box_min},x_{box_max},y_{box_min},y_{box_max}分别是集装箱在彩色图中的横纵坐标范围，i,j分别是角件的横纵坐标；步骤(3)将彩色图片中集装箱所在区域转换为灰度图，记为G；使用SURF算子检测灰度图G与强度图I中的关键点，并用FLANN算法匹配两张图片的描述算子，并且计算两者关键点之间的距离；根据距离的值域选择阈值，小于阈值则作为匹配的关键点；对匹配的关键点进行透视变换，得到变换矩阵H，并在强度图中框出所有的匹配点，将这个区域认定为深度相机中集装箱的坐标，并将位于G中角件位置的关键点在I中对应的关键点作为角件的坐标；步骤(4)根据集装箱在深度图中的位置，提取出集装箱平面的三维坐标数据；因为上一步的集装箱的深度区域并不只是角件所在平面，所以，需要对集装箱角件平面所在区域进行筛选；具体筛选步骤如下：设两个角件的深度图坐标分别为(x₁,y₁)和(x₂,y₂)，则区域内的点(m,n)应符合以下条件：对满足以上条件的点进行建模，来获得集装箱角件平面与相机平面的夹角；具体步骤如下：对平面建立平面模型：Ax+By+Cz+D＝0其中A、B、C、D为平面的参数，x、y、z为平面上点的坐标值；根据深度相机的置信度图，将每个三维坐标对应的置信度与阈值进行比较，当置信度达到要求，才将其计入计算点集中，反之则丢弃；利用主成分分析算法求解平面法向量的参数，计算方法如下：(a)求解平面上所有点的协方差矩阵；公式为：Σ＝E(hh^T)‑E(h)E(hh^T)(b)求解协方差矩阵的特征向量与特征值，其中最小特征值对应的特征向量就是平面对应的法向量，也就是平面方程中的参数A、B、C；(c)将集装箱平面的三维坐标数据中的所有有效数据代入方程，求得多个D值，对D值求平均，得到一个较为准确的D；(d)在获得了角件平面在深度相机坐标系的方程后，利用立体几何中的方法，计算出深度相机所在垂直平面与角件平面的夹角；使用公式如下：其中，θ为两平面之间的夹角，和分别为相机垂直于地面平面的法向量与角件平面的法向量；利用步骤(1)‑(4)，获得角件所在平面与相机平面的夹角与角件的三维坐标。