[发明专利]基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法

权利要求书

1.本发明设计的基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法，包括以下步骤：

(1)对Kinect v2深度相机进行标定：使用张正友棋盘格标定方法，首先确定二维坐标到三维坐标的转换式；

根据式(1)，需要确定相机的内参矩阵A；实验中分别使用RGB彩色相机、深度摄像机在可靠视距范围内的各个角度对棋盘格进行拍摄，利用OpenCV中的标定函数计算首先出二者内参矩阵，最后进行配准，以保证RGB相机与深度相机所拍摄的图像是匹配的；标定完成后Kinect v2深度相机才能够精确地获得场景三维坐标数据；

(2)对目标农作物进行识别：使用基于DarkNet框架下的YOLOv3算法，使用Kinect v2拍摄拍摄一系列分辨率相同的不同种类农作物的图片，分别观察对于不同形状、不同颜色以及不同重叠效果的农作物情况下，YOLOv3算法对农作物的识别结果；

(3)定义特征点：使用YOLOv3算法识别目标农作物时，会在RGB图形上生成一个矩形框将目标农作物标示出来，将矩形框四个顶点从左上角顺时针依次设为A(x₁，y₁)，B(x₂，y₂)，C(x₃，y₃)，D(x₄，y₄)，特征点坐标设为S(x，y)，定义特征点的坐标求解公式为

(4)特征点三维坐标提取：在深度相机的Kinect_viewer/src目录下创建一个C++文件，初始化中添加ros：：Publisher语句，在深度相机原本提供的viewer.cpp文件基础上进行修改，注册鼠标回调函数，去掉main函数中多余的参数解析，，最后在Kinect_viewer文件夹下的CMakeLists.txt中加入相应的编译配置项，运用软件“按键精灵”，将目标农作物的RGB图像中心点导入到该软件中生成脚本，实现鼠标自动点击过程；完成上述过程后，运行程序即可自动提取特征点三维坐标；

(5)存储并发布三维坐标：目标农作物的三维坐标显示在点云图像上后，通过鼠标点击存储数据，并将存储的数据发布到ROS相应的话题中，方便接下来机械臂对三维坐标数据的读取。