[发明专利]一种用于园林绿篱修剪的双目视觉识别和定位方法

权利要求书

1.一种用于园林绿篱修剪的双目视觉识别和定位方法，其特征在于，包括以下步骤：

步骤S1，使用双目相机采集多组平面棋盘的图像对，利用MatLab中的标定工具箱进行张正友平面棋盘标定实验，获得相机的内参数、外参数和畸变参数；

步骤S2，使用双目相机采集目标绿篱图像，提取目标绿篱模板图像；

步骤S3，使用双目相机采集待修剪的绿篱图像，对图像进行预处理，降低光照不均以及图像噪声所带来的影响；所述预处理为先进行图像灰度化处理，再进行图像滤波处理；

步骤S4，依据目标绿篱模板图像，通过模板匹配的方法，实现对目标绿篱的匹配识别；

步骤S5，对匹配识别到的左目绿篱图像进行分割，提取左、右目图像的特征点来完成立体匹配，然后基于匹配点对的视差值计算特征点的三维坐标，通过特征点的三维坐标拟合出代表目标绿篱的球体，从而获取绿篱的修剪中心坐标和修剪半径，实现对目标绿篱的定位；

其中，步骤S1使用双目相机采集多组平面棋盘的图像对，利用MatLab中的标定工具箱进行张正友平面棋盘标定实验，获得相机的内参数、外参数和畸变参数的方法包括以下步骤：

步骤S11，将具有8×11个黑白相间方块的棋盘贴在平板上，调整棋盘相对于双目相机的位姿，获取多组棋盘图像对；

步骤S12，调用MatLab中stereo Camera Calibrator模块，导入上步获取的多组棋盘图像对进行标定，删除重投影误差较大的图像对；

步骤S13，导出一个mat格式文件，其中包括左、右目相机的内参数和畸变参数，以及双目相机的外参数，完成双目相机标定工作；

其中，步骤S2使用双目相机采集目标绿篱图像，提取目标绿篱模板图像的方法包括以下步骤：

步骤S21，色彩空间转换与分量提取：将目标绿篱RGB图像转换到HSV图像，对HSV图像分别从三个分量方向进行分解，将原图像HSV色彩空间下的S分量作为后续二值化处理的初始图像；

步骤S22，图像二值化：使用最大类间方差法对S分量图像进行二值化分割；所述最大类间方差法为Otsu阈值分割算法；

步骤S23，图像形态学处理：使用图像形态学中的开运算、闭运算对二值化图像进行去噪处理；

步骤S24，生成绿篱模板图像：通过OpenCV库中的findContour()函数找到步骤S23得到的二值化图像的绿篱区域，然后通过boundingRect()函数获取该区域的外接正矩形，将该外接正矩形所在的位置投影到原图中，对正矩形区域进行截取，从而获得目标绿篱模板图像；

其中，步骤S3对图像进行图像灰度化处理的方法为：

采用加权平均值法对图像进行灰度化处理，将R、G、B三个分量按照一定的比例进行加权求和并以此作为当前像素的灰度值，具体公式如下：

Gray＝w_rR+w_gG+w_bB

式中，w_r，w_g，w_b分别为三个分量的权重系数，这三个分量的权重系数分别设置为w_r＝0.299，w_g＝0.587，w_b＝0.114；

其中，步骤S3对图像进行图像滤波处理的方法为：

采用中值滤波的方法对图像数据进行降噪处理，即用像素点邻域灰度值的中值来代替该像素点的灰度值，以此消除孤立的噪声点；

其中，步骤S4依据目标绿篱模板图像，通过模板匹配的方法，实现对目标绿篱的匹配识别的方法包括以下步骤：

步骤S41，将S2步骤获得的像素大小为m×n的绿篱模板图像M₀按照如下公式进行缩放得到M_i：

其中，i为更新的代数，d为模板更新过程中的缩放步长，N为最大的更新次数；

步骤S42，基于NCC(Normalized Cross Correlation)模板匹配算法，将缩放后的模板图像M_i与步骤S3获得的左目绿篱图像进行模板匹配得到感兴趣区域A_i；

步骤S43，计算M_i与A_i的相似度，采用峰值信噪比(PSNR)作为相似性的度量标准，记为P_i，公式如下：

其中，L为M_i的最大灰度值；MSE为均方误差，公式如下：

其中，M和N分别表示M_i的长和宽，R(i，j)、D(i，j)分别为M_i与A_i在(i，j)点的像素值；

步骤S44，统计N次模板匹配得到的相似度P_i，得到其中最大P_i对应的感兴趣区域A_i，A_i即为最佳的匹配识别结果；

其中，步骤S5对匹配识别到的左目绿篱图像进行分割，提取左、右目图像的特征点来完成立体匹配，然后基于匹配点对的视差值计算特征点的三维坐标，通过特征点的三维坐标拟合出代表目标绿篱的球体，从而获取绿篱的修剪中心坐标和修剪半径，实现对目标绿篱的定位的方法包括以下步骤：

步骤S51，图像分割：基于步骤S4得到的目标绿篱左目图像的识别结果，使用GarbCut算法进行图像分割，得到左目分割图像；

步骤S52，双目立体校正：利用步骤S1得到的相机的畸变参数，结合相机的畸变模型，对步骤S51得到的左目分割图像和步骤S3得到右目图像进行畸变修复，得到修复后成像点的坐标，然后使用Bouguet算法对左目分割图像和右目图像进行平行校准，完成双目立体校正；

步骤S53，特征点立体匹配：利用SURF算法提取步骤S52得到的左目图像和右目图像的特征点，建立特征点的集合，使用欧氏距离对集合内任意两特征点进行相似度度量，从中选取出匹配的特征点对，具体过程如下：

左、右目图像中任意两点L_i和R_i的相似度表示为：

其中，R_i＝(R_i1，R_i2，…R_i64)L_i＝(l_i1，l_i2，…l_i64)，两个特征点均用64维的特征向量进行描述；

R^*＝arg min d(L_i，R_i)

其中，R^*表示右目图中距离L_i最近的特征点；当匹配点间的欧式距离满足公d(L_i，R^*)＜β时，才被认为是准确的匹配点对，其中，β＝0.6；

步骤S54，获取特征点的三维坐标：计算匹配点对的水平像素差值得到视差值，结合相机的内参数、外参数、畸变参数和四大坐标系的转换关系，得到特征点的三维坐标，即空间点相对于左目相机原点的三维坐标，再基于MatLab实现特征点的可视化；

步骤S55，绿篱三维重建：基于最小二乘法的球体拟合算法，使用步骤S54得到的特征点的三维坐标拟合出代表目标绿篱的球体，具体过程如下：

将球体的空间方程定义为：

x²+y²+z²Ax-By-Cz+D＝0

令V＝∑(x²+y²+z²-Ax-By-Cz+D)²，最小二乘拟合算法就是要保证求出参数A、B、C、D使得V取得最小值，可以采用对V求偏导的方式，使其对各个参数的偏导均为0，即可求出A、B、C、D的值；然后可以得出拟合球体的球心坐标为(a＝A/2，b＝B/2，c＝C/2)，半径为拟合球体的球心坐标即为目标绿篱的修剪中心坐标，拟合球体的半径即为目标绿篱的修剪半径，实现了目标绿篱的定位。