[发明专利]一种基于深度相机的目标文本点云图像识别矫正方法

权利要求书

1.一种基于深度相机的目标文本点云图像识别矫正方法，其特征在于包括如下步骤：

步骤1：记深度相机采集图像的矩形框为box1、包含目标文本的矩形框为box2，box1和box2中心点相同，且box1包含box2；其中，box2的宽度和高度分别记为w和h；

步骤2：使用深度相机获取box2包含的点云和box1包含的RGB图像，其中，box2包含的点云记为集合P＝{A_i＝(x_i,y_i,z_i)|i＝1,2,...,n},box1包含的图像记为Q,深度相机出厂时给定的内参矩阵为I；其中，A_i表示box2包含的第i个点云,(x_i,y_i,z_i)表示第i个点云的三维坐标，n表示box2包含的点云数量；

步骤3：根据式(1)计算得到图像Q的像素点坐标与P中的点云坐标对应关系；

k＝y*w+x (1)

其中，(x,y)表示图像Q的任意像素点的坐标，k表示(x,y)对应于点云集合P中点云的下标，即(x,y)对应于A_k＝x_k,y_k,z_k，k∈{1,2,…,n}；

步骤4：根据字符检测算法计算得到仅包含目标字符串的包络矩形框，记为box3,并从左上角开始按顺时针方向记录box3的4个顶点为B_a1、B_a2、B_a3和B_a4；利用式(1)找到B_a1、B_a2、B_a3和B_a4对应的点云，分别记为A_b1、A_b2、A_b3和A_b4；按顺时针连接A_b1、A_b2、A_b3和A_b4四个点云，从集合P中分割出对应于box3的点云并构成点云集合P₀，根据式(2)得到点云集合P₀的形心O_p；

其中，(x_c,y_c,z_c)表示点云集合P₀的形心O_p的坐标，(x_b1,y_b1,z_b1)、(x_b2,y_b2,z_b2)、(x_b3,y_b3,z_b3)和(x_b4,y_b4,z_b4)分别表示A_b1、A_b2、A_b3和A_b4的坐标；

步骤5：以点云集合P₀为输入，建立统计分析滤波器，根据点云统计滤波算法滤除离散点云，得到新的点云集合P_a；

步骤6：以点云集合P_a作为输入，建立KD树进行近邻点集搜索，根据搜索到的近邻点集并利用PCL求解每个点云的法向量，得到如式(3)所示的法向量集合F₀,再根据式(4)得到点云集合P_a的平面平均法向量

其中，vx_i、vy_i和vz_i分别表示法向量在X轴、Y轴和Z轴上的值；vx₀、vy₀和vz₀分别表示平均法向量在X轴、Y轴和Z轴上的值，m表示当前所输入点云集合的点云总数；

步骤7：遍历集合F₀，根据式(5)得到每个和的夹角angle_i，将所有角度angle_i小于5度的索引i保存为一维数组，将角度angle_i大于5度的索引i对应的点云过滤，利用PCL根据索引复制点云的方法得到索引i相对应的点云并进行聚类，记为点云集合P_b，统计P_b的点云数量，记为N；

其中，angle_i表示第i个点云的法向量与平均法向量之间的夹角；·表示向量点乘；

步骤8：若点云集合P_b的点云总数N与当前点云集合P_a的点云总数m相等，则表示过滤完全，令P_a＝P_b，转步骤9；否则，令P_a＝P_b，P_b＝Φ，转步骤6；

步骤9：根据式(6)得到过滤完全后的点云集合P_a的平均法向量和之间的夹角angle，根据式(7)得到点云P₀的平面旋转轴axis,并将旋转轴axis归一化；

其中，×表示向量叉乘，表示图像Q矫正后的平面法向量；

步骤10：根据式(8)得到平移矩阵TR,根据式(9)计算出将图像Q转换到矫正后的图像的透视变换矩阵H；

H＝I·R·TR·I^-1 (9)

其中，I^-1表示相机内参矩阵的逆矩阵，R表示根据angle和axis并采用PCL方法计算得到的旋转矩阵；

步骤11：针对box2中的字符串，根据式(10)得到图像Q中对应于box2的矫正后的子图像，记为Q_r；

其中，(u_s,v_s,1)表示box2的4个顶点的图像坐标的齐次坐标，(u_rs,v_rs,1)表示矫正后4个顶点对应图像坐标的齐次坐标；

步骤12：根据矫正后Q_r的四个顶点的齐次坐标重新裁剪ROI区域，根据式(1)得到四个顶点对应的点云，重新计算该ROI区域的4个顶点的世界坐标，根据结构化点云和图像实际长宽保持一致的要求，得到矫正后的目标文本的实际长宽，即实现了目标文本对应图像的矫正。