[发明专利]一种街景场景下基于全局图像条纹码的回环检测方法

权利要求书

1.一种街景场景下基于全局图像条纹码的回环检测方法，其特征在于，包括如下步骤：

(1)对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；具体包括如下内容：

(1.1)对图像进行x和y方向的梯度计算，得到灰度图像：

(1.1.1)将RGB彩色图像转化为灰度图：

Grey＝0.299×R+0.587×G+0.115×B

根据上式，依次读取每个像素点的R、G、B值，进行计算灰度值，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；

(1.1.2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：

该算子包含两组3×3的矩阵，分别为横向矩阵及纵向矩阵；将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；以I代表原始图像，G_x及G_y分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

G_x＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]

G_y＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]

其中，f(x,y)表示图像(x,y)像素点的灰度值，图像的每一个像素点的横向及纵向灰度值通过以下公式结合，来计算该像素点灰度的大小：

|G|＝|G_x|+|G_y|；

(1.2)设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1；设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口，其中，W表示窗口宽度，H表示窗口长度，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1；设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1；遍历所有group，最终形成了128bits的图像描述码；根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；

(1.3)采用KD树分割128维数据空间的数据结构便于快速索引：

(1.3.1)输入：128维空间数据集T＝{x1,x2,…,xi…,xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1….N；

(1.3.2)构造根节点：根结点对应于包含T的128维空间的超矩形区域；选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(1)垂直的超平面实现；由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域；将落在切分超平面上的实例点保存在根结点；

(1.3.3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(i)垂直的超平面实现；由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域；将落在切分超平面上的实例点保存在该结点；

(2)对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取Hamming距离最小的前K张图片；

(3)将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置；具体包括如下内容：

(3.1)选用SIFT算法对图像进行特征检测与匹配：

(3.1.1)构建尺度空间，模拟图像数据的多尺度特征；

一幅二维图像的尺度空间定义为：

L(x,y,s)＝G(x,y,s)*I(x,y)

其中，G(x,y,s)是尺度可变高斯函数

利用不同尺度的高斯差分核与图像卷积生成：

D(x,y,s)＝L(x,y,ks)-L(x,y,s)

L(x,y,s)定义的是二维图像的尺度空间，x,y是空间坐标，s大小决定图像的平滑程度，G(x,y,s)是尺度可变高斯函数；

(3.1.2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共9×2+8＝26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个图像点如果在DOG尺度空间本层以及上下两层的9×2+8＝26个领域中是最大或最小值时，则认为该点是图像在该尺度下的一个候选关键点；

(3.1.3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合；然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置；确定了每幅图中的特征点后，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；

θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度和方向，由此确定一个SIFT特征区域；

(3.1.4)生成关键点描述子；将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算各方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点；一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重；这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向；

(3.2)根据SIFT进行图像匹配；当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于两个距离的比例阈值，则接受这一对匹配点，最后选取匹配点数最多的图像即可作为参考图像；所述比例阈值取值为0.4～0.6。