[发明专利]一种单目机器人上的目标人发现与跟随方法

权利要求书

1.一种单目机器人上的目标人发现与跟随方法，其特征在于结合机器人同时定位和建图得到的空间信息与单纯图像中的视觉信息，具体步骤如下：

(1)机器人同时定位和建图；

(2)运动帧与运动区域检测；

(3)在运动帧的运动区域进行视觉目标人检测；

(4)视觉目标人追踪；

(5)视觉目标人跟随；

其中：

步骤(2)所述运动帧与运动区域检测，具体过程如下：

(21)对于机器人运动过程中所经过的关键场景，采样关键场景前后位置图像及关键帧图像进行超像素分割；提取将第t帧图像进行超像素分割，得到N_t个超像素；每个超像素sp(t，r)(t＝1，...，m，r＝1，...，N_t)由一个特征向量来表示；

(22)在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型；使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心f_c(i)和聚类半径r_c(i)表示；

(23)在获取到新的图像帧之后，选取场景模型来分析该帧是否包含运动区域；

步骤(3)所述在运动帧的运动区域进行视觉目标人检测，具体过程如下：

(31)使用训练图片及其中的目标位置来训练深度神经网络，得到目标检测模型；

(32)在运动帧的运动区域使用分类器对图像帧进行检测，得到目标位置；

步骤(4)所述视觉目标人追踪，具体过程如下：

(41)将每个初始帧进行超像素分割，聚类，得到目标人表观模型；

(42)对新的图像帧使用表观模型和地图点信息得到目标位置；

(46)每追踪一定数量的图像帧之后，更新表观模型；

步骤(5)所述视觉目标人跟随，具体过程如下：

(51)计算步骤(42)得到的目标位置的水平中心位置；

(52)控制机器人移动，使得目标人位于机器人采集的图像水平中心位置；

步骤(41)中所述将每个初始帧进行超像素分割，聚类，得到目标人表观模型，具体过程如下：

(411)将第t帧中的目标周围区域进行超像素分割，得到N_t个超像素，每个超像素sp(t，r)(t＝1，...，m，r＝1，...，N_t)由一个特征向量来表示；

(412)使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心f_c(i)和聚类半径r_c(i)表示；

(413)每个clst(i)对应于训练帧中的图像区域S(i)，对每个clst(i)计算两个得分，S⁺(i)，S^-(i)；前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小；S⁺(i)/S^-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大；给每个聚类一个介于[1，-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图；sp代表超像素，clst代表聚类；

步骤(42)中所述对新的图像帧使用表观模型和地图点信息得到目标位置，具体过程如下：

(421)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为N_t个超像素；

(422)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；

其中，w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和f_c(i)(sp(t，r)属于的聚类的特征中心)的权重，参数r_c(i)表示clst(i)在特征空间中的聚类半径，λ_d是一个归一化项；综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值

对于整个图像帧，通过以下步骤得到每个像素的置信值；对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；

(423)地图点打分，公式如下：

如果sp(t，r)和地图点k相邻

n(t，k)代表图像帧t中地图点k的共见次数；

(424)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：

(425)选择属于目标的得分最高的区域为目标位置；

(426)调整将地图点所在超像素属于目标人的概率，以备表观模型更新。

2.根据权利要求1所述的单目机器人上的目标人发现与跟随方法 ，其特征在于，步骤(23)中所述的选取场景模型来分析该帧是否包含运动区域，具体过程如下：

(231)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；

(232)将该图像帧进行超像素分割，得到N个超像素，每个超像素sp(r)(r＝1，...，N)由一个特征向量f^r来表示；

(233)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别；距离计算公式如下：

(234)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率，概率计算公式如下：

超像素r属于聚类i

其中，参数r_c(i)代表了dst(i)在特征空间中的聚类半径，λ_d是一个归一化项；综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图；如果则认为该超像素为变化区域；

(235)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。