[发明专利]一种基于视觉的四足机器人行人自主跟随方法

权利要求书

1.一种基于视觉的四足机器人行人自主跟随方法，其特征是，具体步骤如下：

(1)双目立体相机获取输入图像，降低图片分辨率，将其作为行人检测网络的输入数据；

(2)基于Caffe深度学习框架训练一个不需要大量数据和预训练模型的行人检测模型，识别定位出立体相机视野内的所有行人，并记录每个行人候选框信息；

(3)选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给视觉跟踪器，并对跟踪目标进行尺度特征自适应建模；

(4)存在其他行人干扰时，在行人检测和视觉跟踪运行后，启动行人重实别模块，对视觉跟踪的结果进行再辨识，重新定位目标，并以此结果作为初始值重新初始化视觉跟踪器；

(5)主动视觉系统中，伺服舵机带动相机转动保证目标尽量处于视野中心，当目标的偏移超出设定角度时，将基于视觉传感器获得的目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。

2.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(2)中行人检测模型训练的具体过程是：

将一个单张的图片x₀输入到一个有层的卷积网络，每层的激励函数设为为网络层的编号；前馈卷积神经网络将第层的输出作为第层的输入，所以第层的输出为：第层接收网络层的特征图作为输入，每一层的变换为其中指在层中产生的特征图的拼接；

采用密集连接的卷积神经网络进行行人检测，检测网络包括3个密集卷积块，每个密集卷积块中包含4个卷积层，两个相邻块之间的层为过渡层，通过卷积和池化来改变特征图的大小，最后通过线性分类器完成分类；

在前端子网络中加入致密结构，综合每个尺度获取多尺度信息，其中一半的特征图由前层尺度连接卷积层得到，另一半由相邻的高分辨率的特征图下采样获得到；下采样由一个2×2的最大池化层和一个1×1的卷积层组成，池化层用来减少计算，卷积层用来减少通道数量。对于每个尺度，仅仅需要学习一半的新特征，重新使用之前尺度的剩余的那一半，用少量参数获得更准确的结果。

3.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(3)中行人检测模型训练的具体过程是：

(1)多通道特征融合：

分别提取图像灰度特征、颜色相关图特征和方向梯度直方图特征用于分类器的训练，分别得到响应值最大的位置，作为各自的跟踪结果；最后通过响应值的大小自适应调节各自的权重，将各自的跟踪结果通过权重进行加权矢量叠加融合得到最终的跟踪结果：

表示x的傅里叶变换，⊙表示点乘运算，指离散傅里叶逆变换，为的共轭，x_c是三个特征融合后的特征；

(2)尺度自适应：

选用d维特征图表示图像信号，从特征图矩阵块中提取特征映射目标，记为f，f^l表示不同维数的图像块，特征维数l∈{1，2…d}，通过下式寻找最佳滤波器h，每个特征维度包含一个滤波器h^l：

其中g是f对应的相关期望输出；λ_s≥0是正则化参数，缓解零频率问题；解得的傅里叶变换解如下：

“^”表示离散傅里叶变换，“*”表示矩阵的共轭矩阵，通过最小化输出误差函数ε训练目标图像块获得最优滤波器h，为了增加滤波器的鲁棒性，分别更新最优滤波器的分子和分母B_t：

此处η表示学习速率，计算特征图的矩形区域的相关滤波响应y估算新的目标尺度：

4.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(4)中行人检测模型训练的具体过程是：

给定目标行人图像p和gallery数据集，包含N幅图像，p和g_i的原始距离由马氏距离计算得：其中x_p和分别表示probe p和gallery g_i的特征向量，N是一个半正定矩阵；两张图片相似的k-reciprocal集合会重叠，即会有重复的样本。重复的样本越多，这两张图片就越相似。通过Jaccard距离度量集合的相似度：

取λ∈[0,1]，最终计算距离如下：

d^*(p,g_i)＝(1-λ)d_J(p,g_i)+λd(p,g_i)。