[发明专利]基于深度学习的移动机器人视觉导航方法

权利要求书

1.基于深度学习的移动机器人视觉导航方法，其特征在于：包括以下步骤，

步骤1：机器人在未知环境中随机探索，并以给定的频率拍摄图像，并将图像按拍摄时间序列进行命名并保存；

步骤2：采用打标工具对采集的RGB图像进行打标；

步骤3：用目标检测模型对打标图像进行训练，得到满足要求的目标检测模型；

步骤4：用户输入机器人要到达的目标；

步骤5：机器人通过自身搭载的RGB-D深度相机采集图片；

步骤6：机器人根据RGB图通过目标检测模型进行目标检测；

步骤7：检测到目标后机器人根据彩色图与深度图计算目标位置的坐标；

步骤8：机器人根据运动控制策略朝向目标位置行进。

2.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：以图片为输入，通过目标检测模型对目标进行识别，对目标大致基本方位进行认知，再根据深度图计算机器人距离目标的精确距离；使用轮式移动机器人搭载视觉传感器。

3.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤1中需要对图片进行处理，其中对图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240。

4.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤3中目标检测模型为卷积神经网络，网络采用卷积层和池化层的结构；输入层为480*480*3，后面是3个卷积池化层，最后是一个平均池化层和Softmax层；第一层是96个3*3步长为2的卷积核，然后是一个2*2的池化层；第二层是72个3*3步长为2的卷积核，然后是一个2*2的池化层；第三层是48个3*3步长为2的卷积核，然后是一个2*2的池化层；最后是一个24个2*2卷积核的平均池化层和全连接层，其中全连接层的神经元个数为3*3*15。

5.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：目标检测算法的输入为经过打标的RGB图像，输出为目标类别和在图像中的位置向量[p_c，b_x，b_y，b_h，b_w，c]，其中p_c为边框中物体为类别c的概率，b_x为边框中心的横坐标，b_y为边框中心的纵坐标，b_h为边框的高度，b_w为边框的宽度，c为目标类别向量[c₁，c₂，c₃，...，c_N]，N为目标类别向量元素的个数。

6.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤4中对目标的输入是语音输入或者是文字输入，机器人根据输入的字符找到其对应的编码，其中编码为[0，1，2，...，N-1]。

7.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤5中对所采集图片进行同步骤1相同的缩放处理。

8.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤6中目标物体在图片中的位置信息[b_x，b_y，b_h，b_w]。

9.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤7中，以相机坐标系作为世界坐标系，相机所在位置为坐标原点，以步骤6中边框的中心[b_x，b_y]作为目标在深度图中的位置，根据像素坐标与相机坐标的转换关系得到目标位置的实际坐标；

像素坐标为[u，v，d]，假设相机坐标p_c为[x，y，z]，相机坐标到像素坐标的关系为：

其中u＝b_x，v＝b_y，[u，v]为像素点在像素平面坐标系中的坐标，d为像素点的深度值，[x，y，z]为像素点在相机坐标系中的三维坐标，x轴方向为水平方向，y轴方向为竖直方向，z轴方向为垂直相机平面向外，K为相机的内参数矩阵，K由相机本身决定；

计算目标在相机坐标系下的坐标p_c[x，y，z]；

z＝d/s

在步骤8中的预设距离为20cm；c_x，c_y，f_x，f_y为构成K的相机内参，c_x，c_y为相机光圈中心，f_x，f_y为相机在x，y两个轴上的焦距，s为深度图的缩放因子。