[发明专利]一种基于深度学习的多机器人协同路径跟随方法

摘要

本发明公开了一种基于深度学习的多机器人协同路径跟随方法，目的是提高路径识别的准确率，使得准确率和识别时间达到平衡。技术方案是搭建由空中和地面机器人节点、云端服务器节点构成的环境，云端服务器节点基于WIFI获得地面机器人拍摄的环境图片，云端服务器节点基于环境图片进行路径延伸方向识别分类，对于无法识别或可能识别错误的情况，则请求空中机器人节点传回高层视图并通过决策融合处理得到最终决策，并将得到的最终决策转化成相应的速度向量发送给空中和地面机器人节点，使得机器人群体协同驱动。采用本发明可提高路径识别的准确率，使得在提高路径识别准确率和缩短识别时间之间达到一个恰当的平衡。

主权项

1.一种基于深度学习的多机器人协同路径跟随方法，其特征在于包括以下步骤：第一步，构建多机器人环境，它由地面机器人节点、空中机器人节点和云端服务器节点构成；地面机器人节点和空中机器人节点是可以运行软件程序的机器人硬件设备，云端服务器节点是能运行计算密集型或者知识密集型的机器人应用的计算设备，地面机器人节点、空中机器人节点和云端服务器节点通过网络设备互连；地面机器人节点和空中机器人节点上除了装有操作系统Ubuntu外，还装有感知数据采集模块和速度命令接收模块；感知数据采集模块采集地面或空中机器人拍摄的彩色环境图片，加“地”或“空”标志后，通过WIFI将视图和标志发送给云端服务器节点；地面机器人拍摄的彩色环境图片称为低层视图，空中机器人拍摄的彩色环境图片称为高层视图；速度命令接收模块从云端服务器节点接收速度向量，进而驱动空中或地面机器人运动；空中机器人节点上的感知数据采集模块称为第一感知数据采集模块，地面机器人节点上的感知数据采集模块称为第二感知数据采集模块；空中机器人节点上的速度命令接收模块称为第一速度命令接收模块，地面机器人节点上的速度命令接收模块称为第二速度命令接收模块；云端服务器节点除了装有操作系统Ubuntu、深度学习框架Caffe外，还装有感知数据接收模块、地面基于ResNet图像分类模块、空中基于ResNet图像分类模块、协同识别决策模块，决策融合模块和速度转换模块；感知数据接收模块通过WIFI接收来自地面机器人节点的低层视图或空中机器人节点的高层视图，以及“地”或“空”标志，将有“地”标志的低层视图发送给地面基于ResNet图像分类模块，将有“空”标志的高层视图发送给空中基于ResNet图像分类模块；地面基于ResNet图像分类模块和空中基于ResNet图像分类模块都是基于ResNet模型对图像进行分类，得到彩色环境图片中道路延伸方向对应的分类标签和分类标签概率向量以及识别自信度；空中基于ResNet图像分类模块使用DL‑Cooper数据集中高层视图数据集训练ResNet模型得到空中图像分类器，地面基于ResNet图像分类模块使用DL‑Cooper数据集中低层视图数据集训练ResNet模型得到地面图像分类器；决策融合模块使用DL‑Cooper数据集中成对的低层和高层视图数据集训练ResNet模型得到融合图像分类器，并使用其输出的融合分类标签概率向量和分类标签训练SOFTMAX分类器，SOFTMAX分类器是logistic回归模型在多分类问题上的推广，可以预测输入属于任意类别的概率，且输出的概率向量所有元素的和为1；道路延伸方向对应的分类标签包括：向左转即TL，向右转即TR，朝左行进即ML，朝右行进即MR，向前行进即GS和停止运动即ST；其中朝左行进、朝右行进和向前行进这三个标签是针对空中机器人的训练标签，朝左行进，朝右行进，向前行进和停止运动这四个标签是针对地面机器人的训练标签；“停止运动”标签是指地面机器人视角内没有路的时候，不知道此时该如何决策；向左转、向右转是当地面机器人决策为“停止运动”时，决策融合模块给予的调整决策，即只转角度而不前进，使得地面机器人视野内可以重新看到路；朝左行进是朝着左方向前进一段距离，朝右行进是朝着右方向前进一段距离；分类标签概率向量包含每个分类标签对应的概率：P(TL)，P(TR)，P(ML)，P(MR)，P(GS)，P(ST)；其中P(TL)表示“向左转”分类标签对应的概率，P(TR)表示“向右转”分类标签对应的概率，P(ML)表示“朝左行进”分类标签对应的概率，P(MR)表示“向右行进”分类标签对应的概率，P(GS)表示“向前行进”分类标签对应的概率，P(ST)表示“停止运动”分类标签对应的概率；地面基于ResNet图像分类模块的地面图像分类器输出地面分类标签概率向量，地面分类标签概率向量是四元组(P(ML)，P(MR)，P(GS)，P(ST))，空中基于ResNet图像分类模块的空中图像分类器输出空中分类标签概率向量，空中分类标签概率向量是三元组(P(GS)，P(ML)，P(MR))，决策融合模块的SOFTMAX分类器输出融合分类标签概率向量即二元组(P(TL)，P(TR))或者三元组(P(GS)，P(ML)，P(MR))；识别自信度表征ResNet模型识别结果的可靠性大小，识别自信度得分在0和1之间，得分越大表示识别结果的可靠性越大，其值是分类标签概率向量中的最大值；协同识别决策模块从地面基于ResNet图像分类模块接收分类标签、分类标签概率向量和识别自信度，通过分类标签和识别自信度阈值判断识别结果是否正确，对是否需要采取决策融合操作进行判断；识别自信度阈值由用户设置，是使用DL‑Cooper数据集进行实验而选择的最优值；决策融合模块从协同识别决策模块接收低层视图的分类标签和地面分类标签概率向量，从空中基于ResNet的图像分类模块接收高层视图的空中分类标签概率向量，并根据地面机器人识别结果错误或无法进行分类两种情况进行决策融合工作，将决策融合后的融合分类标签概率向量和信号标志发送给协同识别决策模块；信号标志是从分类标签概率向量到速度向量转换的转换依据，它有两种取值：0或1；如果决策融合模块从协同识别决策模块接收到的分类标签是“停止运动”，则信号标志为0，代表此时决策融合模块给出的融合分类标签概率向量是二元组(P(TL)，P(TR))，即此时机器人群体应该采取的是“调整”指令；如果决策融合模块从协同识别决策模块接收到的分类标签不是“停止运动”，则信号标志为1，代表此时决策融合模块给出的融合分类标签概率向量是三元组(P(GS)，P(ML)，P(MR))，即此时机器人群体应该采取的是“行驶”指令；速度转换模块从协同识别决策模块接收地面分类标签概率向量或融合分类标签概率向量、信号标志，将其转换为速度向量后发送给地面机器人节点的第二速度命令接收模块和空中机器人节点的第一速度命令接收模块，速度向量包含线速度v和角速度w；第二步，云端服务器节点、地面机器人节点、空中机器人节点通过WIFI建立连接信道以传播图片信息和速度命令信息；地面机器人节点和空中机器人节点感知环境，并通过连接信道将视图发送给云端服务器节点的感知数据接收模块，方法是：2.1云端服务器节点通过WIFI与地面机器人节点和空中机器人节点建立连接信道，云端服务器节点的感知数据接收模块和地面机器人节点的第二感知数据采集模块相连，云端服务器节点的感知数据接收模块和空中机器人节点的第一感知数据采集模块相连；云端服务器节点的速度转换模块和地面机器人节点的第二速度命令接收模块相连，云端服务器节点的速度转换模块和空中机器人节点的第一速度命令接收模块相连；2.2地面基于ResNet的图片分类模块和空中基于ResNet的图片分类模块使用地面和空中DL‑Cooper数据集分别对两个ResNet模型进行训练，得到两个训练好的ResNet模型，训练方法使用有监督训练方法；2.3云端服务器节点的协同识别决策模块从键盘接收识别自信度阈值；2.4地面机器人节点第二速度命令接收模块和空中机器人节点的第一速度命令接收模块并行工作：地面机器人节点第二速度命令接收模块判断是否通过WIFI接收到用户的停止命令，同时空中机器人节点的第一速度命令接收模块判断是否通过WIFI接收到用户的停止命令，如果第二速度命令接收模块没有接收到停止命令，转2.5，如果第一速度命令接收模块没有接收到停止命令，转2.6；否则执行停止操作，将线速度v和角速度w都设置为0，转第八步；2.5地面机器人节点的第二感知数据采集模块通过地面机器人节点的视觉传感器采集拍摄到的低层视图；地面机器人节点的第二感知数据采集模块通过连接信道将低层视图和“地”标志发送给云端服务器节点的感知数据接收模块，转第三步；2.6空中机器人节点的第一感知数据采集模块判断是否从决策融合模块接收到图像请求，若接收到，通过视觉传感器采集高层视图，第一感知数据采集模块通过连接信道将高层视图和“空”标志发送给云端服务器节点的感知数据接收模块，转第三步；若未接收到，转2.6；第三步，云端服务器节点上的感知数据接收模块通过连接信道接收图片和标志，如果标志是“地”，将低层视图发送给地面基于ResNet的图像分类模块，转第四步；如果标志是“空”，将高层视图发送给空中基于ResNet的图像分类模块，转第五步；第四步，地面基于ResNet的图像分类模块进行图像识别分类，将初步识别结果发送给协同识别决策模块，方法是：4.1地面基于ResNet的图像分类模块从感知数据接收模块接收低层视图；4.2地面基于ResNet的图像分类模块使用ResNet模型进行低层图片特征提取操作，从地面图像分类器获取初步识别结果即分类标签、地面分类标签概率向量(P(ML)，P(MR)，P(GS)，P(ST))和识别自信度，将初步识别结果发送给协同识别决策模块，转第六步；第五步，空中基于ResNet的图像分类模块进行图像识别分类，将初步识别结果发送给协同识别决策模块，方法是：5.1空中基于ResNet的识别决策模块从感知数据接收模块接收高层视图；5.2空中基于ResNet的识别决策模块使用ResNet模型进行高层图片特征提取操作，从空中图像分类器获取高层视图的空中分类标签概率向量(P(GS)，P(ML)，P(MR))，然后将空中分类标签概率向量发送给决策融合模块，转6.3步；第六步，协同识别决策模块根据初步识别结果判断图片识别是否正确，如果正确，协同识别决策模块将结果发送给速度转换模块，转第七步；否则协同识别决策模块将地面分类标签概率向量和分类标签发送给决策融合模块，决策融合模块进行决策融合，得到融合分类标签概率向量和信号标志，并将融合分类标签概率和信号标志传给速度转换模块，方法是：6.1协同识别决策模块从地面基于ResNet的图像分类模块接收初步识别结果即分类标签，地面分类标签概率向量和识别自信度，对分类标签和识别自信度进行判断，具体步骤如下：6.1.1若分类标签不是“停止运动”且识别自信度大于等于识别自信度阈值，则协同识别决策模块判定对该物体识别正确，将信号标志设置为“1”即“行驶”，对地面分类标签概率向量中的P(ST)一项不予考虑，将信号标志和地面分类标签概率向量(P(ML)，P(MR)，P(GS))发送给速度转换模块，执行第七步；6.1.2若分类标签为“停止运动”或识别自信度小于识别自信度阈值，则协同识别决策模块判定对该图片识别错误或无法识别，将低层视图的分类标签和地面分类标签概率向量(P(GS)，P(ML)，P(MR)，P(ST))发送给决策融合模块；6.2决策融合模块接收低层视图的分类标签和地面分类标签概率向量，给空中机器人节点的第一感知数据采集模块发送图像请求，转2.6步；6.3决策融合模块接收空中分类标签概率向量，根据地面基于ResNet的图像分类模块发送来的分类标签判断是否需要使用SOFTMAX分类器进行分类操作，若分类标签是“停止运动”，则执行步骤6.3.1，否则执行6.3.2，具体步骤如下：6.3.1决策融合模块对空中分类标签概率向量进行处理：令P(TL)＝P(ML)，P(TR)＝P(MR)，得到针对地面机器人的调整概率向量(P(TL)，P(TR))，将信号标志设置为“0，然后将融合分类标签向量(P(TL)，P(TR))和信号标志发送给协同识别决策模块，执行步骤6.4；6.3.2决策融合模块将除P(ST)以外的6个概率按照地面概率向量加空中概率向量顺序拼接得到一个6元组(P(GS)，P(ML)，P(MR)，P(GS)，P(ML)，P(MR))，决策融合模块使用SOFTMAX分类器对6元组进行分类，得到融合分类标签概率向量(P(GS)，P(ML)，P(MR))，将信号标志设置为“1”，然后将融合分类标签概率向量和信号标志发送给协同识别决策模块；6.4协同识别决策模块接收信号标志和融合分类标签概率向量，并将其发送给速度转换模块，执行第七步；第七步，速度转换模块接收协同识别决策模块发送的信号标志和地面分类标签概率向量或融合分类标签概率向量，将分类标签概率向量转化为速度向量，并将速度向量发送给地面机器人和空中机器人的速度命令接收模块，使得地面机器人和空中机器人可以协同沿路前进；方法是：7.1速度转换模块接收协同识别决策模块发送的信号标志和地面分类标签概率向量或融合分类标签概率向量，将分类标签概率向量转化为速度向量，速度向量是由线速度b和角速度w组成的二维组；7.2速度转换模块将速度向量通过连接信道发送给地面机器人的第二速度命令接收模块和空中机器人的第一速度命令接收模块；7.3地面机器人的第二速度命令接收模块和空中机器人的第一速度命令接收模块从速度转换模块接收速度向量，按照速度向量驱动机器人群体协同运动，执行步骤2.4；第八步，结束。