[发明专利]一种多尺度感知及全局规划下的自主驾驶网络

摘要

一种多尺度感知及全局规划下的自主驾驶网络，主要侧重于对感知能力的更深的探索以及对避障规划、网络解释等能力的有效提升，并为上文所述较薄弱的三大核心问题，提出一种有效的解决方案。首先将网络结构化分层以提高网络各部分的解释能力，其次通过预训练FPN网络[15]以提高网络多尺度的感知能力，并增加避障模块以优化车辆规划能力，最终通过感知避障特征及规划导航指令把控控制流向，以实现车辆对全局意图及局部特征的有效反馈。

主权项

1.一种多尺度感知及全局规划下的自主驾驶网络，首先将网络结构化分层以提高网络各部分的解释能力，其次通过预训练FPN网络[15]以提高网络多尺度的感知能力，并增加避障模块以优化车辆规划能力，最终通过感知避障特征及规划导航指令把控控制流向，以实现车辆对全局意图及局部特征的有效反馈，其特征是：基于FPN的多尺度感知模块目前端到端自主驾驶网络特征提取阶段通过逐层前馈卷积运算获取顶层高语义特征，虽然如此实现的特征提取过程对高语义特征有一定的感知能力，但是由于其所承载的特征尺度大小有限，所以目前先进的自主驾驶网络对多尺度特征并不具有良好的感知效果，并且由于目前自主驾驶网络的端到端模仿学习方式，无法对结构化目标(车辆、行人等)进行有效的区分，导致网络特征提取过程中主要关注于道路边界而忽略同样重要的结构化目标，也同样由于网络本身黑盒的设计，使目前的自主驾驶网络缺少分层调优的渠道，即如果网络出现异常控制结果，无法确定是哪个阶段存在问题，只能一味地加大训练力度，并没有较好的优化方案，而本文则针对以上问题，借鉴目前先进的多尺度目标检测方法，并结合目标检测区域回归方案，最终实现网络对多尺度结构化目标的感知，并为感知网络提供区域解释性渠道，本文将从传统目标检测方法引申至多尺度目标检测方法，并在此基础上搭建感知网络，最终通过区域特征解释网络，增加感知网络区域解释途径，完成对多尺度感知网络的整体设计；传统CNN(Convolutional NeuralNetwork)目标检测特征提取过程，诸如Faster RCNN^[11]，只依赖于对顶层特征进行预测，虽然高层特征拥有更丰富的语义信息，但此时的特征位置已经相对模糊且由于上采样过程的特殊性，导致很多小尺度特征在顶层特征图中已微乎其微，即便类似SSD网络^[14]为解决多尺度提取问题，采用不同特征图的方法进行预测，解决了部分多尺度检测的问题，但是依然忽略了很多底层小尺度的特征；如图1(a)所示，传统的特征预测只考虑顶层P3的语义特征，但是对于P1、P2层很多更全面的信息却被忽略，导致无法有效的提取多尺度的特征，如果此时假设，将P1、P2、P3采用某种方式有机结合起来，既包含高级语义特征又包含多尺度低级语义特征，即可有效解决这种问题，而FPN(Feature Pyramid Networks)网络^[15]的提出就是基于这样一种假设，如图1(b)所示，CNN网络不再处于线性结构，而变成自顶向下横向连接的特征金字塔结构，每层特征图都与同尺度特征图关联，各尺度特征图都会预测不同特征，达到对多尺度特征的有效的提取与利用，FPN网络通过对相同尺度特征图的融合实现对底层特征的全面关注，使其对多尺度目标达到良好的识别效果；FPN网络如式1‑2所示，其中为第n个经融合后的特征图，g为FPN结构，v则为双线性插值函数，f_m×m则对应与不同m×m大小的卷积核进行的卷积操作，φ_n则对应特征提取网络第n层特征图，I为原始图像；如此实现的FPN网络，虽然可以对多尺度具有较好的识别能力，但是在自上而下的融合过程中不相邻的特征层之间信息传递能力较弱，在经过多层的融合后，与当前层相邻较远的特征层的影响却变得微乎其微，所以本文在FPN网络获得的不同尺度的特征图后，采用统一尺度特征融合的方式，以使特征图并不仅依赖于单一尺度，也使感知层具有统一的感受野，减少对规划层输出冗余的感知信息，如图2本文搭建的感知网络的Fused模块所示；在感知网络搭建中，本文结合了FPN与PSPnet^[16]，并在特征金字塔网络的顶层添加了PPM(Pyramid Pooling Module)金字塔池化模块，PPM为PSPnet最核心的网络结构，其主要通过增加CNN全局感受野，以达到多尺度池化的目的，本文基于上述理论最终获得多尺度感知融合特征图P10；φ_n＝f_n(φ_n‑1)＝f_n(f_n‑1(...f₁(I)))    (2)本文在结合多尺度的感知信息基础上，为尽可能获得更多结构化目标特征，选取RPN(Region Proposal Network)区域候选网络^[11]作为感知模块的解释器，对结构化目标进行进行候选区域提取，以使感知层具备结构化目标识别能力与网络解释能力，RPN网络本质上实现了选择性搜索即区域建议的功能，RPN网络通过对特征图进行滑动窗口操作，获得每个滑窗位置的区域得分和位置回归修正后的区域建议，最终对候选区域进行非极大值抑制，以获得感知解释层对于特征理解后的检测结果；如图3所示，本文在感知网络基础上，联合检测回归模块，构建对感知结果的评判网络，为感知网络提供检测与调优的渠道，并将评判网络作为目标检测网络进行结构化感知目标预训练，实现感知网络对结构化特征的先验理解能力，并在植入端到端自主驾驶模型后，将感知预训练参数作为初始参数进行训练，将检测回归层，作为感知层的解释器，以此加深对感知网络的理解能力；本文结合FPN、PPM与RPN网络，对薄弱的多尺度感知能力与较差的感知网络解释能力提出相应解决方案，进而设计自主驾驶感知网络；虽然如此设计的感知网络，增加了整体网络预训练的工作量，但却为日后网络自主驾驶学习、优化调优等方面，开辟了更简洁直观的感知捷径，相信在端到端自主驾驶网络快速发展的历程中，这种感知预处理的方法会成为自主驾驶网络普遍的预训练方式；基于距离避障的规划模块避障问题，一直是模仿学习中很难自主学习的能力，但由于模块本身的不可替代性，使得其逐渐成为衡量自主驾驶效果优劣的重要指标之一，虽然目前存在相关避障的方法^[25‑27]，但是并没有提供深度模仿学习的避障方案，使得如今自主驾驶网络较难做到有效避障，而这其中很大的原因是过多学习参数、非结构化的学习特征以及没有较好的学习方法导致的；本文结合模仿学习的优势提出新的特征表征方法与学习的方式，并将其作为控制模块的先验特征进行控制预测，传统的避障问题，如式3所示，其中c为驾驶车辆，d为车辆安全距离,b为障碍物，O为物体边界点集合，i为t时刻障碍物的数量；d＜O_t(b_i)‑O_t(c)    (3)这种避障方式虽然可以保障各时刻的安全驾驶，但是却未考虑速度对刹车距离的影响以及驾驶感受等多方面因素，仅适用于低速非乘运驾驶的车辆；本文在此基础上将速度v作为智能避障参考参数，可得式4；d＜O_t(b_i)‑O_t(c)+(v_t(b_i)‑v_t(c))t    (4)其中v为t时刻对应物体的速度，若此时只考虑非逆行情况，即v_t(b_i)≧0，只需满足式5，即可实现高速状态下安全避障，也使避障方式变为依赖自身移速与观测时刻相对距离的映射函数，由于感知网络只提取前视视角的特征，所以避障模块在此基础上增加速度与距离的映射关系，并将结果直接作用于控制模块；d＜O_t(b_i)‑O_t(c)+v_t(c)t    (5)本文基于上述分析，设计避障网络如式6所示，其中为距离融合特征，为感知融合特征，s为当前车速，fc为全连接运算，m为全连接维度，并为避障规划网络增加评判模块，扩展式6得到式7，其中d为避障回归距离，以此评判避障网络结果的准确性；基于以上观点，本文搭建如图4所示的避障网络，根据避障映射关系，为保证距离特征完整性，引入速度特征并将二者融合全连接结果与距离特征进行融合，使结果最大程度依赖于二者特征的前提下，不破坏更重要的距离特征，对于融合结果会分别作为距离特征传入后续控制模块，以及获取评判距离结果；如此设计的优势在于先验速度信息对距离预测与避障控制都具有重要的意义，并在融合速度基础上不破坏图象距离特征，保证避障模块对二者的依赖关系前提下，使网络训练更具备侧重性；基于全局规划的控制模块由于端到端自主驾驶网络通过模仿学习人类驾驶数据，导致最终学习的驾驶动作完全依赖于采集的驾驶场景，所以当驾驶场景存在可选择性路径时(如路口)，单独从图象中无法确定驾驶员真正的驾驶意图；此时则需引入全局规划方案，在系统内部根据全局规划结果给出规划路径，使自主驾驶网络在可选择性路径中，获得唯一规划路径，最终解决自主驾驶网络在多选择路径中做出违背系统意图的控制结果^[28]；本文借鉴文献^[4]控制模块筛选方法，设计本文全局规划控制网络，首先计算当前位置与目标位置最优规划路径，并对当前驾驶行为，提供全局规划指令，每个规划指令对应不同控制分支，实现网络在不同控制需求下都能采取正确的控制反馈；如图5所示，条件指令c作为全局规划指令，切换控制模块分支网络，在共享上层感知与避障信息的前提下，实现驾驶意图对于控制模块流向的一致性与统一性，在本文中，这种控制模块具体可分为沿线跟随、左转意图、右转意图、直行意图等；端到端自主驾驶主干网络本文将在模仿学习理论基础上^[24]结合上述分支网络，最终对整体自主驾驶主干网络进行总体设计与分析；自主驾驶模仿学习侧重于对专业驾驶员的主观驾驶状态进行学习，模仿各个场景下驾驶员的驾驶行为与驾驶目的，最终实现模仿学习^[29‑32]；本文设定一个在离散时间节点t和与环境交互的控制器M，在每一个时间节点t，控制器M接收当前观察信息o_t并采取对应的反馈动作a_t，即完成一次控制器M的反馈流程，而模仿学习的核心思想是根据人类的驾驶行为训练这样一个控制器M使其反馈动作更逼近于人类的动作，于是定义训练集D，如式8所示，其中由当前有效观察o_i，和当前有效动作反馈a_i构成一次有效训练样本，此时假设人类动作在每次都成功地对观察视野采取了准确的反馈动作，那只需定义一个可以尽可能逼近人类反馈行为的映射函数，便可实现基本的模仿学习，如式9所示其中定义一个模仿控制行为的映射函数F，通过当前时刻o_i和对应参数θ，获得对应时刻的a_i，当映射函数F最逼近于人类反馈动作时，便可实现模仿学习的训练；对于感知分支网络，定义感知结果映射函数P，通过当前时刻o_i，和对应参数ε，获取感知区域检测结果p_i，如式10所示，在感知分支网络预训练中，只需使函数P的参数ε无限趋近于p_i的标注结果，即完成感知分支网络的预训练；对于避障规划网络，定义避障规划距离映射函数B，通过当前时刻感知特征向量p_fi与速度向量s_i，和对应的参数λ，获得避障距离d_i，如式11所示，并且由于模仿学习映射关系较难实现避障的能力，即车辆无法根据感知结果o_i做出应有的避障反馈，所以本文将速度向量s_i作为另一输入与感知分支结果共同作为避障感知的输出特征，如式12所示；对于全局规划控制网络，驱动程序的输出结果不再仅仅由观察结果主导，更依赖于系统内部的状态，此时定义表征系统内部状态的向量h，将其与观察结果o，速度向量s一起作为反馈动作的参考，即a_i＝E(o_i,s_i,h_i)，以解决系统内外部指令沟通的屏障，其中h包含使用者的主观意图，系统全局规划指令等系统内部的状态，最终通过引入额外命令输入c＝c(h)，使系统潜在状态成为控制指令的重要参考因素，如式13所示。结合整体网络设计，最终将初始模仿学习训练集式8扩展成式14；本文设计的端到端自动驾驶网络，由感知层、规划层、控制层构成，如图6所示；感知层由输入Image i、FPN f和Fused模块构成。其中Image i为从摄像头传感器接收转换成的300×100的RGB图像，FPN模块则在FPN基础上增加PPM结构，该结构依据PSPnet网络设计理念，设计PPM为全局平均池化层和3×3卷积层，Fused融合层采用双线性插值的方式进行融合，最终通过512维度全连接层获得感知特征结果，实现感知层对多尺度特征的有效提取，感知解释层并未在主干网络中体现，但在训练及优化过程中，需要将感知融合特征图传入RPN网络中，获取区域候选结果，以此对感知网络进行解释与优化，规划层则分别由避障模块、融合模块、规划指令阀所构成，其中避障模块依据避障映射关系构建3层128神经元的环式全连接避障模块，将避障特征结果分别作为融合模块的输入与回归距离d的输入，对避障结果进行迭代，融合层融合感知与避障特征并统一交付给规划指令阀c，选择相应控制网络，控制模块由四个控制分支网络组成，每个控制分支网络由两个全连接及一个回归动作a构成，控制层通过全局规划指令，选择对应控制模块，建立外界对网络的通信渠道，实现全局规划下的模仿学习。