[发明专利]神经网络的训练方法、横向控制方法、装置、设备及介质

说明书

本申请的实施方式公开了一种神经网络的训练方法、车辆智能驾驶的横向控制方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的神经网络的训练方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种神经网络的训练方法、神经网络的训练装置、车辆智能驾驶的横向控制方法、车辆智能驾驶的横向控制装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

横向控制通常是指垂直于车辆运动方向上的控制，可以认为横向控制是车辆的转向控制。

横向控制是车辆智能驾驶领域中的核心技术之一，如何实现车辆的精准横向控制，尤其是如何在复杂路况的交通环境中(例如，大角度弯道、道路光线明显变化、光线暗淡的隧道或者车流湍急的直行道路等)，实现车辆的精准横向控制，是一个值得关注的技术问题。

发明内容

本申请实施方式提供一种训练神经网络以及车辆智能驾驶的横向控制的技术方案。

根据本申请实施方式其中一方面，提供一种神经网络的训练方法，所述方法包括：将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。

在本申请一实施方式中，所述辅助神经网络包括：用于针对交通场景图像进行识别、检测、分割、分类和/或目标跟踪的神经网络。

在本申请又一实施方式中，所述辅助神经网络与所述待训练的神经网络异构。

在本申请再一实施方式中，所述对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，包括：由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图；由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图；由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理。

在本申请再一实施方式中，所述由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图包括：由所述神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第一特征图；所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：由与所述神经网络中的多个层分别连接的不同特征转移神经网络单元中的第一特征转移神经网络单元，分别对第一特征图进行维度转换处理；所述由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图包括：由所述辅助神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第二特征图；所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：由与所述辅助神经网络中的多个层分别连接的不同特征转移神经网络单元中的第二特征转移神经网络单元，分别对第二特征图进行维度转换处理。

在本申请再一实施方式中，所述待训练的神经网络和辅助神经网络被划分为至少两个特征层次，不同特征层次中的层分别与不同特征转移神经网络单元连接。