[发明专利]神经网络的训练方法、横向控制方法、装置、设备及介质

权利要求书

1.一种神经网络的训练方法，其特征在于，所述训练方法包括：

将视频序列样本分别提供给用于车辆横向控制预测处理的待训练的神经网络以及至少一个辅助神经网络；其中，所述辅助神经网络为基于交通场景的辅助神经网络，所述辅助神经网络的功能不同于所述车辆横向控制预测处理；

对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，以获得至少一对具有相同维度的第一特征图和第二特征图；

根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述辅助神经网络包括：用于针对交通场景图像进行识别、检测、分割、分类和/或目标跟踪的神经网络。

3.根据权利要求1至2中任一项所述的方法，其特征在于，所述辅助神经网络与所述待训练的神经网络异构。

4.根据权利要求1至2中任一项所述的方法，其特征在于，所述对所述神经网络中的至少一层针对所述视频序列样本形成的第一特征图进行维度转换，和/或，对所述辅助神经网络中的至少一层针对所述视频序列样本形成的第二特征图进行维度转换，包括：

由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图；

由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图；

由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理。

5.根据权利要求4所述的方法，其特征在于，所述由所述神经网络中的至少一层对所述视频序列样本进行特征提取，获得第一特征图包括：

由所述神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第一特征图；

所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：

由与所述神经网络中的多个层分别连接的不同特征转移神经网络单元中的第一特征转移神经网络单元，分别对第一特征图进行维度转换处理；

所述由所述辅助神经网络中的至少一层对所述视频序列样本进行特征提取，获得第二特征图包括：

由所述辅助神经网络中的多个层分别对所述视频序列样本进行特征提取，获得多个第二特征图；

所述由特征转移神经网络单元对所述第一特征图和/或所述第二特征图进行维度转换处理包括：

由与所述辅助神经网络中的多个层分别连接的不同特征转移神经网络单元中的第二特征转移神经网络单元，分别对第二特征图进行维度转换处理。

6.根据权利要求4所述的方法，其特征在于，所述待训练的神经网络和辅助神经网络被划分为至少两个特征层次，不同特征层次中的层分别与不同特征转移神经网络单元连接。

7.根据权利要求1至2中任一项所述的方法，其特征在于，所述根据具有相同维度的第一特征图和第二特征图之间的差异，调整所述神经网络的网络参数包括：

根据具有相同维度的第一特征图和第二特征图之间的差异、以及待训练的神经网络输出的车辆横向控制预测信息和辅助任务预测信息分别与视频序列样本中的横向控制标注信息和辅助任务标注信息之间的差异，调整所述神经网络以及各特征转移神经网络单元的网络参数。

8.根据权利要求7所述的方法，其特征在于，所述车辆横向控制预测信息包括：方向盘转角预测值。

9.根据权利要求7所述的方法，其特征在于，所述辅助任务预测信息包括：车辆时速预测值和/或车辆方向盘转角力矩预测值。