[发明专利]视觉定位网络的训练、无人驾驶设备的控制方法及装置

权利要求书

1.一种视觉定位网络的训练方法，其特征在于，包括：

获取若干道路实采图像以及采集所述若干道路实采图像时采集设备的位姿数据，作为所述若干道路实采图像对应的标注位姿；

针对每个道路实采图像，将该道路实采图像对应的指定通道数据输入到特征-回归网络中，得到该道路实采图像对应的其他通道数据的图像作为输出结果；

根据所述输出结果以及该道路实采图像，对所述特征-回归网络进行训练；

提取训练后的所述特征-回归网络的网络权重；

通过所述网络权重，对视觉定位网络中包含的特征提取分支网络进行权重初始化，得到初始视觉定位网络；

根据所述若干道路实采图像以及所述若干道路实采图像对应的标注位姿，对所述初始视觉定位网络进行训练。

2.如权利要求1所述的方法，其特征在于，所述指定通道数据包括：亮度通道数据；

将该道路实采图像对应的指定通道数据输入到特征-回归网络中，得到该道路实采图像对应的其他通道数据的图像作为输出结果，具体包括：

将该道路实采图像转换为Lab色彩空间图像；

将所述Lab色彩空间图像中亮度通道数据输入到所述特征-回归网络中，得到该道路实采图像对应的其他通道数据的图像作为输出结果。

3.如权利要求2所述的方法，其特征在于，根据所述输出结果以及该道路实采图像，对所述特征-回归网络进行训练，具体包括：

从所述输出结果中确定除所述指定通道数据以外的其他通道数据，作为第一通道数据；

将所述Lab色彩空间图像中除所述指定通道数据以外的其他通道数据，作为第二通道数据；

以最小化所述第一通道数据和所述第二通道数据之间的差异为优化目标，对所述特征-回归网络进行训练。

4.如权利要求1所述的方法，其特征在于，将该道路实采图像对应的指定通道数据输入到特征-回归网络中，得到该道路实采图像对应的其他通道数据的图像作为输出结果，具体包括：

将该道路实采图像对应的指定通道数据分别输入到各特征-回归网络中，得到各特征-回归网络输出的输出结果，不同特征-回归网络的算法相同，网络权重不同；

根据所述输出结果以及该道路实采图像，对所述特征-回归网络进行训练，具体包括：

针对每个特征-回归网络，根据该特征-回归网络输出的输出结果以及该道路实采图像，对该特征-回归网络进行训练；

提取训练后的所述特征-回归网络的网络权重，具体包括：

分别提取训练后的各特征-回归网络的网络权重。

5.如权利要求4所述的方法，其特征在于，通过所述网络权重，对视觉定位网络中包含的特征提取分支网络进行权重初始化，得到初始视觉定位网络，具体包括：

获取目标图像；

针对每个特征-回归网络，将所述目标图像输入到该特征-回归网络中，并获取该特征-回归网络基于所述目标图像得到输出结果的过程中所产生的中间图像，作为该特征-回归网络对应的中间图像；

根据各特征-回归网络对应的中间图像，确定各特征-回归网络针对所述目标图像共同关注的图像区域，作为目标图像区域；

根据所述目标图像区域，对将从训练后的各特征-回归网络中提取出的网络权重进行权重融合，得到融合后网络权重；

通过所述融合后网络权重，对视觉定位网络中包含的特征提取分支网络进行权重初始化，得到初始视觉定位网络。

6.如权利要求5所述的方法，其特征在于，根据所述目标图像区域，对将从训练后的各特征-回归网络中提取出的网络权重进行权重融合，得到融合后网络权重，具体包括：

将从训练后的各特征-回归网络中提取出的网络权重进行初始融合，得到初始融合权重；

将所述初始融合权重中用于处理所述目标图像区域的网络权重进行调整，得到所述融合后网络权重。