[发明专利]自动驾驶的视觉感知方法、装置、计算机设备和存储介质

权利要求书

1.一种自动驾驶的视觉感知方法，所述方法包括：

获取采集的视觉感知图像；

将所述视觉感知图像输入训练好的多任务神经网络的主干网络，通过所述主干网络提取所述视觉感知图像的共享特征，得到共享特征图；

将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果；

根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述分支网络包括车道线语义分割网络、车道线实例分割网络和线型分类网络；

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果，包括：

将所述共享特征图输入所述车道线语义分割网络，通过所述车道线语义分割网络基于所述共享特征图进行车道线检测，得到二进制车道线图像；

将所述共享特征图输入所述车道线实例分割网络，通过所述车道线实例分割网络基于所述共享特征图进行车道线实例分割，得到车道线实例分割图像；

将所述共享特征图输入所述线型分类网络，通过所述线型分类网络基于所述共享特征图进行车道线线型分类，得到车道线线型图像。

3.根据权利要求1所述的方法，其特征在于，所述根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，包括：

根据预设视觉感知目标从所述分类结果中提取得到二进制车道线图像、车道线实例分割图像和车道线线型图像；

将所述车道线实例分割图像对应的图像矩阵进行聚类，得到车道线实例聚类图像；

根据所述车道线实例聚类图像和所述车道线线型图像，对所述二进制车道线图像进行实例分类和线型分类，得到车道线图像；

对所述车道线图像中各车道线进行曲线拟合，并计算各所述车道线对应的车道线像素点的平均置信度，得到车道线信息。

4.根据权利要求1所述的方法，其特征在于，所述分支网络包括路面标志分类网络；

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果，包括：

将所述共享特征图输入所述路面标志分类网络，通过所述路面标志分类网络基于所述共享特征图进行路面标志的检测分类，得到路面标志分类图像。

5.根据权利要求1所述的方法，其特征在于，所述根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，包括：

根据预设视觉感知目标从所述分类结果中提取得到路面标志分类图像；

从所述路面标志分类图像中提取得到各路面标志对应的路面标志图像；

分别将各所述路面标志图像进行椭圆拟合，并计算各所述路面标志图像对应像素点的平均置信度，得到路面标志信息。

6.根据权利要求1所述的方法，其特征在于，所述分支网络包括通行区域检测网络和车辆行人实例分割网络；

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务分类，输出相应任务的分类结果，包括：

将所述共享特征图输入通行区域检测网络，通过所述通行区域检测网络基于所述共享特征图进行区域检测，得到区域分类图像；

将所述共享特征图输入车辆行人实例分割网络，通过所述车辆行人实例分割网络基于所述共享特征图进行车辆行人的实例分割，得到车辆行人实例分割图像。