[发明专利]一种自动驾驶感知模型的预训练方法、装置、设备和介质

说明书

本公开提供了一种自动驾驶感知模型的预训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于自动驾驶、无人驾驶等场景。具体实现方案为：获取至少两种模态的训练样本；其中，所述训练样本包括无标注数据；按照设定的自监督学习顺序，采用至少两种模态的无标注数据，对感知模型中的特征提取网络，进行单一模态的模态内自监督学习和模态间自监督学习，以形成预训练完成的感知模型。本方案为自动驾驶感知模型提供了一种预训练方案，能够采用无标注数据，分别进行模态内自监督学习和模态间自监督学习，实现自动驾驶感知模型的预训练。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于自动驾驶、无人驾驶等场景。

背景技术

在自动驾驶车辆中，感知系统是最为重要的组成部分，其作用是帮助自动驾驶车辆理解周边的环境。

现有的自动驾驶感知模型，其生产方式基于少量训练数据，对小模型进行训练的传统模式。这无法发挥自动驾驶场景海量数据样本的优势。在数据方面，现有人工标注方法效率低、价格高、周期长，因此，也难以将海量数据标注为样本数据，满足模型训练的数据建设需求。

发明内容

本公开提供了一种自动驾驶感知模型的预训练方法、装置、设备以及介质。

根据本公开的一方面，提供了一种自动驾驶感知模型的预训练方法，包括：

获取至少两种模态的训练样本；其中，所述训练样本包括无标注数据；

按照设定的自监督学习顺序，采用至少两种模态的无标注数据，对感知模型中的特征提取网络，进行单一模态的模态内自监督学习和模态间自监督学习，以形成预训练完成的感知模型。

根据本公开的一方面，提供了一种自动驾驶感知模型的预训练装置，包括：

获取模块，用于获取至少两种模态的训练样本；其中，所述训练样本包括无标注数据；

预训练模块，用于按照设定的自监督学习顺序，采用至少两种模态的无标注数据，对感知模型中的特征提取网络，进行单一模态的模态内自监督学习和模态间自监督学习，以形成预训练完成的感知模型。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的自动驾驶感知模型的预训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的自动驾驶感知模型的预训练方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开任一实施例的自动驾驶感知模型的预训练方法。

本方案为自动驾驶感知模型提供了一种预训练方案，能够采用无标注数据，分别进行模态内自监督学习和模态间自监督学习，实现自动驾驶感知模型的预训练。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1A为本公开实施例提供的一种自动驾驶感知模型的训练方法的流程图；

图1B为本公开实施例所适用的自动驾驶感知模型的架构示意图一；