[发明专利]多相机感知识别方法、装置、电子设备、存储介质

说明书

本发明提供一种多相机感知识别方法、装置、电子设备、存储介质。应用于隧道中，多相机的视角覆盖车身水平方向360度范围，方法包括：将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；对环视图片进行深度预测，并采用反投影模型，将环视图片转换为车身在水平方向360度范围的3维特征向量；将3维特征向量输入多任务预测模型，以预测隧道道路对象；按预测时间，根据多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；将隧道道路对象时间序列输入至时间序列模型，根据时间序列模型的输出获得复原后的隧道道路对象。本发明在隧道的无人驾驶中降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率。

技术领域

本发明涉及雷达点云数据处理领域，尤其涉及一种应用于隧道中的多相机感知识别方法、装置、电子设备、存储介质。

背景技术

在地铁隧道，公路地下隧道领域，由于光照不足，且隧道内左右距离窄，且隧道颜色地面，天花板颜色相似，从而若仅将单目相机采集的图像应用深度学习模型，检测出的结果再与其它的传感器检测结果进行后融合来处理360度环境感知，容易造成感知结果差。

由此，如何在隧道的无人驾驶中，降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率，是本领域技术人员亟待解决的技术问题。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种应用于隧道中的多相机感知识别方法、装置、电子设备、存储介质，以在隧道的无人驾驶中，降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率。

根据本发明的一个方面，提供一种应用于隧道中的多相机感知识别方法，所述多相机的视角覆盖车身水平方向360度范围，包括：

将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；

对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；

将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；

按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；

将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。

在本申请的一些实施例中，所述将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片包括：

采用多相机标定算法，将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片。

在本申请的一些实施例中，所述对所述环视图片进行深度预测包括：

将所述环视图片依次输入多个编码层和多个解码层并获得三个权重矩阵，所述编码层和所述解码层为transformer编码层和transformer解码层。

在本申请的一些实施例中，采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量包括：

将所述解码层输出的三个权重矩阵输入所述反投影模型；

获得所述反投影模型输出的3维特征向量，作为所述车身在水平方向360度范围的3维特征向量，

其中，所述反投影模型包括多个第一卷积层，各第一卷积层用以执行卷积和批归一化操作。

在本申请的一些实施例中，所述多任务预测模型包括用于对所述车身在水平方向360度范围的3维特征向量进行特征提取的主干网络，以及连接于所述主干网络分别预测多个隧道道路对象的分支网络。