[发明专利]多相机感知识别方法、装置、电子设备、存储介质

权利要求书

1.一种应用于隧道中的多相机感知识别方法，其特征在于，所述多相机的视角覆盖车身水平方向360度范围，包括：

将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；

对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；

将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；

按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；

将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。

2.如权利要求1所述的多相机感知识别方法，其特征在于，所述将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片包括：

采用多相机标定算法，将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片。

3.如权利要求1所述的多相机感知识别方法，其特征在于，所述对所述环视图片进行深度预测包括：

将所述环视图片依次输入多个编码层和多个解码层并获得三个权重矩阵，所述编码层和所述解码层为transformer编码层和transformer解码层。

4.如权利要求3所述的多相机感知识别方法，其特征在于，采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量包括：

将所述解码层输出的三个权重矩阵输入所述反投影模型；

获得所述反投影模型输出的3维特征向量，作为所述车身在水平方向360度范围的3维特征向量，

其中，所述反投影模型包括多个第一卷积层，各第一卷积层用以执行卷积和批归一化操作。

5.如权利要求1所述的多相机感知识别方法，其特征在于，所述多任务预测模型包括用于对所述车身在水平方向360度范围的3维特征向量进行特征提取的主干网络，以及连接于所述主干网络分别预测多个隧道道路对象的分支网络。

6.如权利要求1所述的多相机感知识别方法，其特征在于，所述按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列包括：

将同一预测时间的多个隧道道路对象的3维特征向量组合为一序列帧；

按预测时间，根据多个序列帧生成隧道道路对象时间序列。

7.如权利要求6所述的多相机感知识别方法，其特征在于，所述按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列包括：

将同一预测时间的一个隧道道路对象的3维特征向量作为为一序列帧；

按预测时间，根据多个序列帧分别为多个隧道道路对象生成多个隧道道路对象时间序列。

8.如权利要求6或7所述的多相机感知识别方法，其特征在于，其中，所述时间序列模型包括多个第二卷积层，每一第二卷积层用以对一序列帧进行卷积和批归一化处理，各所述第二卷积层的输出通道为3维坐标通道，所述时间序列模型的输出为各第二卷积层的输出数据之和。

9.一种应用于隧道中的多相机感知识别装置，其特征在于，包括：

拼接模块，用于将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；

反投影模块，用于对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；

隧道道路对象预测模块，用于将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；

时间序列生成模块，用于按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；

隧道道路对象复原模块，用于将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。