[发明专利]智能驾驶特征参数生成方法、装置和计算机可读介质

说明书

本发明提供一种智能驾驶特征参数生成方法、装置和计算机可读介质，所述方法包括：接收多类型传感器获取的特征数据并基于部分或全部特征数据生成特征转化数据；对与多类型传感器对应的特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集；通过多个特征检测头接收多模态特征交互数据集，并基于多个特征检测头的运算，生成多个智能驾驶特征参数；其中，交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式；对特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式；结合多类型传感器对应的特征数据和该特征交互运算式，形成多模态特征交互数据集。

技术领域

本发明主要涉及智能驾驶领域，尤其涉及一种智能驾驶特征参数生成方法、装置和计算机可读介质。

背景技术

在车辆智能驾驶相关的参数计算与预测过程中，传感器融合是合并来自多个传感器的数据的过程，以减少智能驾驶汽车在运动中可能涉及的不确定性。传感器融合的效果是，所产生的信息应该减小比单独使用传感器或单独使用一类传感器时的不确定性。目前的一些多模态融合策略通常是将各模态特征融合成一个混合的表征，再进一步解码得到检测结果。这一策略通常会特定模态的有用信息的丢失，从而影响融合形成的智能驾驶模型的性能。

发明内容

本发明要解决的技术问题是提供一种智能驾驶特征参数生成方法、装置和计算机可读介质，实现智能驾驶多传感器数据的有效融合，提高智能驾驶特征参数生成的准确性和有效性。

为解决上述技术问题，本发明提供了一种智能驾驶特征参数生成方法，包括：接收多类型传感器获取的特征数据并基于部分或全部所述特征数据生成特征转化数据；对与所述多类型传感器对应的所述特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集；通过多个特征检测头接收所述多模态特征交互数据集，并基于所述多个特征检测头的运算，生成多个智能驾驶特征参数；其中，所述交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式；对所述特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式；结合所述多类型传感器对应的特征数据和所述基于注意力机制的特征交互运算式，形成多模态特征交互数据集。

在本发明的一实施例中，所述多类型传感器获取的特征数据包括：摄像装置获取的深度图数据和雷达装置获取的点云数据；所述特征转化数据包括：基于所述雷达装置获取的点云数据生成的鸟瞰图数据。

在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数、所述点云数据、所述鸟瞰图数据之间的映射关系，形成摄像装置与雷达装置之间的第一特征交互基础运算式；所述第一特征交互基础运算式表征所述深度图数据中的二维像素坐标与所述鸟瞰图数据的二维坐标之间的交互映射关系。

在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于所述雷达装置的鸟瞰图数据、所述点云数据、所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数之间的映射关系，形成雷达装置与摄像装置之间的第二特征交互基础运算式；所述第二特征交互基础运算式表征所述鸟瞰图数据的二维坐标与所述深度图数据中的二维像素坐标之间的交互映射关系。

在本发明的一实施例中，所述多类型传感器获取的特征数据还包括：红外摄像装置获取的红外图像数据和雷达装置获取的点云数据。

在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式还包括：基于所述红外摄像装置获取的红外图像数据、所述红外摄像装置的内参数和外参数、所述点云数据之间的映射关系，形成雷达装置与红外摄像装置之间的第三特征交互基础运算式；所述第三特征交互基础运算式表征所述点云数据中的三维坐标与所述红外图像数据的二维坐标之间的交互映射关系。