[发明专利]智能驾驶特征参数生成方法、装置和计算机可读介质

权利要求书

1.一种智能驾驶特征参数生成方法，其特征在于，包括：

接收多类型传感器获取的特征数据并基于部分或全部所述特征数据生成特征转化数据，所述多类型传感器获取的特征数据包括：摄像装置获取的深度图数据、雷达装置获取的点云数据和红外摄像装置获取的红外图像数据，摄像装置坐标系s中点坐标为(i_s,j_s)，雷达装置鸟瞰图坐标系b中的点坐标为(i_b,j_b)，红外装置坐标系c中的坐标为(i_c,j_c)，雷达装置坐标系为r；

对与所述多类型传感器对应的所述特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集，所述特征转化数据包括：基于所述雷达装置获取的点云数据生成的鸟瞰图数据，其中所述鸟瞰图数据中的点坐标为(j_b,j_b)，雷达装置的四维点云坐标中的三维坐标为(x，y，z)；

通过多个特征检测头接收所述多模态特征交互数据集，并基于所述多个特征检测头的运算，生成多个智能驾驶特征参数；

其中，所述交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式M_s→b(i_s,j_s)＝(i_b,j_b)＝{F(i_s+Δi,j_s+Δj)|Δi,Δj∈[-k,+k]}或M_b→s(i_b,j_b)＝(i_s,j_s)或M_r→c(x,y,z)＝(i_c,j_c)，k为自然数；

基于摄像装置获取的深度图数据表示式I_s的构成项(i_s,j_s)对深度图数据的索引关系，形成深度图数据对应的查询向量基于雷达装置获取的鸟瞰图数据表示式I_b的构成项(i_b,j_b)对鸟瞰图数据的索引关系，形成鸟瞰图数据对应的查询向量基于雷达装置获取的四维点云数据表示式I_r的构成项(x_r,y_r,z_r,v_r)对四维点云数据的索引关系，形成四维点云数据对应的查询向量

根据所述查询向量和所述特征交互基础运算式形成相应的跨模态特征交互表达式或或表示在雷达装置的鸟瞰图数据表示式I_b上用摄像装置获取的深度图数据对应的查询向量Q索引查询雷达装置的鸟瞰图数据值；表示雷达装置到摄像装置的交互对应的跨模态特征交互表达式；表示雷达装置到红外摄像装置的交互对应的跨模态特征交互表达式；

基于所述跨模态特征交互表达式和注意力机制定义函数形成基于注意力机制的特征交互运算式或f_r→c(I_r,I_c)；所述注意力机制定义函数具有相应的键值对；所述键值对包括键K和值V；d_k表示键K的维度数值；

结合所述多类型传感器对应的特征数据和所述基于注意力机制的特征交互运算式，形成多模态特征交互数据集。

2.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：

基于所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数、所述点云数据、所述鸟瞰图数据之间的映射关系，形成摄像装置与雷达装置之间的第一特征交互基础运算式；所述第一特征交互基础运算式表征所述深度图数据中的二维像素坐标与所述鸟瞰图数据的二维坐标之间的交互映射关系。