[发明专利]一种多传感器数据的融合方法及装置

权利要求书

1.一种多传感器数据的融合方法，其特征在于，所述方法包括：

获得目标对象在当前时刻对应的当前视觉感知结果以及当前第一雷达感知结果；

基于各当前视觉感知结果中各当前视觉感知目标对应的当前视觉感知特征以及目标视觉特征融合模型，确定各当前视觉感知目标对应的融合视觉特征，其中，所述目标视觉特征融合模型为：基于各样本对象在各样本时刻对应的标签感知特征及各样本视觉感知目标所对应样本视觉感知特征，训练所得的模型；

基于各当前视觉感知目标对应的融合视觉特征、所述当前第一雷达感知结果中各当前第一雷达感知目标对应的当前第一雷达感知特征以及预先建立的雷达视觉特征融合模型，确定相匹配的当前视觉感知目标及当前第一雷达感知目标，以及对应的当前融合感知特征，其中，所述预先建立的雷达视觉特征融合模型为：基于所述样本视觉感知特征、所述标签感知特征以及各样本对象在各所述样本时刻对应的各样本第一雷达感知目标所对应的样本第一雷达感知结果，训练所得的模型。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述当前第一雷达感知目标对应的当前第一雷达感知特征以及预先建立的雷达目标识别模型，从所述当前第一雷达感知目标中，确定当前第一雷达真实目标及其对应的当前第一雷达感知特征，其中，所述预先建立的雷达目标识别模型为：基于所述各样本第一雷达感知目标所对应样本第一雷达感知特征以及所述标签感知特征训练所得的模型。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

获得所述目标对象在所述当前时刻之前的N个历史时刻对应的历史目标的历史特征，其中，N为正整数，所述历史特征包括：各历史时刻对应的相匹配的历史视觉感知目标所对应融合视觉特征、和历史第一雷达感知目标所对应特征融合后且优化后的特征，各历史时刻对应的无匹配视觉感知目标的第一雷达感知目标对应的优化后特征，和/或基于各历史时刻之前时刻所感知目标对应的感知特征预测得到的该历史时刻未感知目标对应的预测特征；

基于各历史目标的历史特征、当前感知目标对应的当前感知特征以及预先建立的跟踪模型，确定相匹配的历史目标及当前感知目标以及匹配历史目标的当前感知目标对应的优化后当前感知特征，其中，所述当前感知目标对应的当前感知特征包括：相匹配的当前视觉感知目标及当前第一雷达感知目标对应的当前融合感知特征，和/或无匹配当前视觉感知目标的当前第一雷达真实目标对应的雷达感知特征；所述预先建立的跟踪模型为：基于各样本对象在各样本时刻对应的样本感知目标所对应样本感知特征，各样本对象在各样本时刻之前的N个时刻对应的样本历史目标对应的样本历史特征，以及各样本对象在各样本时刻对应的各样本感知目标对应的标签匹配信息，训练所得的模型。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

基于各历史目标的历史特征以及预先建立的预测模型，确定各历史目标在所述当前时刻对应的预测特征，其中，所述预先建立的预测模型为：基于各样本对象在各样本时刻之前的N个时刻对应的样本历史目标对应的样本历史感知结果，以及各样本对象在各样本时刻对应的各样本感知目标对应的标签匹配信息，训练所得的模型；

基于当前感知目标的当前感知特征以及各历史目标在所述当前时刻对应的预测特征，确定所述当前时刻对应的当前目标及其对应的当前特征。

5.如权利要求1-4任一项所述的方法，其特征在于，在所述基于各当前视觉感知结果中各当前视觉感知目标对应的视觉感知特征以及目标视觉特征融合模型，确定各当前视觉感知目标对应融合视觉特征的步骤之前，所述方法还包括：

建立所述目标视觉特征融合模型的过程，所述过程，包括：

获得初始视觉特征融合模型；

获得各样本对象在各样本时刻对应的标签感知特征以及各样本视觉感知目标所对应样本视觉感知特征，其中，各标签感知特征为：所对应样本对象的样本标签雷达在所对应样本时刻感知的标签感知特征，各样本视觉感知目标所对应样本视觉感知特征为：所对应样本对象的样本图像采集设备组在所对应样本时刻感知的视觉感知特征；

利用各样本视觉感知目标对应的样本视觉感知特征及所述标签感知特征，训练所述初始视觉特征融合模型，直至所述初始视觉特征融合模型达到第一收敛条件，确定得到目标视觉特征融合模型。