[发明专利]一种数据融合、目标检测方法、装置及设备

权利要求书

1.一种数据融合方法，其特征在于，包括：

获取针对同一场景采集的图像和点云；

分别确定所述点云中的每个点投影至所述图像中对应的像素点，作为投影像素点；

将所述投影像素点的像素值输入至预先训练得到的维度预测模型，得到所述维度预测模型输出的目标维度的图像特征，所述目标维度为适配于所述点云的维度；

将所述图像特征与所述点云进行维度拼接，得到像素融合特征。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像特征与所述点云进行维度拼接，得到像素融合特征之后，还包括：

分别将所述投影像素点、所述点云以及所述像素融合特征投影至预设基准体中，得到所述投影像素点对应的第一类基准点、所述点云对应的第二类基准点以及所述像素融合特征对应的第三类基准点；

对所述第一类基准点、所述第二类基准点以及所述第三类基准点进行特征学习及特征融合，得到稠密融合特征。

3.根据权利要求2所述的方法，其特征在于，所述分别将所述投影像素点、所述点云以及所述像素融合特征投影至预设基准体中，得到所述投影像素点对应的第一类基准点、所述点云对应的第二类基准点以及所述像素融合特征对应的第三类基准点，包括：

将所述投影像素点投影至预先获得的基本体素中，得到第一类体素点；其中，所述基本体素为：在预设维度空间中分割得到的；

将所述点云投影至所述基本体素中，得到第二类体素点；

将所述像素融合特征投影至所述基本体素中，得到第三类体素点；

所述对所述第一类基准点、所述第二类基准点以及所述第三类基准点进行特征学习及特征融合，得到稠密融合特征，包括：

将所述第一类体素点携带的数据输入至预先训练得到的特征学习模型中，得到所述特征学习模型输出的体素化像素特征；

将所述第二类体素点携带的数据输入至所述特征学习模型中，得到所述特征学习模型输出的体素化点云特征；

将所述第三类体素点携带的数据输入至所述特征学习模型中，得到所述特征学习模型输出的体素化融合特征；

将所述体素化像素特征、所述体素化的点云特征以及所述体素化融合特征进行融合，得到稠密融合特征。

4.根据权利要求2所述的方法，其特征在于，所述将所述图像特征与所述点云进行维度拼接，得到像素融合特征之后，还包括：

基于所述像素融合特征进行目标检测；

或者，所述对所述第一类基准点、所述第二类基准点以及所述第三类基准点进行特征学习及特征融合，得到稠密融合特征之后，还包括：

基于所述稠密融合特征进行目标检测。

5.根据权利要求1所述的方法，其特征在于，所述将所述投影像素点的像素值输入至预先训练得到的维度预测模型，得到所述维度预测模型输出的目标维度的图像特征，包括：

将维度为(N，3)的投影像素点的像素值输入至所述维度预测模型，得到所述维度预测模型输出的维度为(N，k)的图像特征；其中，所述N表示所述点云中点的数量，3表示RGB三个像素值，k表示所述目标维度；

所述将所述图像特征与所述点云进行维度拼接，得到像素融合特征，包括：

将维度为(N，k)的图像特征与维度为(N，m)的点云进行维度拼接，得到维度为(N，k+m)的像素融合特征；其中，所述m表示所述点云的维度。

6.一种数据融合方法，其特征在于，包括：

获取针对同一场景采集的图像和点云；

分别确定所述点云中的每个点投影至所述图像中对应的像素点，作为投影像素点；

分别将所述投影像素点和所述点云投影至预设基准体中，得到所述投影像素点对应的第一类基准点和所述点云对应的第二类基准点；

对所述第一类基准点和所述第二类基准点进行特征学习及特征融合，得到第一类融合特征。