[发明专利]一种毫米波雷达数据和相机数据的融合方法及系统

权利要求书

1.一种毫米波雷达数据和相机数据的融合方法，其特征在于，包括：

获取毫米波雷达点云数据和相机图像数据；

对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据；

对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据；

将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据；

对所述融合数据进行解码得到融合图像数据。

2.根据权利要求1所述的融合方法，其特征在于，所述对所述毫米波雷达点云数据进行转换，得到与所述图像数据大小相同的雷达图像数据，包括：

将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据；

基于所述二维雷达数据生成所述雷达图像数据。

3.根据权利要求1所述的融合方法，其特征在于，所述对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据，包括：

基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据；

基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。

4.根据权利要求1所述的融合方法，其特征在于，所述将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据，具体为：

基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。

5.一种毫米波雷达数据和相机数据的融合系统，其特征在于，包括：

数据获取模块，获取毫米波雷达点云数据和相机图像数据；

数据转换模块，对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据；

特征提取模块，对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据；

数据融合模块，将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据；

解码模块，对所述融合数据进行解码得到融合图像数据。

6.根据权利要求5所述的融合系统，其特征在于，所述数据转换模块包括：

坐标转换单元，将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据；

数据生成单元，基于所述二维雷达数据生成所述雷达图像数据。

7.根据权利要求5所述的融合系统，其特征在于，所述特征提取模块包括：

相机数据特征提取单元，基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据；

雷达数据特征提取单元，基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。

8.根据权利要求5所述的融合系统，其特征在于，所述数据融合模块具体为：

基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。