[发明专利]图像数据的处理方法和装置

权利要求书

1.一种图像数据的处理方法，包括：

利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，其中，所述第一图像为第一时刻拍摄，所述第二图像为第二时刻拍摄，且所述第一图像和所述第二图像具有相同区域的路面元素；

根据所述单应性矩阵，确定第一图像特征的映射图像特征，其中，所述第一图像特征为基于所述第一图像提取的特征；

对所述映射图像特征和所述第二图像特征进行融合，得到融合图像特征，其中，所述第二图像特征为基于所述第二图像提取的特征；

利用第二神经网络对所述融合图像特征进行处理，得到所述第二图像的第一像素高深比。

2.根据权利要求1所述的图像数据的处理方法，其中，所述利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，包括：

对所述第一图像特征和所述第二图像特征进行融合，得到第三图像特征；

利用所述第一神经网络中的路面子网络对所述第三图像特征进行处理，确定路面法线信息；

利用所述第一神经网络中的姿态子网络对所述第三图像特征进行处理，确定所述第一图像与所述第二图像之间的相机相对姿态；

基于预存的相机相对于路面的高度、所述路面法线信息和所述相机相对姿态，确定所述单应性矩阵。

3.根据权利要求1所述的图像数据的处理方法，在所述利用第二神经网络对所述融合图像特征进行处理，得到第一像素高深比之后，还包括：

基于在所述第二图像的采集时间内，与所述第二图像中的目标对象对应的雷达扫描数据，确定所述目标对象的第二像素高深比；

基于所述第一像素高深比与所述第二像素高深比的差值，对所述第二神经网络进行参数调整。

4.根据权利要求2所述的图像数据的处理方法，在所述利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵之后，还包括：

利用所述单应性矩阵对所述第一图像进行图像重建，得到第一重建图像；

基于所述第一重建图像与所述第二图像之间在所述相同区域路面元素上的像素位移，调整所述单应性矩阵的矩阵参数；

基于调整矩阵参数后的单应性矩阵，对所述路面子网络和所述姿态子网络进行参数调整。

5.根据权利要求1所述的图像数据的处理方法，在所述利用第二神经网络对所述融合图像特征进行处理，得到第一像素高深比之后，还包括：

基于在所述第二图像的采集时间内与所述第二图像中的目标对象对应的雷达扫描数据、所述第一像素高深比以及所述第二图像的路面掩码，确定整体损失值；

基于所述整体损失值，对所述第一神经网络和所述第二神经网络进行参数调整。

6.根据权利要求5所述的图像数据的处理方法，其中，所述基于在所述第二图像的采集时间内与所述第二图像中的目标对象对应的雷达扫描数据、所述第一像素高深比以及所述第二图像的路面掩码，确定整体损失值，包括：

基于所述雷达扫描数据，确定所述目标对象的第二像素高深比；

基于所述第一像素高深比和所述第二像素高深比，确定第一损失值；

利用所述单应性矩阵对所述第一图像进行图像重建，得到第一重建图像；

基于所述第一像素高深比，确定第一图像区域与第二图像区域之间的像素位移，其中，所述第一图像区域为所述第一重建图像中除了路面图像区域以外的剩余图像区域，所述第二图像区域为所述第二图像中除了路面图像区域以外的剩余图像区域；

基于所述像素位移对所述第一重建图像的像素位置进行调整，得到第二重建图像；

基于所述第二重建图像、所述第二图像和所述第二图像的路面掩码，确定第二损失值；

基于所述第一损失值和所述第二损失值，确定所述整体损失值。