[发明专利]图像处理方法、装置及电子设备

说明书

本发明提供了一种图像处理方法、装置及电子设备，该方法包括：在所述三维点云图像中添加第一噪声点集，得到点云增强图像；对所述第一噪声点集中的每个第一噪声点，均执行以下获取操作：根据所述第一噪声点在所述三维点云图像中的第一坐标信息，确定所述第一噪声点在所述二维图像中对应的第二坐标；根据所述二维图像中所述第二坐标对应的像素信息，获取所述第二坐标对应的第二噪声点的像素信息；当每个所述第一噪声点均完成所述获取操作时，根据每个所述第二噪声点对应的第二坐标和像素信息，对所述二维图像进行融合操作，得到与所述点云增强图像对应的二维增强图像，本发明技术有效提高了点云增强图像与二维增强图像的对齐效果。

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种图像处理方法、装置及电子设备。

背景技术

目前自动驾驶场景下的感知任务大多基于激光雷达点云和图像数据融合进行信息互补，从而满足道路场景下对于检测精度和安全性的要求。目标感知任务的输入主要有激光雷达，图像，毫米波雷达等传感器数据。

基于深度学习的目标感知任务通常由神经网络模型完成，由于自动驾驶场景的特殊性，往往使用多传感器融合的方式来保证感知的准确性。为了提高网络模型的稳定性和准确度，通常会提高训练数据的多样性，以增加网络训练的难度，提升模型鲁棒性。

现有的纯点云数据增强方法中常见的有随机增加噪声点法，将其扩展到跨模态数据增强中，若直接在激光雷达点云和RGB图像中分别独立地添加随机噪声，则会破坏跨模态数据之间的数据分布，导致融合过程中不同模态特征无法对齐，进而影响融合效果以及得到的目标感知任务的结果的准确性。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置及电子设备，以提高三维点云图像与二维图像的对齐效果。

第一方面，本发明实施例提供一种图像处理方法，通过电子设备提供同一目标场景对应的图像对，图像对包括三维点云图像和二维图像；该方法包括：在三维点云图像中添加第一噪声点集，得到点云增强图像；对第一噪声点集中的每个第一噪声点，均执行以下获取操作：根据第一噪声点在三维点云图像中的第一坐标信息，确定第一噪声点在二维图像中对应的第二坐标；根据二维图像中第二坐标对应的像素信息，获取第二坐标对应的第二噪声点的像素信息；当每个第一噪声点均完成获取操作时，根据每个第二噪声点对应的第二坐标和像素信息，对二维图像进行融合操作，得到与点云增强图像对应的二维增强图像。

进一步地，上述根据第一噪声点在三维点云图像中的第一坐标信息，确定第一噪声点在二维图像中对应的第二坐标的步骤，包括：通过以下公式将第一噪声点投影到二维图像中，得到该第一噪声点在二维图像中对应的第二坐标：α[u_i,v_i,1]^T＝K(Rp_i'+t)，其中(u_i,v_i)为第一噪声点p_i'投影到二维图像对应的平面中的像素坐标，K为二维图像对应的相机内参矩阵，R和t为图像对对应的旋转矩阵和平移向量。

进一步地，上述根据二维图像中第二坐标对应的像素信息，获取第二坐标对应的第二噪声点的像素信息的步骤，包括：获取二维图像中第二坐标周围预设邻域内的像素点对应的邻域像素信息；根据邻域像素信息及预设插值策略，确定第二坐标对应的第二噪声点的像素信息。

进一步地，上述根据邻域像素信息及预设插值策略，确定第二坐标对应的第二噪声点的像素信息的步骤，包括：基于RGB三色通道，在第二坐标处进行插值操作，得到RGB三色通道中每个通道对应的像素值；将RGB三色通道中每个通道对应的像素值组合，得到第二坐标对应的第二噪声点的像素信息。

进一步地，上述插值操作包括：在第二坐标的X轴方向进行第一插值操作，得到第一插值结果；基于第一插值结果，在第二坐标的Y轴方向进行第二插值操作，得到该插值操作对应的像素值。