[发明专利]点云增强方法、点云增强装置、存储介质与电子设备

说明书

本公开提供一种点云增强方法、装置、计算机可读存储介质与电子设备，涉及计算机视觉技术领域。该方法包括：获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄待检测区域所得到的至少一帧图像，待检测区域中包括至少一个文本子区域；从所述至少一帧图像中选取至少一关键帧图像，在关键帧图像中分割出文本子区域；将点云映射到关键帧图像中，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；将文本子区域的像素点映射到空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。本公开可以实现点云中文本内容及纹理的增强，有效恢复出文本细节信息，且实用性较高。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种点云增强方法、点云增强装置、计算机可读存储介质与电子设备。

背景技术

点云(Point Cloud)是在特定的空间坐标系下，表达目标空间分布与表面特性的点的集合，一般在获取目标表面每个采样点的空间坐标后，将其形成集合，并可以进一步绘制出目标的三维模型。点云在自动驾驶、机器人、测绘等领域都有广泛应用。

点云的稠密度与目标的精准表达有直接关系，若点云过于稀疏，则只能对粗犷性物体，例如车辆、行人或道路区域等，进行粗略的表示，而无法获得细节信息。对于目标中的文本部分，如图1所示的路牌，由于其表面形状单一，在采集点云时无法得到稠密的点云，进而无法通过点云观测到文本细节，例如无法识别出文本内容，显然对自动驾驶等场景中的应用有着非常不利的影响。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种点云增强方法、点云增强装置、计算机可读存储介质与电子设备，进而至少在一定程度上克服现有的点云中无法得到文本细节信息的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种点云增强方法，包括：获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄所述待检测区域所得到的至少一帧图像，所述待检测区域中包括至少一个文本子区域；从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域；将所述点云映射到所述关键帧图像中，从位于所述文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。

可选的，所述从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域，包括：在每一帧图像中均检测文字区域；对相邻两帧图像中的文字区域进行匹配，以在所述每一帧图像中对每个所述文字区域进行跟踪；对于每个所述文字区域，将其包围盒面积最大的一帧图像确定为所述文字区域对应的关键帧图像，并从所述关键帧图像中分割出所述文字区域的包围盒，以作为所述文字区域对应的文本子区域。

可选的，所述对相邻两帧图像中的文字区域进行匹配，包括：获取相邻两帧图像的光流，并确定匹配的光流点数量；当所述光流点数量与所述文字区域的像素点数量之比大于第一阈值时，确定所述文字区域在所述相邻两帧图像中为同一文字区域。

可选的，所述将所述点云映射到所述关键帧图像中，包括：将所述点云从世界坐标系转换到图像坐标系。

可选的，所述根据所述至少三个点确定空间文本平面，包括：将所述至少三个点从世界坐标系转换到相机坐标系；在所述相机坐标系中，根据所述至少三个点的相机坐标求解所述至少三个点所确定的平面，得到所述空间文本平面。