[发明专利]基于深度图像的数据增强方法

权利要求书

1.基于深度图像的数据增强方法主要由像素坐标转换三维点云、三维点云空间变换、三维点云转换像素坐标、最小值滤波处理部分组成，其特征在于：

所述的像素坐标转换三维点云包括像素坐标系转换图像坐标系、图像坐标系转换相机坐标系、相机坐标系转换世界坐标系。通过四个坐标系之间转换矩阵的连乘，将深度图像中的像素点转换到三维空间下，形成三维空间点云。所述的三维点云空间变换包括三维点云空间下的随机平移变换与三维点云空间下的随机旋转变换。通过三维点云的随机位姿变换，形成新的三维点云图像。三维点云空间下的旋转变换包括围绕世界坐标系的X轴、Y轴、Z轴的旋转变换，通过随机生成数，生成绕X轴、Y轴、Z轴的旋转变换角度，再由对应的变换矩阵完成空间旋转角度变换。三维点云空间下的随机平移变换包括沿世界坐标系X轴、Y轴、Z轴的平移变换，通过随机生成数，生成沿X轴、Y轴、Z轴的平移变换距离，由平移变换矩阵完成空间平移变换。所述的三维点云转换像素坐标，包括世界坐标系转换相机坐标系、相机坐标系转换图像坐标系、图像坐标系转换像素坐标系。通过四个坐标系之间的转换矩阵组合，将经过变换的三维空间点云投影到深度图像中。所述的最小值滤波处理部分，是将经过数据增强后的深度图像做进一步处理，填补在数据增强过程中可能会丢失的像素点，也对深度图像做平滑处理，使得成像效果更好。本发明的提出，为计算机视觉领域内基于深度图像的研究方向提供了一种数据扩充的方法，能够提高基于深度图像所训练的网络模型泛化能力与准确性。

2.根据权利要求1所述的基于深度图像的数据增强方法，三维点云空间变换由随机旋转变换和随机平移变换两部分组成，其特征在于：

所述随机旋转变换是按照本发明所提出的策略选取一定范围内围绕世界坐标系X、Y、Z轴的随机变换角度[ψ,ω,θ]^T，通过旋转变换矩阵R，对已生成的三维空间点云图像做随机旋转变换，以改变三维空间点云相对于世界坐标原点的位姿。旋转变换矩阵R包括绕X轴的角度旋转变换矩阵、绕Y轴的角度旋转变换矩阵、绕Z轴的角度旋转变换矩阵，将三组旋转矩阵组合即得到旋转变换矩阵R。所述随机平移变换是按照本发明所提出的策略选取一定范围内沿着世界坐标系X、Y、Z轴平移的随机平移距离[x,y,z]^T，通过平移变换矩阵T，对已生成的三维空间点云图像做随机平移变换，以改变三维空间点云相对于世界坐标原点的位置。通过随机平移变换与随机旋转变换，改变了三维空间点云相对于世界坐标的位姿，将三维点云图投影到平面像素坐标图像中时，便形成了一副新的深度图像，以此来达到数据扩充的目的。

3.根据权利要求1所述的基于深度图像的数据增强方法，最小值滤波处理的特征在于：

所述最小值滤波处理是在经过数据增强生成新的深度图像后，对深度图像做进一步处理。通过本发明所提出的筛选策略，将数据增强中，由于改变三维空间点云相对于世界坐标原点位置时，可能会出现部分点被其他点遮挡，以此出现点云投影到平面像素坐标时部分位置数据丢失的位置进行填补。同时，也通过最小值滤波处理，对深度图像中的数据做平滑处理，使得成像效果更好。