[发明专利]基于消费级成像系统的图像处理方法、装置及存储介质

说明书

本发明提供一种基于消费级成像系统的图像处理方法，包括多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；基于多源图像特征匹配进行自适应拼接；三维场景的立体重建。本发明基于消费级的至少四个RGBD相机而形成的消费级成像系统，先采用基于冗余信息的多相机标定，充分利用冗余信息，通过全局优化外部参数，计算得到全局最优方位参数，有效减少了分步标定造成的累计误差。在自适应拼接中将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。相应地，本发明还提供一种装置及存储介质。

技术领域

本发明涉及成像技术领域，具体涉及一种基于消费级成像系统的图像处理方法、装置及存储介质。

背景技术

传统的大视角3D传感感知技术，基本为专业级的装备。由于单体传感设备的成本昂贵，运用在大视野或规模化复杂场景中，需要采用高成本单元进行多次测量，在多次测量中需要利用辅助装置，例如高性能惯性制导单元、激光跟踪仪等，对昂贵的单体传感设备的位姿坐标进行测量。因此现有技术获取3D信息云的感知难度较大和实施成本较高。

此外，单体传感设备在利用辅助设备的同时还需要进行多次测量，其流程较为繁琐。因此需要提供一种新的处理方法来解决上述问题。

发明内容

针对现有技术的不足之处，本发明的目的在于提供一种基于消费级成像系统的图像处理方法、装置及存储介质。

本发明的技术方案概述如下：

一方面，本发明提供一种基于消费级成像系统的图像处理方法，包括：

步骤一：多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；其中，所述消费级成像系统包括至少四个RGBD相机；

步骤二：基于多源图像特征匹配进行自适应拼接；

步骤三：三维场景的立体重建。

进一步地，所述多相机的系统标定包括：

确定标定件框架上参考点的位置及绝对坐标系，计算每个相机相对于绝对坐标系的外部参数矩阵；

使用标定件框架获得分离固定式方位参数；

利用多相机冗余信息全局优化外部参数矩阵中的旋转矩阵和平移矩阵，并通过刚体变换获得最终相机内外方位参数。

进一步地，所述基于多源图像特征匹配进行自适应拼接，包括：

基于至少四个RGBD相机中的二维图像得到图像曲面信息；

对所述图像曲面信息进行二维图像的特征点配准；

基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；

对第一次拼接的优化。

进一步地，所述对所述图像曲面信息进行二维图像的特征点配准，还包括：

对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；

对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；

对所述原图像的特征点集和目标图像的特征点集进行匹配。

进一步地，所述第一次拼接包括：

获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；

基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；