[发明专利]一种非同源图像数据信息融合处理方法及系统

权利要求书

1.一种非同源图像数据信息融合处理方法，其特征在于实现步骤如下：

(1)通过两个独立图像源对同一场景成像，得到两幅原始图像，针对所述两幅原始图像，进行三维恢复，得到单帧三维点云数据；

(2)对所述单帧三维点云数据进行数据滤波；

(3)针对与步骤(1)相同的场景，通过多个图像源多次成像获取图像，均经过步骤(1)和步骤(2)的处理，得到多帧滤波后的三维点云数据；

(4)进行多帧点云数据融合，从而完成非同源图像数据信息融合处理。

2.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述三维恢复，是指根据两幅原始图像中对应像素点的坐标，恢复出真实场景的三维信息，主要实现步骤如下：

(1.1)根据相机的内参数和外参数，对两幅原始图像进行极线校正；

(1.2)利用图像匹配算法对极线校正后的图像对进行匹配，并得到两幅图像的视差数据；

(1.3)根据视差数据，结合相机安装及成像时的姿态，计算场景三维信息，得到相应的单帧三维点云数据。

3.根据权利要求2所述的非同源图像数据信息融合处理方法，其特征在于：所述图像匹配算法采用Semi-global匹配算法，采用单指令多数据流方式进行加速。

4.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述步骤(2)中对所述单帧三维点云数据进行数据滤波，具体为：

(2.1)采用KD-Tree的数据结构形式对所述单帧三维点云数据进行描述；

(2.2)根据噪声点产生的机制不同，将步骤(2.1)描述之后的三维点云数据中包含的噪声点分为由错误匹配产生的外点以及重建后的随机噪声两类，分别利用基于点云局部密度的方法和双边带滤波方法，对外点和随机噪声进行滤除。

5.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述步骤(4)进行多帧点云数据融合，是指：根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合。

6.根据权利要求5所述的非同源图像数据信息融合处理方法，其特征在于：根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合，具体为：

(4.1)如果当前帧是第一帧，则将其坐标系作为基准坐标系，同时复制给多帧数据，并且记录当前位姿，即基准旋转矩阵和基准平移矩阵

(4.2)如果当前帧非第一帧，则采用多帧点云匹配方法计算当前帧相对前一帧的位姿变化，得到相对旋转矩阵R_c和相对平移矩阵T_c；

(4.3)计算当前帧相对第一帧直接的位姿变化，并将其赋值给历史位姿，计算方法如下：

(4.4)将当前帧转换到基准坐标系下，并与历史帧进行合并；

(4.5)根据步骤(4.2)～(4.4)对所有多帧点云数据进行处理，完成多帧点云数据的融合。

7.根据权利要求6所述的非同源图像数据信息融合处理方法，其特征在于：所述步骤(4.2)多帧点云匹配方法具体为：通过对多帧滤波后的三维点云数据进行点配准计算，求得多帧滤波后的三维点云数据两两之间的相对旋转矩阵R和平移矩阵T，从而完成多帧点云数据的匹配。

8.一种根据权利要求1～7中任一项所述非同源图像数据信息融合处理方法实现的信息融合处理系统，其特征在于包括：

三维恢复模块：通过两个独立图像源对同一场景成像，得到两幅原始图像，针对所述两幅原始图像，进行三维恢复，得到单帧三维点云数据；

数据滤波模块：对所述单帧三维点云数据进行数据滤波；针对相同的场景，通过多个图像源多次成像获取图像，得到多帧滤波后的三维点云数据；

数据融合模块：进行多帧点云数据融合，从而完成非同源图像数据信息融合处理。