[发明专利]一种多模态图像的配准方法、装置及系统

权利要求书

1.一种多模态图像的配准方法，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：

对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；

确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；

根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；

确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。

2.如权利要求1所述的方法，其特征在于，所述配准系统还包括铁质标定板，所述对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理之前，还包括：

固定所述不同模态的光学传感器的镜头焦距；

控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。

3.如权利要求2所述的方法，其特征在于，根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，包括：

选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；

根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；

根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。

4.如权利要求3所述的方法，其特征在于，选取所述每个待处理图像对中的参考图像和待配准图像的特征点，包括：

获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。

5.一种多模态图像的配准装置，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：

第一确定模块，用于对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；

第二确定模块，用于确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；

第三确定模块，用于根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；

处理模块，用于确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。

6.如权利要求5所述的装置，其特征在于，所述配准系统还包括铁质标定板，所述装置还包括控制模块，用于：

固定所述不同模态的光学传感器的镜头焦距；

控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。