[发明专利]二维光电视频与三维场景融合方法

权利要求书

1.一种二维光电视频与三维场景融合方法，其特征在于：包括以下步骤：

步骤1：地理定位：

实时获取载机在地心坐标系中的空间位置；实时根据载机中光电稳瞄系统的瞄准线姿态和视场确定光电稳瞄系统的四棱锥视场姿态，并结合载机在地心坐标系中的空间位置，获得光电稳瞄系统四棱锥视场在地心坐标系中的空间位置和姿态，并计算得到四棱锥视场中四条棱线的空间位置和姿态；

根据四条棱线的空间位置和姿态，结合已经构建完成的三维地形曲面，利用K-Dtree求交算法可求得四条棱线与三维地形曲面的交点；

以光电稳瞄系统的瞄准线在所述三维地图区域中的交点为中心点，将中心点与四个所述交点的连线外扩N倍，得到四个新交点；根据四个新交点在三维地形曲面中的位置，以及光电稳瞄系统的瞄准线姿态，利用K-Dtree求交算法得到四个新交点依次相连的四条曲线，进而得到由四条曲线围成的扩展三维地图区域；

步骤2：图像畸变校正

实时获取光电稳瞄系统采集的图像数据，对光电稳瞄系统的径向和切向畸变参数进行标定，并根据标定后的畸变矫正模型得到校正后的图像；

步骤3：图像配准：

将经过校正后的光电稳瞄系统采集的图像与扩展三维地图区域进行特征提取、特征描述和特征匹配，从而确定光电稳瞄系统实时采集图像在三维地形曲面中的位置；

步骤4：动态纹理映射：

将光电稳瞄系统实时采集图像映射到配准后的三维地形曲面对应区域，完成将二维影像与三维场景的融合。

2.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：步骤3中特征提取的具体过程为：

对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别采用基于相位一致性方法进行特征提取；

所述采用基于相位一致性方法进行特征提取的过程为：

根据公式

计算对应图像中各个像素点的相位一致性特征值PC(x,y)，(x,y)为图像中的像素点坐标；W_o(x,y)为设定的频率扩展的权重因子；A_no(x,y)为像素点(x,y)在log Gabor小波变换滤波器尺度n和方向o上的振幅，通过将对应图像输入log Gabor小波变换滤波器得到；符号表示值为正时取本身，否则取0，T为噪声阈值，ε为一个避免分母为0的常数，A_no(x,y)Δφ_no(x,y)利用将对应图像输入log Gabor小波变换滤波器所得到的偶对称滤波器响应值e_no(x,y)和奇对称滤波器响应值o_no(x,y)来计算：

式中：

其中，E(x,y)是局部能量函数，定义为：

3.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：步骤3中特征描述的具体过程为：

对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别以特征提取得到的图像中各个像素点的相位一致性特征值作为输入，利用ORB算法中的特征检测器得到图像中的特征点以及每个特征点的特征向量f_s。

4.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别以图像本身各个像素点作为输入，利用卷积神经网络来提取特征点；在利用卷积神经网络提取的特征点中，根据像素值找到与ORB算法所得到的特征点相对应的特征点，对于这些特征点，通过卷积神经网络所得到的特征向量f_c，将该特征向量f_c与特征向量f_s归一化融合得到特征向量F＝{f_s,f_c}。