[发明专利]多模态数据的多场景通用性遥感影像云修复方法和系统

权利要求书

1.一种多模态数据的多场景通用性遥感影像云修复方法，其特征在于，包括：

获取目标区域的多模态遥感影像和目标影像；所述多模态遥感影像包括来自不同卫星的光学遥感影像和来自不同卫星的合成孔径雷达SAR影像；所述目标影像为包含云遮挡区域的遥感影像；

基于所述多模态遥感影像的不同成像时间，分别从所述光学遥感影像和SAR影像中确定所述目标影像的最佳光学参考影像以及所述目标影像的最佳SAR参考影像；

基于所述目标影像、所述最佳光学参考影像、所述最佳SAR参考影像以及预先获取的所述目标区域的土地覆盖数据，确定相似像素点集合；

依次对所述相似像素点集合中的各个像素点进行权重分配和加权计算，得到所述目标影像对应的云修复影像；

所述基于所述目标影像、所述最佳光学参考影像、所述最佳SAR参考影像以及预先获取的所述目标区域的土地覆盖数据，确定相似像素点集合，具体为：

基于所述目标影像中云遮挡区域的中心点到云遮挡区域的边界之间的最短距离，取该最短距离的一半作为云遮挡区域向外扩张的缓冲半径，通过缓冲得到云遮挡区域的缓冲区，将该缓冲区作为相似像素的搜索区域；

根据所述搜索区域，对所述最佳光学参考影像、所述最佳SAR参考影像以及预先获取的所述目标区域的土地覆盖数据进行求交集运算，以确定相似像素点集合；

所述相似像素点集合包括高质量相似像素点集合；

对应地，根据所述搜索区域，对所述最佳光学参考影像、所述最佳SAR参考影像以及预先获取的所述目标区域的土地覆盖数据进行求交集运算，以确定相似像素点集合，具体为：

分别计算目标像素点与所述最佳光学参考影像在所述搜索区域内的所有像素点、所述目标像素点与所述最佳SAR参考影像在所述搜索区域内的所有像素点之间的光谱相似性，对应得到第一光谱相似性和第二光谱相似性；其中，所述目标像素点为所述目标影像中云遮挡区域内任一像素点；

根据预设相似性条件以及所述第一光谱相似性、所述第二光谱相似性，分别对所述最佳光学参考影像在所述搜索区域内的所有像素点、所述最佳SAR参考影像在所述搜索区域内的所有像素点进行分别筛选，对应得到第一备选相似像素点集合、第二备选相似像素点集合；

在所述搜索区域内从所述土地覆盖数据中搜索与所述目标像素点具有相同土地覆盖类型的像素点，以得到第三备选相似像素点集合；

将所述第一备选相似像素点集合、所述第二备选相似像素点集合与所述第三备选相似像素点集合进行求交集运算，得到所述高质量相似像素点集合；

所述依次对所述相似像素点集合中的各个像素点进行权重分配和加权计算，得到所述目标影像对应的云修复影像，具体为：

基于所述相似像素点集合的光谱空间变化信息与空间位置，对所述目标像素点的光谱值进行预测，得到第一光谱预测值；

基于所述相似像素点集合的光谱时间变化信息，对所述目标像素点的光谱值进行预测，得到第二光谱预测值；

分别计算所述第一光谱预测值的权重、所述第二光谱预测值的权重，以确定所述目标像素点最终的光谱预测值，从而得到所述目标影像对应的云修复影像；

所述基于所述相似像素点集合的光谱空间变化信息与空间位置，对所述目标像素点的光谱值进行预测，得到第一光谱预测值，具体为：

根据所述最佳光学参考影像和所述最佳SAR参考影像分别在所述相似像素点集合的各像素点处的光谱值，以及所述最佳光学参考影像和所述最佳SAR参考影像分别在目标像素点位置处的光谱值，计算得到第一光谱差值；

采用相似像素点与目标像素点之间的RMSD表示第一光谱差值，其计算公式如下：

，

式中，最佳光学参考影像的波段总数为n_oi个，n_oi个波段中的第b_oi个波段用b_oi表示；t₁为最佳光学参考影像的成像时间，L（x_i，y_i，t₁，b_oi）表示t₁时刻的最佳光学参考影像中位于第b_oi个波段的（x_i，y_i）处的光谱值，L（x，y，t₁，b_oi）表示t₁时刻的最佳光学参考影像中位于b_oi波段的目标像素点（x，y）处的光谱值；最佳SAR参考影像的波段数量为n_sar个，n_sar个波段中的第b_sar个波段用b_sar表示；t₂为最佳SAR参考影像的成像时间，L（x_i，y_i，t₂，b_sar）表示t₂时刻的最佳SAR参考影像中位于b_sar波段的（x_i，y_i）处的光谱值，L（x，y，t₂，b_sar）表示t₂时刻的最佳SAR参考影像中位于b_sar波段的目标像素点（x，y）处的光谱值；RMSD_i表示相似像素点（x_i，y_i）与目标像素点（x，y）的第一光谱差值；

根据所述相似像素点集合中各像素点的位置、所述目标像素点的位置，计算得到空间距离；其计算公式如下：

，

式中，D_i表示相似像素点（x_i，y_i）与目标像素点（x，y）的空间距离；

分别对所述第一光谱差值、所述空间距离进行归一化处理，并计算得到所述相似像素点集合中各像素点的第一权重；

对第一光谱差值进行归一化处理的计算公式如下：

，

式中，表示归一化处理后的第一光谱差值，RMSD_{i_max}、RMSD_{i_min}分别表示第一光谱差值的最大值、最小值；

对空间距离进行归一化处理的计算公式如下：

，

式中，表示归一化处理后的空间距离，D_{i_max}、D_{i_min}分别空间距离的最大值、最小值；

第一权重的表达式如下：

，

式中，W_i表示相似像素点（x_i，y_i）的第一权重，N表示相似像素点的数量；

根据所述目标影像在所述相似像素点集合的各像素点处的光谱值以及所述相似像素点集合中各像素点的第一权重，对所述目标像素点的光谱值进行预测，得到第一光谱预测值；

第一光谱预测值的计算公式如下：

，

式中，L_ss（x，y，t₃，b_oi）表示第一光谱预测值，也就是t₃时刻目标像素点（x，y）处的b_oi波段的光谱预测值，L（x_i，y_i，t₃，b_oi）表示t₃时刻目标影像中相似像素点（x_i，y_i）处的b_oi波段的光谱值；

所述基于所述相似像素点集合的光谱时间变化信息，对所述目标像素点的光谱值进行预测，得到第二光谱预测值，具体为：

计算t₁时刻在最佳光学参考影像中相似像素点集合中各像素点与目标像素点的光谱值之差，以得到第二光谱差值；第二光谱差值的计算公式如下：

，

式中，RMSD_{i_t1}表示第二光谱差值，（x_i，y_i）表示第i个高质量相似像素点的坐标，（x，y）表示目标像素点的坐标；

计算t₂时刻在最佳SAR参考影像中相似像素点集合中各像素点与目标像素点的光谱值之差，以得到第三光谱差值；第三光谱差值的计算公式如下：

，

对、分别进行归一化处理，其计算公式如下：

，

，

式中，表示对进行归一化处理后的结果，表示对进行归一化处理的结果，、分别表示的最小值、最大值，、分别表示的最小值、最大值；

分别基于所述第二光谱差值、所述第三光谱差值进行计算，对应得到所述相似像素点集合中各像素点的第二权重、第三权重；其计算公式如下：

，

，

式中，RMSD_{i_t1}、RMSD_{i_t2}分别代表在t1、t2时刻高质量相似像素点的光谱相似性，、分别代表归一化处理后的光谱相似性，W_{i_t1}、W_{i_t2}分别代表在t1、t2时刻高质量相似像素点的权重，、分别表示第i个、第j个高质量相似像素点与目标像素点的归一化处理后的空间距离；

根据高质量相似像素点在t₁时刻、t₂时刻、t₃时刻的光谱值，基于第二权重、第三权重分别推测目标像素点在t₃时刻的光谱值，其计算公式如下：

，

，

式中，、分别表示基于第一时间段、第二时间段高质量相似像素点的光谱变化值预测得到的目标像素点的光谱值；

其中，所述t₁时刻为所述最佳光学参考影像的成像时间；所述t₂时刻为所述最佳SAR参考影像的成像时间；所述t₃时刻为所述目标影像的成像时间；第一时间段为最佳光学参考影像的成像时间t₁到目标影像的成像时间t₃的时间间隔；第二时间段为最佳SAR参考影像的成像时间t₂到目标影像的成像时间t₃的时间间隔；

计算高质量相似像素点在t₁、t₂时刻与t₃时刻的光谱差值，具体计算公式如下：

，

，

式中，R_t1、R_t2分别代表t₁、t₂时刻高质量相似像素点与t₃时刻高质量相似像素点的光谱差值；

根据R_t1、R_t2计算第二光谱预测值；其计算公式如下：

，

所述分别计算所述第一光谱预测值的权重、所述第二光谱预测值的权重，以确定所述目标像素点最终的光谱预测值，从而得到所述目标影像对应的云修复影像，具体为：

根据所述相似像素点集合与所述目标像素点的平均光谱差值R_ss，计算所述第一光谱预测值的权重；

根据所述相似像素点集合的综合平均光谱差值R_st，计算所述第二光谱预测值的权重；

平均光谱差值R_ss的计算公式如下：

，

综合平均光谱差值R_st的计算公式如下：

，

第一光谱预测值的权重的表达式如下：

，

第二光谱预测值的权重的表达式如下：

，

根据所述第一光谱预测值、所述第一光谱预测值的权重、所述第二光谱预测值、所述第二光谱预测值的权重，计算所述目标像素点最终的光谱预测值，从而得到所述目标影像对应的云修复影像；

所述目标像素点最终的光谱预测值的计算公式如下：

，

式中，表示第一光谱预测值的权重，表示第二光谱预测值的权重。