[发明专利]一种基于多维度视差先验的双目图片超分辨率重建方法

权利要求书

1.一种基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，包括以下步骤：

S1：将双目相机采集的第一视图和第二视图分别输入至级联注意力双目超分网络的两条分支通道中；其中，所述级联注意力双目超分网络包括两条对称的分支通道，其分支通道均包括依次连接的卷积层、级联注意力块和上采样层，还包括插入至级联注意力块的视差多维度注意力模块（Parallax Multi-Dimensional Attention module，PMDA）；

S2：利用卷积层将3通道的第一视图和第二视图分别转化为64通道的第三视图和第四视图；

S3：利用级联注意力块依次提取和聚合第三视图和第四视图的特征，并利用视差多维度注意力模块提取视图特征的视差先验信息；

S4：根据视图特征的视差先验信息得到双目相机采集的第一视图和第二视图的交互关系，并将第三视图和第四视图的特征融合至上采样层，利用上采样层对融合后的第三视图和第四视图的特征进行超分辨率重建，得到超分辨率图片；

所述步骤S3包括以下子步骤：

S31：利用级联注意力块依次提取和聚合第三视图的特征和第四视图的特征；

S32：将第三视图的特征和第四视图的特征均依次输入至视差多维度注意力模块中的残差块和卷积层，得到视图特征；

S33：基于视图特征，根据第三视图的特征函数，计算从第四视图到第三视图的第一注意力特征图，并通过第三视图的特征更新函数进行更新，得到第二注意力特征图；

S34：基于视图特征，根据第四视图的特征函数，计算从第三视图到第四视图的第三注意力特征图，并通过第四视图的特征函数更新进行更新，得到第四注意力特征图；

S35：计算第二注意力特征图和第四注意力特征图在通道维度、高度维度和宽度维度上的视差先验信息；

所述步骤S32中，视图特征的表达式为，其中，V_l表示自注意力机制中第三视图的值张量，K_l表示自注意力机制中第三视图的键张量，Q_l表示自注意力机制中第三视图的查询张量，V_r表示自注意力机制中第四视图的值张量，K_r表示自注意力机制中第四视图的键张量，Q_r表示自注意力机制中第四视图的查询张量，V表示自注意力机制中的值张量，K表示自注意力机制中的键张量，Q表示自注意力机制中的查询张量，l表示第三视图，r表示第四视图；

所述步骤S33中，第三视图的特征函数A_RightToLeft和第三视图的特征更新函数F_l的表达式分别为：

其中，softmax（·）表示归一化指数函数，表示矩阵乘法，T表示矩阵转置；

所述步骤S34中，第四视图的特征函数A_LeftToRight和第四视图的特征更新函数F_r的表达式分别为：

；

所述步骤S35中，计算第二注意力特征图和第四注意力特征图在通道维度、高度维度和宽度维度上的视差先验信息的方法相同，均包括以下子步骤：

S351：在通道维度、高度维度和宽度维度上，分别重塑自注意力机制中的查询张量和键张量，得到第一查询张量、第二查询张量和第三查询张量、第一键张量、第二键张量和第三键张量，其中，C表示注意力特征图的通道维度，H表示注意力特征图的高度维度，W表示注意力特征图的宽度维度，R表示矩阵尺度；

S352：对第一查询张量、第二查询张量和第三查询张量与第一键张量、第二键张量和第三键张量依次进行对应的矩阵相乘和归一化操作，得到第一依赖关系映射A₁、第二依赖关系映射A₂和第三依赖关系映射A₃；

S353：在通道维度、高度维度和宽度维度上重塑自注意力机制中的值张量，得到第一值张量、第二值张量和第三值张量，并将第一依赖关系映射A₁、第二依赖关系映射和第三依赖关系映射分别与第一值张量、第二值张量和第三值张量进行对应的矩阵相乘，得到第一注意力机制更新后特征F₁、第二注意力机制更新后特征F₂和第三注意力机制更新后特征F₃；

S354：将第一注意力机制更新后特征F₁、第二注意力机制更新后特征F₂和第三注意力机制更新后特征F₃与视差多维度注意力模块中残差块的残差特征在通道维度上进行拼接，并利用卷积层减少第一注意力机制更新后特征F₁、第二注意力机制更新后特征F₂和第三注意力机制更新后特征F₃的通道数，得到视差先验信息的特征表达Fout；

所述步骤S352中，依赖关系映射A_i的计算公式为：

其中，A₁表示第一依赖关系映射，A₂表示第二依赖关系映射，A₃表示第三依赖关系映射，Q₁表示第一查询张量，Q₂表示第二查询张量，Q₃表示第三查询张量，softmax（·）表示归一化指数函数，表示矩阵乘法；

所述步骤S353中，注意力机制更新后特征F_i的计算公式为：

其中，V₁表示第一值张量，V₂表示第二值张量，V₃表示第三值张量，F₁表示第一注意力机制更新后特征，F₂表示第二注意力机制更新后特征，F₃表示第三注意力机制更新后特征；

所述步骤S354中，视差先验信息的特征表达Fout的计算公式为：

其中，V表示自注意力机制中的值张量，Concat（·）表示特征图在通道维度进行拼接，Conv（·）表示卷积操作。

2.根据权利要求1所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤S1中，所述级联注意力双目超分网络采用自注意力机制；其中，级联注意力双目超分网络中的视觉多维度注意力模块用于输入两个视图，并提取两个视图的视差先验信息；

所述级联注意力块包括残差网络和视觉多维度自注意力模块；所述视觉多维度自注意力模块用于输入单一视图，并提取单一视图的视差先验信息。