[发明专利]基于全局引导选择性上下文网络的场景语义解析方法

权利要求书

1.一种基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述网络包括主干网络、上下文选择网络和像素分类网络，所述方法包括：

所述主干网络接收输入数据源图像，对所述输入数据源图像进行逐层地特征提取得到至少一个初级特征图，并将所述至少一个初级特征图输入至所述上下文选择网络；

所述上下文选择网络对所述至少一个初级特征图通过基于全局信息引导的注意力机制来得到所述至少一个初级特征图的不同像素位置处融合全局上下文和局部上下文的权重因子，并根据所述权重因子对所述至少一个初级特征图中的每个像素实现自适应地融合全局上下文和局部上下文，以得到次级特征图，并将所述次级特征图输入至所述像素分类网络；

所述像素分类网络对所述次级特征图进行逐个像素的分类得到场景语义解析结果。

2.根据权利要求1所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述主干网络为图像分类网络，且包括至少一个主干网络模块，所述主干网络模块用于输出初级特征图，所述上下文选择网络包括至少一个上下文选择块；

所述方法还包括：

所述主干网络模块对所述输入数据源图像进行逐层地特征提取得到并输出初级特征图输入至所述上下文选择块；

所述上下文选择块对所述初级特征图进行所述全局上下文的选择和所述局部上下文的选择的融合得到所述次级特征图。

3.根据权利要求2所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述主干网络包含n+1个不同空间分辨率的主干网络模块，所述上下文选择网络包括n个上下文选择块，n为大于等于3的正整数；

所述方法还包括：

第1主干网络模块根据所述输入数据源图像输出第1初级特征图，并将其输入至第2主干网络模块和第n上下文选择块；

第i主干网络模块根据第i-1初级特征图输出第i初级特征图至下一级主干网络模块以及输入至对应的第n+1-i上下文选择块，2≤i≤n；

第n+1主干网络模块根据第n初级特征图输出第n+1初级特征图，并将其输入至第1上下文选择块；

第1上下文选择块对接收到的第n+1初级特征图和第n初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第1选择特征图后并将其输入至第2上下文选择块；

第i语上下文选择块对接收到的第i-1选择特征图和第n+1-i初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第i选择特征图，并将其输入至下一级上下文选择块，2≤i≤n-1；

第n上下文选择块对接收到的第n-1选择特征图和第1初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第n选择特征图并将其作为所述次级特征图。

4.根据权利要求3所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述上下文选择块包括基于全局信息引导的全局上下文模块、基于全局信息引导的局部上下文模块和融合模块；

所述方法还包括：

所述全局上下文模块对输入至所述全局上下文模块的输入数据的所述全局上下文根据全局信息引导的注意力机制，自适应地融合到所述输入数据的不同像素处，得到具有全局上下文信息的输出数据；

所述局部上下文模块对输入至所述局部上下文模块的输入数据的所述局部上下文根据全局信息引导的注意力机制，自适应地进行融合处理，得到具有局部上下文信息的输出数据；

所述融合模块根据所述全局上下文模块的输出数据和所述局部上下文模块的输出数据，进行拼接融合输出选择特征图。