[发明专利]一种弱监督语义分割方法及其应用

权利要求书

1.一种弱监督语义分割方法，其特征在于，采用预训练的用于弱监督语义分割的语义擦除式区域扩张分类网络，执行以下步骤：

对待语义分割图片依次进行第一阶段特征提取和高层语义整合分类，得到该张图片对应的第一类别响应图；

对所述第一类别响应图中响应度高的区域进行擦除，并对擦除后的类别响应图进行第二阶段高层语义整合分类，得到第二类别响应图；

对所述第一类别响应图和所述第二类别响应图的各对应位置分别相加融合，得到融合类别响应图，并对所述融合类别响应图进行背景阈值切割处理，得到类别分割区域图，完成所述待语义分割图片的语义分割；

所述对所述第一类别响应图中响应度高的区域进行擦除，具体为：

将所述第一类别响应图中的负数响应度值修改为0，得到非负类别响应图，并将所述非负类别响应图右乘所述待语义分割图片的弱监督类别标签向量，得到有效类别响应图；

对所述有效类别响应图中的每个类别通道分别进行归一化，并在通道维度上取最大值，得到最大值响应图；

在空白擦除区域图中，将该最大值响应图中响应度大于擦除阈值的对应位置设为零，反之设为一，得到擦除区域图；

将所述擦除区域图分别和所述第一类别响应图中每个通道进行对应位置相乘，得到擦除后的第一类别响应图。

2.根据权利要求1所述的一种弱监督语义分割方法，其特征在于，所述语义擦除式区域扩张分类网络的训练方法为：

S1、分别采用特征提取单元和第一分类单元，对训练图片集中任一张图片依次进行第一阶段特征提取和高层语义整合分类，得到该张图片对应的第一类别响应图，对该第一类别响应图进行全局平均池化，得到第一类别预测向量；

S2、对该第一类别响应图中响应度高的区域进行擦除，采用第二分类单元，对擦除后的类别响应图进行第二阶段高层语义整合分类，得到第二类别响应图，对该第二类别响应图进行全局平均池化，得到第二类别预测向量；

S3、基于该张图片的弱监督类别标签向量、第一类别预测向量和第二类别预测向量，以训练分类误差收敛为目标，优化所述特征提取单元、所述第一分类单元和所述第二分类单元的参数；

S4、对所述训练图片集中其它各张图片依次重复S1-S3，直至达到终止条件，完成语义擦除式区域扩张分类网络的训练。

3.根据权利要求2所述的一种弱监督语义分割方法，其特征在于，所述S3包括：

基于该张图片的弱监督类别标签向量和第一类别预测向量，计算第一阶段的训练误差，基于该张图片的类别标签向量和第二类别预测向量，计算第二阶段的训练误差；

基于所述第一阶段的训练误差，优化所述特征提取单元、所述第一分类单元的参数，并基于所述第二阶段的训练误差，优化所述特征提取单元、所述第一分类单元和第二分类单元的参数；

对所述训练图片集中其它各张图片依次重复步骤S1，直至达到终止条件，完成语义擦除式区域扩张分类网络的训练。

4.根据权利要求2所述的一种弱监督语义分割方法，其特征在于，所述第二分类单元包括两层卷积层，每层卷积层中的卷积核大小为1×1。

5.根据权利要求1至4任一项所述的一种弱监督语义分割方法，其特征在于，所述将所述第一类别响应图中的负数响应度值修改为0，具体为：采用线性修正单元激活函数，对所述第一类别响应图进行非负化处理，得到非负的类别响应图。

6.根据权利要求1至4任一项所述的一种弱监督语义分割方法，其特征在于，所述擦除阈值的取值范围为[0.7,0.9]。

7.一种如权利要求1至6任一项所述的一种弱监督语义分割方法的应用，其特征在于，用于对多张待语义分割图片进行语义分割得到类别分割区域图，以基于多张待语义分割图片及其对应的类别分割区域图，训练语义分割网络。

8.一种语义分割方法，其特征在于，采用如权利要求7所述的语义分割网络对待语义分割图片进行语义分割，完成语义分割。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述如权利要求1至6任一项所述的一种弱监督语义分割方法和/或如权利要求8所述的一种语义分割方法。