[发明专利]一种基于GinTrans网络的垃圾分割方法及系统

权利要求书

1.一种基于GinTrans网络的垃圾分割方法，其特征在于，包括以下步骤：

(1)图像分割系统设置：所述图像分割系统包括图像采集模块、提取模块、切割标识重组模块、重塑融合输出模块、跳跃连接聚合模块及分割输出模块，所述提取模块设有GhostNet网络，所述重塑融合输出模块设有Bi-Frequency Transformer(BiFTrans block)模块，所述跳跃连接聚合模块设有上采样恢复模块及GhostNet下采样特征提取模块，所述分割输出模块设有分割头模块；

(2)图像采集输入：所述图像采集模块连接有图像采集摄像头，所述图像采集摄像头对智能化垃圾回收分拣线上的垃圾进行图像采集并传输到图像采集模块上，图像采集模块采集到的图像作为图像输入数据并输送至提出模块进行处理；

(3)特征图提取：提取模块对图像输入数据进行处理，所述提取模块采用GhostNet网络对图像输入数据进行底层特征提取，提取得到输出特征图，并进行下个步骤处理；

(4)切割标识重组：所述切割标识重组模块对提取到的输出特征图进行切割操作，通过切割操作将输出特征图网格化，网格化完成后通过线性映射生成标记特征，并将标记特征组成标记特征序列，将标记特征序列作为Bi-Frequency Transformer(BiFTrans block)模块的输入；

(5)重塑融合：所述重塑融合输出模块将输入的标记特征序列进行重塑，并利用Bi-Frequency Transformer(BiFTrans block)模块内设有的双频混合器从高低不同频率对特征进行融合动作，融合动作得到融合特征输出；

(6)跳跃聚合：对融合后的到融合特征输出通过上采样恢复模块恢复成与图像输入数据大小相同的输入图像，所述GhostNet下采样特征提取模块进行对应的同层分辨率特征图进行下材料特征的提取，所述上采样恢复模块得到的输入图像与所述GhostNet下采样特征提取模块得到的同层分辨率特征图进行跳跃链接，从而聚合以不同分辨率级别呈现的特征图像；

(7)分割输出：分割输出模块的分割头模块将特征图像生成分割输出，得到目标图像。

2.根据权利要求1所述的基于GinTrans网络的垃圾分割方法，其特征在于，所述GhostNet网络设有Ghost模块，所述Ghost模块的设计如下：

(3.1)将所述步骤(2)中的待识别垃圾图像输入数据，通过GhostNet网络进行卷积生成不同分辨率的原始特征图f_i′；

(3.2)所述提取模块内含线性运算Φ，利用线性运算Φ生成Ghost特征图作为输出特征图，其公式为f_ij＝Φ_i，j(f′_i)，其中，f′_i是待识别垃圾图像经过卷积操作得到的第i个原始特征图，Φ_i，j是对第i个原始特征图的第j个线性运算，运算后得到第j个Ghost特征图f_ij。

3.根据权利要求2所述的基于GinTrans网络的垃圾分割方法，其特征在于，所述步骤(4)还包括以下步骤：

(4.1)将所述步骤(3)中的输出的每一个Ghost特征图，进行网格化切割，每个特征图大小为H×W，H、W分别为特征图的长和宽，每个网格子特征图大小为s×s，s为网格的边长，s可以被H、W整除，共可切割成个网格子特征图；

(4.2)将网格化的子特征图进行线性映射，每个网格子特征图标映射成记特征，所有网格子特征图组成标记特征序列Xi表示第i个标记特征，i＝1，2，...N为标记特征的序号。

4.根据权利要求3所述的基于GinTrans网络的垃圾分割方法，其特征在于，所述步骤(5)还包括上采样聚合及跳跃链接，其包括以下步骤：

(5.1)首先将标记特征序列进行层归一化处理，X为层归一化处理后的标记特征序列，为步骤(4)中得到的标记特征序列；

(5.2)将上步中的标记特征序列中的每一个标记特征，先进行频率分解，分解为高频标记特征和低频标记特征；

(5.3)对高频特征，首先进行最大池化操作，然后经过一个线性层，再经过一个深度可分离卷积层，池化层、线性层和深度可分离卷积层构成了一个高频特征处理器，输出为Y_high＝DConv(FC(MaxPool(X_hihg)))，其中Y_high为高频特征处理器处理后的特征输出，DConv为深度可分离卷积处理，FC为线性全连接处理，MaxPool为最大池化处理，X_hihg是由上步骤(5.2)中标记特征分解得到的高频标记特征；

(5.4)对低频标记特征，首先进行平均池化操作，然后经过自注意力机制层MSA，然后再进行上采样以弥补平均池化操作后的维数降低，平均池化层、自注意力机制层和上采样层构成了一个低频特征处理器，输出为Y_low＝Upsample(MSA(AvePool(X_low)))，其中Y_low是低频特征处理器处理后的特征输出，Upsample是上采样处理，MSA是自注意力机制处理，AvePool是平均池化处理，X_low是由上步骤(5.2)中标记特征分解得到的低频标记特征；

(5.5)高低频特征融合，对高频和低频特征输出，进行融合，得到融合后的输出Y_o＝Concat(Y_high，Y_low)，其中Y_o为融合后的特征输出，Concat为特征链接函数；

(5.6)对融合后的特征输出再次进行层归一化操作；

(5.7)归一化操作后通过前馈网络FFN，最终的BiFTrans block模块输出其中是步骤(4)中的标记特征序列，Y_O是经过高低频融合后的特征输出，FFN是前馈网络处理，Norm是层归一化处理。