[发明专利]一种多任务多分支注意力网络结构

说明书

本发明提供了一种多任务多分支注意力网络结构，属于深度学习技术领域；解决了现有的多任务的网络结构能够使模型同时处理多个任务，但同时由于每个任务所需的特征不相同，也带来了网络负迁移的问题；解决上述技术问题采用的技术方案为：该结构具有三个模块：一个多分支的特征提取网络，一个基于注意力的特征选择模块，一个基于注意力多分支预测模块，多分支的特征提取并输出网络可以提取图片在网络不同阶段的特征图，特征选择模块用于对特征图进行加权，为每个任务提供任务相关的特征图，而基于注意力的多分支预测模块则可以整合来自不同分支的同一任务的预测结果，以此提高网络的准确率；本发明应用于图像分类处理。

技术领域

本发明提供了一种多任务多分支注意力网络结构，属于计算机技术的深度学习技术领域。

背景技术

卷积神经网络是一类包含卷积、池化、激活函数计算并且具有一定深度结构的神经网络，是深度学习领域的代表算法之一。目前已经被大量研究实例证实，在目标分类、定位、检测领域有强劲的表现，并以多层次的特征学习与丰富的特征表达能力，在目标分类领域取得了突破进展。

最近几年，图像分类领域诞生了一个又一个经典网络模型，GoogLeNet提出Inception模块，将网络变宽，从而从另一个方向增强了网络的特征提取能力；ResNet提出残差结构，有效的缓解了梯度消失和网络退化等问题，神经网络从而可以达到上百层的深度；DensenNet提出密集连接概念，将网络之前每个层的输入都连接到之后的所有层，从而达到了高效的特征复用，同时也减缓了梯度消失等问题。在目标分类领域，已有许多学者将上述模型应用于图像分类，但其构建的模型大多是单任务模型，每次只能进行一个任务，而在现实生活中一张图片通常需要同时进行多个任务的判断。在这种情况下，通常需要训练多个单任务模型，对每一个任务进行分类计算，因此导致计算量庞大，检测速度慢。

目前，针对一张图片中有多个任务的情况，已存在多种多任务神经网络框架，多任务学习（MTL）是一种综合学习方法，通过同时训练几个任务并在任务间共享一些参数来实现。在多任务网络中，多个任务共享一个结构，可以利用不同任务的信息。当所有任务的损失趋于平缓时，这个结构就相当于融合了所有任务的信息。而一般来说，多任务网络比单任务网络有更强的泛化能力。但是大多数多任务网络要求不同任务之间具有较强的联系，否则会造成多任务网络的负迁移。在实际应用中，其精度不高，并且存在诸多限制。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种多任务多分支注意力网络结构的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种多任务多分支注意力网络结构，包括以下模块：

多分支的特征提取网络：用于从预处理的图像中提取特征，并将网络分为多个分支，每个分支输出当前阶段的特征提取网络所提取的特征图；

基于注意力的特征选择模块：使用通道注意力对每个分支特征提取网络输出的特征图的通道进行加权操作，为每个任务生成任务相关的特征图；

基于注意力的多分支预测模块：将每个由通道注意力的加权特征图输入全连接层进行多任务预测，然后利用分支注意力模块和任务内注意力模块来整合不同分支的同一任务的预测结果，最后，输出每个任务的分类结果。

所述特征提取网络使用经过修改后的ResNet50作为骨干网络，修改后的ResNet50共包含1个输入部分和4个Block，输入部分由3个串联的3×3卷积层组成，Block分别由3、4、6、3个Layer组成，每个Layer包含1×1卷积层、批量归一化层、修正线性单元层、3×3卷积层、批量归一化层、修正线性单元层、1×1卷积层、批量归一化层、修正线性单元层。

所述基于注意力的特征选择模块由以下公式表示：

；