[发明专利]一种基于注意力的卷积神经网络分频特征提取方法

说明书

本发明属于计算机科学领域，公开了一种基于注意力的卷积神经网络分频特征提取方法。该方法通过将高频特征提取核与低频特征提取核相结合的方式，在多个空间频率上提取蕴含在输入数据中的特征，将低频特征及其提取核大小压缩，可以有效降低训练模型时所需的计算资源，减少内存消耗。采用高低频之间信息交换，可以提高特征提取的丰富度，获得准确率高、可靠的有意结果。结合自注意力机制，可以提高特征提取的效率，减少复杂任务所需的网络深度，缓解由此带来的梯度消失的问题。

技术领域

本发明属于计算机科学领域，涉及人工智能技术应用，具体涉及一种基于注意力的卷积神经网络分频特征提取方法。

背景技术

随着云计算与大数据技术的不断发展，产生的海量的数据不仅种类繁多且价值巨大，对数据处理与挖掘提出了更高的挑战的同时也为深度学习的发展奠定了契机。以卷积神经网络 (Convolutional Neural Network，CNN)为代表的深度学习模型通过找出蕴含在大量数据中的有用信息，其在图像、语音、文本等领域取得了诸多成就。卷积神经网络是一种具有深度结构的前馈神经网络(Feedforward Neural Networks)，其通过卷积计算实现特征的提取，通过网络结构的加深实现特征从局部到全局的捕获，通过增加通道的方式实现多个维度的特征的叠加。

但传统的卷积神经网络生成特征在空间维度上依然存在着大量冗余，单个特征独立存储，而忽略了能够一起存储的公共信息，容易造成大量存储空间和计算资源的浪费。而且随着网络层数的递增，网络模型也很容易出现梯度消失问题。

发明内容

为了克服上述技术的不足，本发明提供了一种基于注意力的卷积神经网络分频特征提取方法。这种方法通过将高频特征提取核与低频特征提取核相结合的方式，在多个空间频率上提取蕴含在输入数据中的特征，将提取出的特征分频存储，对变化平缓的信息压缩存储，以减少空间冗余，提升运行速度并减少内存开销。通过基于注意力机制的多频特征间的信息交换不仅能提高特征提取的效率还能提高特征的丰度与健壮性，减少梯度消失的可能性。

本发明所采用的技术方案是：

一种基于注意力的卷积神经网络分频特征提取方法，包括以下步骤：

第一步：根据输入信息利用深度学习模型对训练用数据进行预处理，得到输入向量X， X∈R^c×h×w，即构造得到的张量通道数为c、高为h、宽为w；

第二步：将编码后的输入信息X沿着给定的网络通道数c显式分解为X＝{X^H,X^L}，其中X^H表示高频特征映射张量，X^H∈R^{(1-α)c×h×w}；相应的X^L表示低频特征映射张量，α∈[0，1]表示划分给低频部分的信道比例；其中W^H表示提取高频特征X^H对应的参数矩阵，X表示输入矩阵，relu(·)表示对·使用激活函数；其中W^L表示提取低频特征X^L对应的参数矩阵，表示对·进行池化操作；

第三步：利用输入信息X＝{X^H,X^L}相应的得到分频特征映射输出Y＝{Y^H,Y^L}，其中Y^H由Y^H＝Y^H→H+Y^L→H计算所得，Y^L由Y^L＝Y^L→L+Y^H→L计算所得，Y^i→j表示特征映射组i至特征映射组j的信息更新，并且在同频信息组内选择注意力机制的计算机制更新信息，在异频信息组间使用卷积计算机制更新信息；

第四步：对于复杂任务选择重复第三步n次，其中，n＝0,1,2…；