[发明专利]基于通道注意力机制的神经网络压缩方法及相关设备

权利要求书

1.一种基于通道注意力机制的神经网络压缩方法，其特征在于，包括以下步骤：

构建神经网络模型，并在所述神经网络模型中建立通道注意力机制，所述神经网络模型包含多个通道；

对所述神经网络模型进行训练；

在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通道进行删减。

2.如权利要求1所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述构建神经网络模型，并在所述神经网络模型中建立通道注意力机制，所述神经网络模型包含多个通道，包括：

构建神经网络模型，在所述神经网络模型中的全连接层与卷积层之间构建通道注意力层，并在所述通道注意力层中设置softmax函数，所述通道注意力层中的每个通道与所述神经网络模型中的每个通道一一对应；

根据所述softmax函数为所述通道注意力层中的每个通道分配通道权重。

3.如权利要求2所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述根据所述softmax函数为所述通道注意力层中的每个通道分配通道权重，包括：

获取输入信息并将所述输入信息通过所述神经网络模型中的卷积层的卷积运算以及所述通道注意力层的通道权重运算后获得当前时刻的隐层输出向量；

计算上一时刻的隐层输出向量与所述输入信息之间的相似度，将所述相似度输入所述softmax函数并进行归一化处理，获得所述通道注意力层中的每个通道的通道权重。

4.如权利要求1所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述对所述神经网络模型进行训练，包括：

对所述神经网络模型根据公式：

进行训练，获得所述神经网络模型的参数W_ij和θ，其中，Y_i表示神经元i的输出，函数f表示激活函数，W_ij表示神经元j到神经元i的连接权值，θ表示偏置，X_j表示神经元j的输入。

5.如权利要求1所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述对所述神经网络模型进行训练，包括：

当在对所述神经网络模型进行训练时，检测所述神经网络模型的交叉熵损失函数的收敛状态；

当检测到所述神经网络模型的交叉熵损失函数的收敛状态为收敛时，启动对所述神经网络模型中的通道的删减。

6.如权利要求1所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通道进行删减，包括：

预设通道的通道权重阈值；

在对所述神经网络模型的训练过程中将所述每个通道的通道权重与所述通道权重阈值进行比较，并将低于所述通道权重阈值的通道进行删减。

7.如权利要求1所述的基于通道注意力机制的神经网络压缩方法，其特征在于，所述在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通道进行删减之后，包括：

预设所述神经网络模型的最低通道数；

当对所述神经网络模型中的通道进行删减时，将所述神经网络模型中的当前通道数与所述预设的最低通道数进行比较，当所述神经网络模型中的当前通道数不大于所述预设的最低通道数时，停止删减。

8.一种基于通道注意力机制的神经网络压缩装置，其特征在于，所述装置包括：

模型构建模块：设置为构建神经网络模型，并在所述神经网络模型中建立通道注意力机制，所述神经网络模型包含多个通道；

训练模块：设置为对所述神经网络模型进行训练；

通道删减模块：设置为在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通道进行删减。