[发明专利]神经网络模型优化方法及相关设备

权利要求书

1.一种神经网络模型优化方法，其特征在于，包括以下步骤：

对第一神经网络模型进行优化处理得到第二神经网络模型；其中，

所述第二神经网络模型包括优化注意力层和位于所述优化注意力层之前的至少两个在前网络层，所述至少两个在前网络层串联连接；所述优化注意力层包括优化质询Query特征变换模块、优化键Key特征变换模块以及优化值Value特征变换模块，

所述优化质询Query特征变换模块的输入是根据所述优化注意力层的至少一个在前网络层的输出特征得到的；

所述优化键Key特征变换模块的输入是根据所述优化注意力层的至少一个在前网络层的输出特征得到的；

所述优化值Value特征变换模块的输入是根据所述优化注意力层的至少一个在前网络层的输出特征得到的；

其中，所述优化质询Query特征变换模块、所述优化键Key特征变换模块、所述优化值Value特征变换模块中的至少一个特征变换模块的输入是根据所述优化注意力层的至少一个非相邻在前网络层的输出特征得到的。

2.根据权利要求1所述的方法，其特征在于，目标特征变换模块的输入为所述优化注意力层的至少一个在前网络层的输出特征；所述目标特征变换模块为所述优化质询Query特征变换模块、所述优化键Key特征变换模块、所述优化值Value特征变换模块中的任一个。

3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型包括串联连接的注意力层和位于所述注意力层之前的至少两个在前网络层，所述至少两个在前网络层串联连接；所述对第一神经网络模型进行优化处理得到第二神经网络模型，具体包括以下步骤：

确定所述第一神经网络模型的搜索空间，所述搜索空间中的元素包括所述注意力层中第一质询Query特征变换模块、第一键Key特征变换模块、第一值Value特征变换模块可连接的在前网络层；

利用基于所述搜索空间的搜索算法确定所述优化注意力层，其中，所述搜索算法用于根据搜索条件确定所述优化质询Query特征变换模块连接的第一在前网络层、所述优化键Key特征变换模块连接的第二在前网络层、所述优化值Value特征变换模块连接的第三在前网络层，所述第一在前网络层、所述第二在前网络层和所述第三在前网络层中的至少一个是所述优化注意力层的非相邻在前网络层。

4.根据权利要求3所述的方法，其特征在于，所述搜索算法包括进化算法、强化学习算法、网络结构搜索算法中的任一个。

5.根据权利要求3或4所述的方法，其特征在于，所述搜索空间中的元素还包括以下至少一项：所述第一神经网络模型可选的激活函数、所述第一神经网络模型可选的归一化操作、所述第一神经网络模型可选的特征图的操作类型、所述第一神经网络模型可选的并行支路个数、可选的搜索单元中的模块个数、除所述注意力层之外的在前网络层之间可选的连接方式。

6.根据权利要求1所述的方法，其特征在于，目标特征变换模块的输入为所述优化注意力层的至少两个在前网络层的输出特征和所述在前网络层的权重加权求和得到的输入特征；所述目标特征变换模块为所述优化质询Query特征变换模块、所述优化键Key特征变换模块、所述优化值Value特征变换模块中的任一个。