[发明专利]一种基于transformer多种注意力机制的权重分配方法

权利要求书

1.一种基于transformer多种注意力机制的权重分配方法，应用基于注意力机制的transformer模型中，其特征在于；包括如下步骤：

步骤1：在transformer模型中，针对应用情景选取其中较优秀的模型输出。

步骤2：初始化权重序列δ的值，第一次计算时权重序列δ为随机数，并且δ₁+δ₂+....+δ_i＝1；

步骤3：将各模型输出进行正则化计算并计算出各输出的中心点(与所有值最接近的点)，通过计算公式fin_out＝δ₁O₁+δ₂O₂+δ₃O₃.......+δ_iO_i计算出最优的匹配值作为最终输出；其中δ₁+δ₂+....+δ_i＝1且δ_i是我们设置的权重参数；O_i是各种注意力模型的输出；

步骤4：将最终输出代入后续运算中，计算与上一次训练相比损失函数的差值，若损失函数下降，则提高δ中靠中心点的序列比重；若损失函数上升，则提升δ序列中与中心点最远的序列比重，整个过程严格遵守δ₁+δ₂+....+δ_i＝1的规则；

步骤5：多次循环迭代计算，最终确定最佳权重序列δ。