[发明专利]BERT模型的优化方法及系统、电子设备及存储介质

权利要求书

1.一种BERT模型的优化方法，其特征在于，所述优化方法包括：

将所述BERT模型每个层包含的所有算子分别合并为一个对应的层算子，所述层算子的数量和所述BERT模型的层数相同；每个层算子分别用于所述BERT模型中对应层的运算。

2.如权利要求1所述的BERT模型的优化方法，其特征在于，所述优化方法还包括：将所有的层算子合并为一个总算子。

3.如权利要求1所述的BERT模型的优化方法，其特征在于，所述BERT模型包括多头自注意力机制层，所述优化方法还包括：在多头自注意力机制层中调用批量矩阵乘法，所述批量矩阵乘法用于对目标字向量、上下文向量和上下文值向量进行处理以获得所述多头自注意力机制层的输出结果。

4.如权利要求1-3中任一项所述的BERT模型的优化方法，其特征在于，所述优化方法还包括：将所述BERT模型的任一层的激活函数设置为高斯误差线性单元函数：

其中，x为使用所述激活函数的层的输入值，erf表示误差函数。

5.一种BERT模型的优化系统，其特征在于，所述优化系统包括：

层算子合并模块，用于将所述BERT模型的每个层包含的所有算子分别合并为一个对应的层算子，所述层算子的数量和所述BERT模型的层数相同；每个层算子分别用于所述BERT模型中对应层的运算。

6.如权利要求5所述的BERT模型的优化系统，其特征在于，所述优化系统还包括：

总算子合并模块，用于将所有的层算子合并为一个总算子。

7.如权利要求5所述的BERT模型的优化系统，其特征在于，所述BERT模型包括多头自注意力机制层，所述优化系统还包括：

输出计算模块，用于在多头自注意力机制层中调用批量矩阵乘法，所述批量矩阵乘法用于对目标字向量、上下文向量和上下文值向量进行处理以获得所述多头自注意力机制层的输出结果。

8.如权利要求5-7中任一项所述的BERT模型的优化系统，其特征在于，所述优化系统还包括：

激活函数设置模块，用于将所述BERT模型的任一层的激活函数设置为高斯误差线性单元函数：

其中，x为使用所述激活函数的层的输入值，erf表示误差函数。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的BERT模型的优化方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的BERT模型的优化方法的步骤。