[发明专利]BERT模型的优化方法及系统、电子设备及存储介质

说明书

本发明公开了一种BERT模型的优化方法及系统、电子设备及存储介质，提供了一种BERT模型的优化方法，所述优化方法包括：将所述BERT模型每个层包含的所有算子分别合并为一个对应的层算子，所述层算子的数量和所述BERT模型的层数相同；每个层算子分别用于所述BERT模型中对应层的运算。本发明通过对BERT模型的各个层进行算子融合处理优化了模型处理处理过程，在不改变模型结构和模型精度的前提下加快了模型的推理速度，提高了BERT模型的处理效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种BERT模型的优化方法及系统、电子设备及存储介质。

背景技术

BERT(BidirectionalEncoder Representations from Transformer，来自变换器的双向编码器表征量)语言模型是谷歌公司于2018年末发布的一种新型语言模型，其开发目标是利用大规模无标注语料训练获得目标文本的语义表示，然后将文本的语义表示在特定NLP(Nature Language Procession，自然语言处理)任务中作微调后最终应用于该NLP任务。BERT基于多层编码器实现，摈弃传统的循环神经网络和卷积神经网络结构，在机器翻译和自然语言处理领域效果非常好。标准的BERT模型由多层编码转换器构成，其中包括多头注意力机制层(Multi-head Self-Attention)、归一化层(Layer Normalization)以及前向反馈层(Feed Forward)等主要模块。

由于BERT模型的计算量和计算复杂度较高，实践中需要根据部署和应用的具体环境和要求优化模型的推理速度。和其他深度学习模型一样，BERT模型的常用推理优化方法是对其进行模型压缩，即模型量化、模型剪枝和模型蒸馏等，但是模型压缩优化很可能影响模型的精度，需要重新训练而造成较大的资源付出。

发明内容

本发明要解决的技术问题是为了克服现有技术中对BERT模型优化程度不足导致推理速度不够，或者是模型压缩优化导致影响模型精度的缺陷，提供一种基于系统层级的BERT模型的优化方法。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供了一种BERT模型的优化方法，所述优化方法包括：

将所述BERT模型每个层包含的所有算子分别合并为一个对应的层算子，所述层算子的数量和所述BERT模型的层数相同；每个层算子分别用于所述BERT模型中对应层的运算。

较佳地，所述优化方法还包括：将所有的层算子合并为一个总算子。

较佳地，所述BERT模型包括多头自注意力机制层，所述优化方法还包括：在多头自注意力机制层中调用批量矩阵乘法，所述批量矩阵乘法用于对目标字向量、上下文向量和上下文值向量进行处理以获得所述多头自注意力机制层的输出结果。

较佳地，所述优化方法还包括：将所述BERT模型的任一层的激活函数设置为高斯误差线性单元函数：

其中，x为使用所述激活函数的层的输入值，erf表示误差函数。

本发明还提供了一种BERT模型的优化系统，所述优化系统包括：

层算子合并模块，用于将所述BERT模型的每个层包含的所有算子分别合并为一个对应的层算子，所述层算子的数量和所述BERT模型的层数相同；每个层算子分别用于所述BERT模型中对应层的运算。

较佳地，所述优化系统还包括：

总算子合并模块，用于将所有的层算子合并为一个总算子。

较佳地，所述BERT模型包括多头自注意力机制层，所述优化系统还包括：