[发明专利]基于Transformer网络的文本处理方法及系统

说明书

本申请涉及自然语言处理技术领域，提供一种基于Transformer网络的文本处理方法及系统，在当前次编码计算后，更新一个数据批内每条输入文本的已编码次数，并分别判断每条输入文本是否可以提前退出，以及，分别判断每条输入文本的已编码次数是否达到预设的最大计算层数，如果存在输入文本可以提前退出或已编码次数达到预设的最大计算层数，则用待处理文本更新对应的输入文本，对数据批内的各输入条文本进行下一次编码计算，其中，每次编码计算均采用相同参数的编码器。基于编码器参数的复用，以及对输入文本的循环填充，使得GPU上模型同时处理的文本数量恒定在数据批大小，有效兼容提前退出机制和数据批大小大于1。

技术领域

本申请涉及自然语言处理技术领域，具体涉及一种基于Transformer网络的文本处理方法及系统。

背景技术

自然语言处理(NLP，Natural Language Processing)是人类语言、计算机科学和人工智能的子领域，旨在让机器理解、分析及利用自然语言，其下游任务包括情绪分析和文本分类等。随着深度神经网络的快速发展，尤其是基于Transformer架构的NLP预训练模型的大量涌现，自然语言理解各项任务的精度得到显著的提高。然而，由于预训练模型巨大的计算量，高延迟问题成为巨大的挑战。

如图1所示，在数据批大小为1的情况1中和数据批大小为N的情况3中，预训练模型例如BERT这样的大模型，首先通过词嵌入层将输入文本转化为张量，随后通过多个编码器(编码器0至编码器d-1)对张量编码，提取高维特征，最终通过分类层将张量转化为分类的结果。在上述过程中，由于编码器的计算量较大，从文本输入到结果输出的延迟较高。

针对延迟较高的问题，现有技术提供一种基于提前退出机制的解决方法，具体地，如数据批大小为1的情况2中，在每一个编码器后加入退出层，用于判断当前输入是否能够在这一层提前退出，如果退出层判断当前层可以提前退出，则直接在这一层输出分类结果，完成这条文本的计算过程，不必再送入后面的编码器进行计算；如果退出层判断当前层不能提前退出，则继续送入下一个编码器计算，直至退出层判断可以退出或完成所有编码器的计算。通过引入提前退出机制，针对不同输入的文本有效实现动态的退出过程，有效减少编码器的计算次数，也可以有效降低模型的延迟。

然而，上述基于提前退出机制的解决方法，虽然在Trasnformer架构上有着明显的加速效果，但在数据批大小大于1的情况下很难在GPU上应用。如图3所示，在数据批大小为N的情况4中，对于一个批内的多条文本，退出的位置不同，模型的整体延迟取决于这个批中最后一条退出的文本，造成了所谓的短板效应。此时，GPU的利用率在一个批内逐渐降低，与没有使用提前退出方法的情况3相比，GPU利用率不高，加速效果也不明显，提前退出机制的解决方法和GPU上数据批大小大于1的情况兼容性差，计算效率低。

发明内容

本申请提供一种基于Transformer网络的文本处理方法及系统，以解决现有技术中基于提前退出机制的解决方法局限在数据批大小为1的情况下的问题。

本申请第一方面提供一种基于Transformer网络的文本处理方法，包括：

当前次编码计算后，更新一个数据批内每条输入文本的已编码次数；

分别判断每条输入文本是否可以提前退出，以及，分别判断每条输入文本的已编码次数是否达到预设的最大计算层数；

如果存在输入文本可以提前退出或已编码次数达到预设的最大计算层数，则用待处理文本更新对应的输入文本；

对数据批内的各输入条文本进行下一次编码计算，其中，每次编码计算均采用相同参数的编码器。

在一种实现方式中，还包括：

重复编码计算、判断每条输入文本是否可以提前退出或每条输入文本的已编码次数是否达到预设的最大计算层数，以及用待处理文本更新对应的输入文本，直至所有待处理文本均已得到处理。