[发明专利]文本处理方法、装置、电子设备及存储介质

权利要求书

1.一种文本处理方法，包括：

针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，包括：为各头设置统一的局部模式，并依次设置各头对应的全局模式，任意两个头对应的全局模式均不相同，且每两个相邻的头对应的全局模式之间的变化规律相同，所述注意力模式包括：局部模式和全局模式，所述局部模式为局部注意力，所述全局模式为全局注意力；

利用所述Transformer模型进行文本处理；

其中，所述依次设置各头对应的全局模式包括：针对第1个头，设置其对应的全局模式；针对第i个头，i的初始取值为2，执行以下第一处理：按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式；若确定i等于N，则结束处理，否则，令i=i+1，并针对第i个头，重复执行所述第一处理，N表示头数，为大于一的正整数。

2.一种文本处理装置，包括：设置模块以及处理模块；

所述设置模块，用于针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，包括：为各头设置统一的局部模式，并依次设置各头对应的全局模式，任意两个头对应的全局模式均不相同，且每两个相邻的头对应的全局模式之间的变化规律相同，所述注意力模式包括：局部模式和全局模式，所述局部模式为局部注意力，所述全局模式为全局注意力；

所述处理模块，用于利用所述Transformer模型进行文本处理；

其中，所述设置模块针对第1个头，设置其对应的全局模式，针对第i个头，i的初始取值为2，执行以下第一处理：按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式，若确定i等于N，则结束处理，否则，令i=i+1，并针对第i个头，重复执行所述第一处理，N表示头数，为大于一的正整数。

3.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1所述的方法。

4.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1所述的方法。