[发明专利]序列处理的方法与装置

说明书

本申请提供一种序列处理的方法与装置。涉及人工智能领域，具体涉及序列数据处理领域。该方法包括：接收输入序列；对输入序列中的第一元素，使用M个窗口内包含的元素进行自注意力计算，获得第一元素的表示，每个窗口内包含输入序列中的一个元素或连续的多个元素，且不同窗口之间至少间隔一个元素，M个窗口中至少一个窗口内不包含第一元素，M为大于或等于1的整数；基于第一元素的表示，获得输入序列对应的输出序列。对于序列中元素，通过使用一个或多个窗口内的元素而非序列中所有元素进行自注意力计算，可以减小自注意力的计算量；其中至少一个窗口可以跳过第一元素，且该窗口的位置不固定，可以减小对自注意力的依赖范围的限制。

技术领域

本申请涉及人工智能领域，具体涉及一种序列处理的方法与装置。

背景技术

语音处理和自然语言处理(natural language processing，NLP)的很多问题，都可以看成序列处理问题。序列由若干存在先后顺序的元素组成。例如，语音数据可以表示成采样点为元素的序列。又例如，文本数据可以表示成以词为元素的序列。序列中的某个元素，其代表的意义往往与序列中其他元素存在关系。如何建模序列中元素之间的关系，是序列处理问题的关键。当前，建模序列中元素之间的关系的方法有循环神经网络(recurrentneural network，RNN)、卷积神经网络(convolutional neural networks，CNN)与自注意力(self-attention)。其中，自注意力是一种通过建立序列中某个元素与序列中其它元素的关系来得到这个元素的表示的方法。

传统的自注意力的方法是，针对一个元素，建立这个元素与序列中所有元素的关系，这导致自注意力的计算量很大。为了减小自注意力的计算量，当前技术提出的解决方案为，针对一个元素，固定使用该元素附近的几个元素进行自注意力计算，但是，该方案会产生自注意力的依赖范围受到限制的问题。

如何平衡自注意力的计算量与依赖范围，是需要解决的问题。

发明内容

本申请提供一种序列处理的方法与装置，可以较好地平衡自注意力的计算量与依赖范围。

第一方面，提供了一种序列处理的方法，所述方法包括：接收输入序列，所述输入序列包括多个具有先后顺序的元素；对所述输入序列中的第一元素，使用M个窗口内包含的元素进行自注意力计算，获得所述第一元素的表示，其中，所述M个窗口中每个窗口内包含所述输入序列中的一个元素或连续的多个元素，且不同窗口之间至少间隔一个元素，所述M个窗口中至少一个窗口内不包含所述第一元素，M为大于或等于1的整数；基于所述第一元素的表示，获得所述输入序列对应的输出序列。

M等于1时，表示，可以使用一个窗口(记为第一窗口)内的元素对第一元素进行自注意力计算，第一窗口包含所述输入序列中除所述第一元素之外的一个元素或多个连续的元素，换句话说，第一窗口跳过第一元素，包含输入序列中其他的一个元素或多个连续的元素。可选地，第一窗口内也不包括第一元素的相邻元素。

第一窗口的位置是可以灵活配置的，而不是固定的。只要跳过第一元素(或者，还有其相邻元素)，第一窗口可以位于输入序列上的任何位置。

第一窗口的大小，即第一窗口内包含的元素的数量也是可以配置的，不是固定的。

在本申请中，对于序列中的第一元素，可以使用第一窗口内的元素而非序列中的所有元素进行自注意力计算，这可以减小自注意力的计算量。

现有技术在获取序列中某个元素的表示时，固定选取该元素附近的几个元素进行自注意力计算，这导致自注意力的依赖范围受到限制。在本申请中，基于第一窗口内的元素对序列中的第一元素进行自注意力计算，因为该第一窗口可以跳过第一元素及其相邻元素，且该第一窗口的位置可以不固定，因此，相对于现有技术可以减小对自注意力的依赖范围的限制。

因此，本申请实施例可以较好地平衡自注意力的计算量与依赖范围。