[发明专利]序列处理的方法与装置

权利要求书

1.一种序列处理的方法，其特征在于，所述方法应用于语音处理领域，所述方法包括：

接收输入序列，所述输入序列包括多个具有先后顺序的元素，所述输入序列为语音序列，所述元素为语音采样点；

对所述输入序列中的第一元素，使用M个窗口内包含的元素进行自注意力计算，获得所述第一元素的表示，其中，所述M个窗口中每个窗口内包含所述输入序列中的一个元素或连续的多个元素，且不同窗口之间至少间隔一个元素，所述M个窗口中至少一个窗口内不包含所述第一元素，M为大于或等于1的整数；

基于所述第一元素的表示，获得所述输入序列对应的输出序列，所述输出序列用于确定语音识别结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一元素在所述输入序列中的位置，确定所述M个窗口，所述M个窗口中包括第一窗口，所述第一窗口包含所述输入序列中与所述第一元素的依赖长度大于或等于a，且小于b的元素，其中，a为大于1的整数，b为大于a的整数，所述依赖长度表示所述第一元素与所述M个窗口内的元素之间的距离。

3.根据权利要求2所述的方法，其特征在于，所述方法应用于多个自注意力层，所述输入序列是当前自注意力层的前一级自注意力层输出的序列；

其中，b与a的取值被设置为，使得所述当前自注意力层对所述第一元素的自注意力计算与所述前一级自注意力层对所述第一元素的自注意力计算没有重复计算。

4.根据权利要求3所述的方法，其特征在于，所述前一级自注意力层基于第五窗口内包含的元素对所述第一元素进行自注意力计算，所述第五窗口包含所述序列中与所述第一元素的依赖长度大于或等于a1，且小于b1的元素，b1为正整数，a1为小于b1的非负整数；

其中，a的取值大于b1的取值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述M大于1，且M的取值是预设的。

6.根据权利要求5所述的方法，其特征在于，所述M个窗口中包括：

第二窗口，所述第二窗口包含所述输入序列中位于所述第一元素前面的元素；和/或

第三窗口，所述第三窗口包含所述输入序列中位于所述第一元素后面的的元素。

7.根据权利要求5或6所述的方法，其特征在于，所述M个窗口中包括第四窗口，所述第四窗口包含所述第一元素及其相邻元素。

8.一种序列处理的装置，其特征在于，所述装置应用于语音处理领域，所述装置包括：

接收单元，用于接收输入序列，所述输入序列包括多个具有先后顺序的元素，所述输入序列为语音序列，所述元素为语音采样点；

处理单元，用于对所述输入序列中的第一元素，使用M个窗口内包含的元素进行自注意力计算，获得所述第一元素的表示，其中，所述M个窗口中每个窗口内包含所述输入序列中的一个元素或连续的多个元素，且不同窗口之间至少间隔一个元素，所述M个窗口中至少一个窗口内不包含所述第一元素，M为大于或等于1的整数；

输出单元，用于基于所述第一元素的表示，获得所述输入序列对应的输出序列，所述输出序列用于确定语音识别结果。

9.根据权利要求8所述的装置，其特征在于，所述处理单元还用于，根据所述第一元素在所述输入序列中的位置，确定所述M个窗口，所述M个窗口中包括第一窗口，所述第一窗口包含所述输入序列中与所述第一元素的依赖长度大于或等于a，且小于b的元素，其中，a为大于1的整数，b为大于a的整数，所述依赖长度表示所述第一元素与所述M个窗口内的元素之间的距离。

10.根据权利要求9所述的装置，其特征在于，所述装置应用于多个自注意力层，所述输入序列是当前自注意力层的前一级自注意力层输出的序列；

其中，b与a的取值被设置为，使得所述当前自注意力层对所述第一元素的自注意力计算与所述前一级自注意力层对所述第一元素的自注意力计算没有重复计算。