[发明专利]一种基于自注意力机制的流式语音转写系统

权利要求书

1.一种基于自注意力机制的流式语音转写系统，其特征在于：包括特征前端处理模块，自注意力音频编码网络模块，自注意力预测网络模块，联合网络模块；

所述特征前端处理模块：用于接收输入声学特征，并转换为特定维度的声学特征向量；

所述自注意力音频编码网络模块：与特征前端处理模块相连，用于接收处理后的声学特征向量，得到编码后的声学状态向量S_t；

所述自注意力预测网络模块：所述自注意力预测网络模块为一个神经网络语言模型，用于根据输入的上一时刻预测标记，生成一个语言状态向量；

所述联合网络模块：与自注意力音频编码网络模块和自注意力预测网络模块相连，用来结合声学状态向量和语言状态向量，并计算新的预测标记的概率。

2.根据权利要求1所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述特征前端处理模块采用两个1维卷积结构对输入的声学特征进行处理。

3.根据权利要求1所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述声学状态向量S_t＝FFN(MultiHeadAttention(X，X，X))，MultiHeadAttention表示多头注意力机制，X为声学特征向量，FFN为前馈网络。

4.根据权利要求1或3所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述自注意力音频编码网络模块包括多头流式自注意力层和前馈网络层，

所述多头流式自注意力层分别与特征前端处理模块和前馈网络层相连接，所述多头流式自注意力层用于在固定的窗口内部计算自注意力信息以建模上下文信息；

所述前馈网络层与所述多头流式自注意力层相连接，所述前馈网络层用于对自注意力机制输出的信息进行非线性变换。

5.根据权利要求4所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述多头流式自注意力层的计算方式如下：

MultiHeadAttention(Q，K，V)＝Concat(head₁，...，head_h)W^O

其中MultiHeadAttention表示多头注意力机制，其将多个自注意力机制的输出向量head_i拼接到一起后经过线性层映射到一个固定维度；然后通过前馈网络FFN得到输出结果；公式中W^O都是权重矩阵，d_k是向量K的维度。

6.根据权利要求4所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述前馈网络层的计算方式如下：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中W₁和W₂都是权重矩阵，b₁和b₂是权重偏置向量。

7.根据权利要求1所述的一种基于自注意力机制的流式语音转写系统，其特征在于：所述自注意力预测网络模块包括文本编码模块、位置编码模块、多头自注意力层和前馈网络层，

文本编码模块用于接收上一时刻预测标记作为输入，通过词嵌入的方式编码为固定维度的向量；

所述位置编码模块根据特征矩阵的行列信息进行正弦余弦编码，以使得输入文本信息中具有位置信息；

所述多头自注意力层：与文本编码模块、位置编码模块和前馈网络层相连，通过建模先前预测的标记的信息，抽取对预测当前解码状态有关的信息；

所述前馈网络层用于对多头自注意力机制的输出进行非线性编码，抽取有用的高层表示。