[发明专利]新型多任务联合的语音识别训练架构和方法

权利要求书

1.一种新型多任务联合的语音识别训练架构，其特征在于：包括Seq2seq模型和联结时序分类模型，所述Seq2seq模型用于编码语音或频谱，提取高维特征，根据上下文向量、注意力向量以及输入标签来逐步解码，并输出发音单元；所述联结时序分类模型用于辅助训练所述Seq2seq模型的语音、发音对齐，按照权重计算损失值，根据所述Seq2seq模型的损失值得到总损失值，使用反向传播算法更新所述Seq2seq模型的参数。

2.根据权利要求1所述的新型多任务联合的语音识别训练架构，其特征在于：所述Seq2seq模型包括编码器、注意力模块、解码器，所述编码器用于编码语音或频谱，提取高维特征；所述注意力模块用于语音和发音的对齐，输出上下文向量、输入标签、历史状态至所述解码器；所述解码器用于解码和输出拼音序列，计算发音单元和输入标签的交叉熵损失值。

3.根据权利要求2所述的新型多任务联合的语音识别训练架构，其特征在于：所述联结时序分类模型包括卷积网络模块、循环网络模块、全连接层和损失值计算模块，所述卷积网络模块接收语音或频谱，所述编码器输出第一参数矩阵至所述全连接层，所述卷积网络模块和循环网络模块输出第二参数矩阵至所述全连接层；所述全连接层对上述第一参数矩阵和第二参数矩阵进行矩阵运算，得到拼音概率矩阵，并传输至所述损失值计算模块；所述损失值计算模块根据拼音概率矩阵计算损失值，再与交叉熵损失值按权重相加得到总损失值。

4.一种新型多任务联合的语音识别训练方法，其特征在于，具体包括以下步骤：

S1，关联Seq2seq模型和联结时序分类模型，将语音或频谱分别传输至所述Seq2seq模型和联结时序分类模型；

S2，所述Seq2seq模型编码语音或频谱，提取高维特征，根据上下文向量、注意力向量以及输入标签来逐步解码，并输出发音单元；

S3，计算发音单元与输入标签的交叉熵损失值；

S4，所述联结时序分类模型根据语音或频谱以及所述Seq2seq模型传递的参数计算损失值；

S5，将Seq2seq模型的交叉熵损失值和联结时序模型的损失值按权重相加，得到总损失值，使用反向传播算法更新所述Seq2seq模型的参数。

5.根据权利要求4所述的新型多任务联合的语音识别训练方法，其特征在于：步骤S5中，总损失值ζ_MTL的计算公式为：

ζ_MTL＝λζ_CTC+(1-λ)ζ_Attention

其中，λ为权重，取值范围为[0,1]，ζ_CTC为联结时序分类模型的损失值，ζ_Attention为Seq2seq模型的交叉熵损失值。

6.根据权利要求5所述的新型多任务联合的语音识别训练方法，其特征在于：联结时序分类模型的损失值，其计算公式为：

ζ_CTC＝-lnP(y^*|x)

其中，x表示输入频谱或语音数值矩阵，y*表示标签序列的概率矩阵，P(y*|x)表示通过计算输入频谱或语音数值矩阵得到y*的条件概率，再通过负对数似然函数计算出联结时序分类模型的损失值。

7.根据权利要求5所述的新型多任务联合的语音识别训练方法，其特征在于：Seq2seq模型的交叉熵损失值，其计算公式为：

x是输入参数矩阵，表示从第一个输出标签到第u-1个输出标签，是第u个输出标签，所以表示在x和的条件下，得到输出的概率，这里使用负对数似然函数计算某个输出标签的损失值，最后通过将u个输出标签的损失值相加得到Seq2seq模型的交叉熵损失值。

8.根据权利要求5-7任一项所述的新型多任务联合的语音识别训练方法，其特征在于：所述λ＝0.2。