[发明专利]CTC模型的训练方法和数据处理方法、装置及存储介质

权利要求书

1.一种联结主义时间分类CTC模型的训练方法，包括：

获取特征序列以及与所述特征序列对应的标签序列的嵌入表示向量，其中，所述特征序列包括至少一个特征向量，所述至少一个特征向量包括：图片格式的文字或者语音信号经过特征提取网络处理后得到的对应各个时刻的特征向量；

将所述至少一个特征向量依次输入第一全连接层，并将所述第一全连接层的输出归一化后，得到空白字符对应各个时刻的先验分布；

将所述至少一个特征向量依次输入第二全连接层，并将所述第二全连接层的输出归一化后，得到所述文字或所述语音信号对应的字典集中各个元素对应各个时刻的概率；

确定所述至少一个特征向量与所述标签序列的联合表示向量，将所述联合表示向量输入第三全连接层，并将所述第三全连接层的输出归一化后，得到空白字符对应各个时刻的后验逼近概率；

根据所述空白字符对应各个时刻的后验逼近概率以及所述字典集中各个元素对应各个时刻的概率确定所述标签序列的似然分布；以及

根据所述标签序列的似然分布和所述空白字符先验分布确定本次训练的梯度值，并根据所述梯度值调整所述第一全连接层、第二全连接层和第三全连接层的权值。

2.根据权利要求1所述的方法，其中，确定所述标签序列的似然分布包括：

确定所述字典集中各个元素以及空白字符对应各个时刻的似然概率；其中，所述空白字符对应各个时刻的似然概率为空白字符对应各个时刻的后验逼近概率；所述字典集中各个元素对应各个时刻的似然概率为非空白字符对应各个时刻的后验逼近概率与所述元素在对应时刻概率的乘积；

根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率确定所述标签序列的似然分布。

3.根据权利要求2所述的方法，其中，根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率确定所述标签序列的似然分布包括：

根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率分别确定所述CTC模型多条输出路径的似然概率；

将对应同一输出序列的多条输出路径的似然概率求和，得到所述输出序列的似然概率；以及

将所述CTC模型多个输出序列的似然概率的分布作为所述标签序列的似然分布。

4.根据权利要求1所述的方法，其中，根据所述标签序列的似然分布和所述空白字符先验分布确定本次训练的梯度值包括：

以如下表达式作为CTC模型训练的损失函数：

其中，p(O^b|X)为所述空白字符先验分布；p(Y|O^b,X)为所述标签序列的似然分布；O^b代表空白字符输出序列；以及

根据所述损失函数确定本次训练的梯度值。

5.根据权利要求1所述的方法，其中，根据所述标签序列的似然分布和所述空白字符先验分布确定本次训练的梯度值包括：

以如下表达式作为CTC模型训练的损失函数：

其中，p(Y|O^b,X)为所述标签序列的似然分布；q_ψ(O^b|X,Y)为所述空白字符的后验逼近分布；p(O^b|X)为所述空白字符先验分布；KL()为求散度运算；E()为求期望运算；以及

根据所述损失函数确定本次训练的梯度值。

6.根据权利要求1所述的方法，其中，所述标签序列的嵌入表示向量通过如下方式确定：将所述字典集中的各个元素分别映射至一个初始向量；对所述标签序列所包含的元素对应的初始向量求平均，得到所述标签序列的嵌入表示向量；

所述确定所述至少一个特征向量与所述标签序列的联合表示向量包括：分别求所述至少一个特征向量与所述标签序列的嵌入表示向量的哈达玛积。