[发明专利]一种语音识别文本的处理方法、装置、设备及存储介质

权利要求书

1.一种语音识别文本的处理方法，其特征在于，包括：

获取与原始语音相对应的语音识别文本；

对所述原始语音进行向量转换，得到音频编码向量；

对所述语音识别文本中的每个文本单元进行向量转换，得到所述每个文本单元对应的文本编码向量；

对所述音频编码向量以及第i个所述文本编码向量采用注意力机制，得到交互后的第i个所述文本单元的融合向量，其中，所述i为大于或等于1的整数；

将第i个所述文本单元的融合向量与第i-1个目标文本单元对应的文本向量输入至文本纠错网络，通过所述文本纠错网络输出第i个所述文本单元的融合向量对应的文本概率分布；

基于第i个所述文本单元的融合向量对应的文本概率分布，确定第i个目标文本单元。

2.根据权利要求1所述的方法，其特征在于，所述对所述音频编码向量分别与第i个所述文本编码向量采用注意力机制，得到交互后的第i个所述文本单元的融合向量之后，方法还包括：

将第i个所述文本单元的融合向量输入至文本识别网络，通过所述文本识别网络输出第i个所述文本单元的融合向量对应的错误概率值；

当第i个所述文本单元的融合向量对应的错误概率值为0时，确定第i个错误文本单元；

当第i个所述文本单元的融合向量对应的错误概率值为1时，确定第i个正确文本单元。

3.根据权利要求1所述的方法，其特征在于，所述对所述音频编码向量分别与第i个所述文本编码向量采用注意力机制，得到交互后的第i个所述文本单元的融合向量，包括：

将所述每个文本单元对应的文本编码向量与所述音频编码向量的采用注意力机制，得到所述每个文本编码向量对应的音频向量；

对第i个所述文本编码向量对应的音频向量与第i个所述文本单元对应的文本编码向量进行求和，得到第i个所述文本单元的融合向量。

4.根据权利要求1所述的方法，其特征在于，所述对所述原始语音进行向量转换，得到音频编码向量，包括：

将所述原始语音转换为单帧语音信号；

将每个所述单帧语音信号进行向量转换，得到每个所述单帧语音信号对应所述音频编码向量。

5.根据权利要求1所述的方法，其特征在于，所述文本纠错网络的训练包括以下步骤：

获取与样本语音相对应的样本语音识别文本，以及所述样本语音识别文本对应的文本单元标签；

对所述样本语音进行向量转换，得到样本语音编码向量；

对所述样本语音识别文本中的每个文本单元进行向量转换，得到所述每个文本单元对应的样本编码向量；

对所述样本语音编码向量以及第i个所述样本编码向量采用注意力机制，得到交互后的第i个所述文本单元的样本融合向量；

将第i个所述文本单元的样本融合向量与第i-1个预测文本单元对应的文本向量输入至基础文本纠错网络，通过所述基础文本纠错网络输出第i个所述文本单元的样本融合向量对应的文本概率分布；

基于所述文本单元标签以及第i个所述文本单元的样本融合向量对应的文本概率分布，计算纠错损失值；

基于所述纠错损失值对所述基础文本纠错网络进行参数调整，得到所述文本纠错网络。

6.根据权利要求5所述的方法，其特征在于，所述对所述样本语音编码向量以及第i个所述样本编码向量采用注意力机制，得到交互后的第i个所述文本单元的样本融合向量之后，所述方法还包括：

获取所述样本语音识别文本对应的错误检测标签；

将每个所述文本单元的样本融合向量输入至基础文本识别网络，通过所述基础文本识别网络输出每个所述文本单元的样本融合向量对应的错误概率值；

基于所述错误检测标签以及每个所述文本单元的样本融合向量对应的错误概率值，计算错误检测损失值；

所述基于所述纠错损失值对所述基础文本纠错网络进行参数调整，得到所述文本纠错网络，包括：

基于所述错误检测损失值以及所述纠错损失值，对所述基础文本识别网络以及所述基础文本纠错网络进行参数调整，得到所述文本纠错网络以及文本识别网络。