[发明专利]一种针对低资源土家语的跨语言端到端语音识别方法

摘要

本发明公开了一种针对低资源土家语的跨语言端到端语音识别方法，包括：土家语语料预处理；构建跨语言的土家语语料库；建立中文国际音标和民族国际音标的统一编码字典；建立跨语言的端到端土家语语音识别模型；利用连接时序分类模型并在编码字典的作用下解码得到识别结果。本发明借助大语种语料充足的优势，结合迁移学习的思想，构造泛化性更强的识别模型，能够提高土家语语音识别的准确率。

主权项

1.一种针对低资源土家语的跨语言端到端语音识别方法，其特征在于，包括以下步骤：1)对土家语语料进行预处理：对土家语长篇原始语料的句子进行切分，得到每个句子的声音与其对应的国际音标文本，完成句子的声音与文本的校对，使得句子的声音与文本一一对应，由此得到预处理后的土家语数据；2)构建跨语言的土家语语料库：以汉语语音数据集作为土家语的扩展数据，将汉语拼音转换成国际音标，使其与步骤1)中的土家语数据格式一致；建立汉语和土家语的跨语言语料库；汉语和土家语的跨语言语料库包括步骤1)预处理后的土家语数据和将汉语语音数据集中的汉语拼音转换成国际音标后得到的汉语数据；3)建立中文国际音标和民族国际音标的统一编码字典：分别建立土家语和汉语的国际音标字典；并将汉语的国际音标转为民族国际音标；统一编码字典包括土家语的国际音标和汉语的国际音标；4)建立跨语言的端到端土家语语音识别模型：首先使用多语言语音识别方法，由步骤2)构建的土家语语料库中的语音得到语谱图；将其输入到卷积神经网络完成特征提取；接着采用双向长短时记忆网络对长序列进行建模，完成共享声学特征提取；最后利用连接时序分类模型并在统一编码字典的作用下进行解码得到识别结果，输出土家语的国际音标；5)采用跨语言和迁移学习的方法，使用土家语和汉语的跨语言语料库作为训练数据，对步骤4)建立的跨语言的端到端土家语语音识别模型进行训练，得到初始模型；继续使用土家语语料库作为训练数据进行训练，得到训练好的跨语言的端到端土家语语音识别模型；利用训练好的跨语言的端到端土家语语音识别模型，即可实现对待识别的土家语进行跨语言端到端的语音识别。