[发明专利]一种基于音素联想及深度学习的语义理解方法及装置

说明书

本发明公开了一种基于音素联想及深度学习的语义理解方法，包括，通过ASR模型将获取的语音转化为文本；对文本进行分词后依次输入至word2vec模型和bi－lstm模型，并输出文本的语素理解向量；将获取的关键词音素特征、原音素特征和正则音素特征进行组合，得到文本音素联想的特征三元组，将特征三元组输入至text－cnn卷积神经网络进行音素联想理解，并卷积提取局部组合特征，输出音素联想向量；对语素理解向量和音素联想向量进行加权，并将加权后的结果与正则音素特征组合得到联合向量，将联合向量输入分类器进行语音的语义理解和分类。本发明提供的基于音素联想及深度学习的语义理解方法，提升了文本自然语言理解结果的准确率，降低了语义理解模型的开发成本。

技术领域

本发明涉及计算机自然语言处理技术领域，尤其涉及一种基于音素联想及深度学习的语义理解方法、装置、终端设备及计算机可读存储介质。

背景技术

随着ASR(Automatic Speech Recognition，即自动语音识别技术)的快速发展，基于ASR的语音转文本的语义理解技术的应用越来越广阔。虽然ASR发展成熟，但是在具体的领域和地域，语音具有明显的领域特征(医学、生物、化学等)和地域特征(方言、口音、口语等)。对于多样化的语音输入，一方面可能致使ASR识别的文本质量差、准确率低，使得文本从字面上已经失去了原来的自然语言含义和句法结构特征，计算机无法给出准确的语义理解；另一方面，虽然输入的语音质量本身没有单温，但是ASR转换后的文本却出现较大的差异，因此只能依靠人类的自然语言的理解能力，结合发音特征、情景、语境、甚至想象力等，才能正确理解其语义。

目前，可通过单方面提高ASR的识别能力，来间接提高计算机对自然语言的语义理解的准确性。为此，可通过针对每个领域、每个地域的不同语音，使用不同需求不同标准进行开发、训练，使得ASR适用于各个领域各个地域，但开发成本极高，且对于存在偏差的文本，计算机的语义理解效果依旧不理想。

发明内容

本发明的目的在于提供一种基于音素联想及深度学习的语义理解方法、装置、终端设备及计算机可读存储介质，该方法通过对转换文本进行关键词联想、句子音素级匹配和语素音素联合建模，提升了文本自然语言理解结果的准确率，同时降低了人工成本。

为了克服上述现有技术中的缺陷，本发明实施例提供了一种基于音素联想及深度学习的语义理解方法，包括：

通过ASR模型将获取的语音转化为文本；

对文本进行分词后依次输入至word2vec模型和bi－lstm模型，并输出文本的语素理解向量；

获取文本音素联想的特征三元组，包括：对分词后的单词音素进行识别和分离，并添加音素联想关键词，得到关键词音素特征；对文本进行句子音素的识别与分离得到原音素特征；及获取句子音素识别与分离后的正则音素特征；将关键词音素特征、原音素特征和正则音素特征进行组合；

将特征三元组输入至text－cnn卷积神经网络进行音素联想理解，并卷积提取局部组合特征，输出音素联想向量；

对语素理解向量和音素联想向量进行加权，并将加权后的结果与正则音素特征组合得到联合向量，将联合向量输入分类器进行语音的语义理解和分类。

进一步地，所述对分词后的单词音素进行识别和分离，包括：

通过pinyin工具包将文本转化成拼音；

当所述拼音属于整音节时，设置声母为NA，韵母为整音节；

当所述拼音不属于整音节且以双声母开头开头时，设置声母为双声母，剩余音素为韵母；

当所述拼音不为整音节且不以双声母开头时，设置声母为单声母，剩余音素为韵母；

识别声母和韵母，用符号分隔所述声母和韵母，得到音素识别与分离结果。