[发明专利]一种基于音素联想及深度学习的语义理解方法及装置

权利要求书

1.一种基于音素联想及深度学习的语义理解方法，其特征在于，包括：

通过ASR模型将获取的语音转化为文本；

对文本进行分词后依次输入至word2vec模型和bi－lstm模型，并输出文本的语素理解向量；

获取文本音素联想的特征三元组，包括：对分词后的单词音素进行识别和分离，并添加音素联想关键词，得到关键词音素特征；对文本进行句子音素的识别与分离得到原音素特征；及获取句子音素识别与分离后的正则音素特征；将关键词音素特征、原音素特征和正则音素特征进行组合；

将特征三元组输入至text－cnn卷积神经网络进行音素联想理解，并卷积提取局部组合特征，输出音素联想向量；

对语素理解向量和音素联想向量进行加权，并将加权后的结果与正则音素特征组合得到联合向量，将联合向量输入分类器进行语音的语义理解和分类。

2.根据权利要求1所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述对分词后的单词音素进行识别和分离，包括：

通过pinyin工具包将文本转化成拼音；

当所述拼音属于整音节时，设置声母为NA，韵母为整音节；

当所述拼音不属于整音节且以双声母开头开头时，设置声母为双声母，剩余音素为韵母；

当所述拼音不为整音节且不以双声母开头时，设置声母为单声母，剩余音素为韵母；

识别声母和韵母，用符号分隔所述声母和韵母，得到音素识别与分离结果。

3.根据权利要求2所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述对分词后的单词音素进行识别和分离后，还包括：

导入关键词库，将所述音素识别与分离结果与所述关键词逐字对比；

判断每个字是否有同声母或韵母，且同时具有多个结果；若是，在最贴近的结果对应的词组后面添加关键词联想标识；若否，对所述分离结果不作处理。

4.根据权利要求1所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述及获取句子音素识别与分离后的正则音素特征，包括：

获取句子音素识别与分离后的结果及原正则库，所述原正则库为系统默认的正则库；

将原正则库转化为音素部分匹配正则库，并对音素正则库中多条正则进行编号；

根据音素正则库对所述结果进行音素正则匹配，并根据命中的正则编号所对应的语义生成独热特征，以作为正则音素特征。

5.根据权利要求4所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述将原正则库转化为音素部分匹配正则库，包括：

判断原正则中每个字符的属性和结构，并对应进行音素正则处理，并将处理结果整合后得到音素正则库，所述正则处理包括：

当字符为词组中文字符时，将词组中符合声母或韵母部分匹配的正则添加到音素正则新字符串中；当字符为单个中文字符时，将字符的音素分离结果添加到音素正则新字符串中；当字符不是中文时，将字符直接添加到音素正则新字符串中。

6.根据权利要求1所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述对文本进行分词后依次输入至word2vec模型和bi－lstm模型，并输出文本的语素理解向量，包括：

将文本输入至word2vec模型得到文本对应的字向量，并进行字向量embedding；

将所述embedding后的字向量输入至bi－lstm模型进行语义理解；将理解后的结果输入至自注意力模型，得到文本的句向量，以作为文本的语素理解向量。

7.根据权利要求1所述的基于音素联想及深度学习的语义理解方法，其特征在于，所述将获取的语音转化为文本，还包括采用神经网络算法和CTC算法进行语音转换；所述对文本进行分词包括通过python中jieba分词模块进行文本分词；所述对语素理解向量和音素联想向量进行加权采用attention技术。