[发明专利]一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法

权利要求书

1.一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法，其特征在于包括如下步骤：

1)针对于一组基于地点的语音和相关联的字符串数据集，使用编码器获得语音中每个帧对应于词汇集的概率分布向量的序列编码；构建基于字符的语言模型LM₁，采用LM₁和前缀集束搜索算法得到序列编码的备选字符串集a和各个备选字符串对应的反映字符相关性的评价分数；

2)构建基于词语的语言模型LM₂；利用语言模型LM₂得到各个备选字符串基于词语的评价分数；根据步骤1)得到的备选字符串集a、各个备选字符串对应的反映字符相关性的评价分数、以及利用语言模型LM₂得到的各个备选字符串基于词语的评价分数，得到各个备选字符串的反映上下文关系的评价分数；

3)将步骤1)得到的备选字符串集a映射到词语的所属类型的集合a'，构建基于类型的语言模型LM₃，根据a'和LM₃得到各个备选字符串的反映语法关系的评价分数；

4)将步骤2)获得的反映上下文关系的评价分数与步骤3)获得的反映语法关系的评价分数相加，得到各个备选字符串的最终评价分数，选择最终评价分数最高的备选字符串作为语音的识别结果。

2.根据权利要求1所述利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法，其特征在于所述的步骤1)具体为：

1.1)对于含有t个帧的一段语音，使用编码器将语音中的第i个帧映射成对应于词汇集的概率分布向量p_i，获得整段语音中每个帧对应于词汇集的概率分布向量的序列编码{p₁,p₂,p₃,…,p_t}，记为P；

1.2)根据维基百科、百度和专有名词的语料库建立基于字符的N-gram统计模型作为语言模型LM₁；对于步骤1.1)得到的序列编码P，使用集束大小为m的前缀集束搜索算法获得序列编码的对应备选字符串集a＝{a₁,a₂,a₃...,a_m}，其中a_i表示备选字符串集中的第i个字符串，m为前缀集束搜索的集束大小；

将备选字符串a_i输入到基于字符的语言模型LM₁中，得到对于备选字符串a_i的评价分数LM₁(a_i)，计算公式如下：

其中，c_i,j代表备选字符串a_i中的第j个字符，Nc_i代表备选字符串a_i中的字符个数，N为语言模型LM₁的N-gram模型中N的大小；

1.3)计算每一个备选字符串a_i对应的反映字符相关性的评价分数s_1,i：

s_1,i＝log(p(a_i|x))+α×LM₁(a_i)+β×Nc_i

其中,x代表一段基于地点的语音，α和β代表用来组合不同语言模型所用的超参数。