[发明专利]语音识别方法及装置、电子设备、存储介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

对待识别的语音数据进行识别，得到第一文本数据；所述第一文本数据包括至少两种语言且包括语义理解失败的文本段，所述语义理解失败的文本段是由语音识别模型中NLP的词库未包括其他语言相应词语引起的；

将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段，并将所述初始文本段作为所述语义理解失败的文本段；

基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值；

基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，包括：

将所述初始文本段转换成音标数据，并基于所述音标数据获得目标候选文本段；所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；

根据所述目标候选文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据；

将所述初始文本段转换成音标数据，包括：

获取预设的汉语拼音与国际音标映射表；所述预设的汉语拼音与国际音标映射表包含不同方言对应的汉语拼音与国际音标的映射关系，并且所述预设的汉语拼音与国际音标映射表没有国际音标中的长音符号和重音；

基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。

2.根据权利要求1所述的语音识别方法，其特征在于，基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，包括：

将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；

基于所述音标数据查询预设的词库，得到初始音频数据对应的至少一个目标候选文本段；

依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；

依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。

3.根据权利要求2所述的语音识别方法，其特征在于，基于所述音标数据查询预设的词库，得到初始音频数据对应的至少一个目标候选文本段，包括：

基于所述音标数据查询预设的词库，得到多个初始候选文本段；

获取各初始候选文本段与所述初始文本段的相似度；

获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。

4.根据权利要求3所述的语音识别方法，其特征在于，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。

5.一种语音识别装置，其特征在于，所述装置包括：

第一文本获取模块，用于对待识别的语音数据进行识别，得到第一文本数据；所述第一文本数据包括至少两种语言且包括语义理解失败的文本段，所述语义理解失败的文本段是由语音识别模型中NLP的词库未包括其他语言相应词语引起的；

置信度获取模块，用于将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段，并将所述初始文本段作为所述语义理解失败的文本段；

目标文本获取模块，用于基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值；

所述目标文本获取模块基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，包括：获取预设的汉语拼音与国际音标映射表；所述预设的汉语拼音与国际音标映射表包含不同方言对应的汉语拼音与国际音标的映射关系，并且所述预设的汉语拼音与国际音标映射表没有国际音标中的长音符号和重音；基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据，并基于所述音标数据获得目标候选文本段；所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；根据所述目标候选文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据。