[发明专利]文本语言识别方法、装置、设备及介质

说明书

本发明公开了一种文本语言识别方法、装置、设备及介质。该方法通过确定待识别文本中的各个待识别词汇，针对当前待识别词汇，确定与其相对的至少一个包括当前待识别词汇以及相邻词汇的待识别二元组，以确定包含词汇上下文的二元组，进而针对每一个待识别二元组，根据各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率，并根据各个二元概率确定当前待识别词汇对应的目标语言，以通过预先构建的词典确定二元组在各语言下的概率，实现了基于词汇上下文的语言识别，提高了语言识别的准确性，该方法直接根据各语言下的词典即可识别，无需人工标注样本，解决了现有技术成本高以及识别准确率低的技术问题。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本语言识别方法、装置、设备及介质。

背景技术

语码转换(Code-Switching)是一个常见的语言现象，指一个人在一句话中交替使用多于一种语言或其变体，常出现于多语者的日常语言。除了日常语言的对话，语码转换也出现于文字书写中。语码转换识别在语音模型及自然语言处理任务中具有重要的意义，随着语码转换这一现象越来越普遍，语码转换识别的相关研究也越来越受到重视。

语码转换按照语言文字的组合，可以分为两种情况：一种是不同类型文字之间组成的语码转换文本，如，由汉字组成的中文和由英文拉丁字母组成的英文属于不同类型文字；另一种是相同类型文字之间组成的语码转换文本，如由拉丁字母组成的葡萄牙语和英语属于相同类型文字，而且，同样的单词(如“no”)既可以出现在葡萄牙语中又可以出现在英语中，这对识别一个句子是否是语码转换句子以及句子中每个单词的语言属性带来了很大的难度。

目前，针对相同类型文字之间组成的语码转换文本的识别，主要采用人工收集样本以及标注样本的方法，即包括人工标记文本是否为语码转换文本及每个单词的语言属性，再使用样本对模型进行训练，以通过训练后的模型对文本进行识别。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：人工收集样本和标注样本的方法需要消耗大量人力，成本高，并且，人工标注时可能存在标注错误的情形，进而影响识别准确性，造成识别准确率低。

发明内容

本发明提供了一种文本语言识别方法、装置、设备及介质，以解决现有技术成本高以及识别准确率低的技术问题。

根据本发明的一方面，提供了一种文本语言识别方法，包括：

获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

根据本发明的另一方面，提供了一种文本语言识别装置，包括：

二元组确定模块，用于获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

二元概率确定模块，用于针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

语言识别模块，用于基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及