[发明专利]文本语言识别方法、装置、设备及介质

权利要求书

1.一种文本语言识别方法，其特征在于，包括：

获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

针对每一个所述待识别二元组，基于各预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述待识别二元组在各所述预设语言下的二元概率，确定所述当前待识别词汇对应的目标语言，包括：

针对每一个所述预设语言，将各所述待识别二元组在所述预设语言下的二元概率中的最大值，确定为所述预设语言对应的二元参考概率；

基于各所述预设语言对应的二元参考概率，与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述预设语言对应的二元参考概率，以及与各所述预设语言分别对应的预设二元概率阈值，确定所述待识别词汇对应的目标语言，包括：

基于各所述预设语言对应的二元参考概率，确定所述当前待识别词汇对应的二元概率占比；

基于所述二元概率占比以及与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

4.根据权利要求3所述的方法，其特征在于，所述基于所述二元概率占比以及与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言，包括：

若所述二元概率占比不满足与各所述预设语言分别对应的预设二元概率阈值，则基于各所述预设语言分别对应的一元概率词典，确定所述当前待识别词汇在各所述预设语言下的一元概率；

基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的目标语言。

5.根据权利要求4所述的方法，其特征在于，所述基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的目标语言，包括：

基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的一元概率占比；

基于所述一元概率占比以及各所述预设语言分别对应的预设一元概率阈值，确定所述当前待识别词汇对应的目标语言。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取文本测试集，其中，所述文本测试集包括各样本文本以及与各所述样本文本对应的样本标签，所述样本标签包括所述样本文本中各个词对应的样本语言；

获取各所述预设语言分别对应的初始二元概率阈值以及初始一元概率阈值；

针对每一个所述样本文本，基于各所述初始二元概率阈值以及各所述初始一元概率阈值，确定与所述样本文本对应的预测标签，其中，所述预测标签包括所述样本文本中各个词对应的预测语言；

基于各所述预测标签、各所述样本标签以及预设目标函数，对各所述初始二元概率阈值和/或各所述初始一元概率阈值进行调整，得到各所述预设二元概率阈值以及各所述预设一元概率阈值。

7.根据权利要求6所述的方法，其特征在于，所述基于各所述预测标签、各所述样本标签以及预设目标函数，对各所述初始二元概率阈值和/或各所述初始一元概率阈值进行调整，包括：

基于各所述预测标签以及各所述样本标签，确定所述文本测试集对应的当前预测参数，其中，所述当前预测参数包括句子级准确率、句子级召回率、词语级准确率以及词语级召回率；

根据所述当前预测参数对所述预设目标函数进行计算，以所述预设目标函数的计算结果最大化为优化目标，调整各所述初始二元概率阈值和/或各所述初始一元概率阈值。