[发明专利]一种基于bert模型与ngram模型的语句修正方法及装置

权利要求书

1.一种基于bert模型与ngram模型的语句修正方法，其特征在于，包括：

确定所述语句中用于替代错误字词的多个候选目标词，并构成多个候选语句；

对于每个候选语句，基于预设的bert模型计算该语句的第一困惑度，基于预设的ngram模型计算该语句的第二困惑度；

给定所述第一困惑度的第一加权系数，给定所述第二困惑度的第二加权系数；

对所述第一困惑度及所述第二困惑度通过加权的方式确定每个候选语句的总困惑度；

基于所述总困惑度确定最终语句。

2.如权利要求1所述的基于bert模型与ngram模型的语句修正方法，其特征在于，基于预设的bert模型计算该语句的第一困惑度包括：

确定所述候选语句中每个词的bert模型输出值；

以所述每个词的bert模型输出值的平均值作为所述候选语句的第一困惑度。

3.如权利要求1所述的基于bert模型与ngram模型的语句修正方法，其特征在于，基于预设的ngram模型计算该语句的第二困惑度包括：

其中，n为句子长度，w_i为第i个词或字，p(w_n|w₁......w_n-1)是指对于1-gram，其形式为p(w_i)，对于2-gram，其形式为p(w_i|w_i-1)，对于3-gram，其形式为p(w_i|w_i-2w_i-1)，其中：

P(w_i|w_i-2w_i-1)＝λ₃p(w_i|w_i-2w_i-1)+λ₂p(w_i|w_i-1)+λ₁p(w_i)+λ₀p；

其中λ_i是需要确定的参数，p＝1/R，R为语料中出现的词条数，如果在模型中并不存在对应的词的时候利用基于字的ngram模型，在使用回退法进行计算，即先用3-gram，如果不存在，则用2-gram，如果2-gram不存在，则用1-gram，其中1-gram使用的加值平滑法确定。

4.如权利要求1所述的基于bert模型与ngram模型的语句修正方法，其特征在于，给定所述第一加权系数及第二加权系数包括：

随机给定初始的第一加权系数及第二加权系数，其中，第一加权系数与所述第二加权系数之和为1；

对于所述bert模型对每个词的计算结果，将其归一化到区间[0，1]上；

对于ngram模型，将对句子最终的处理结果归一化到区间[0，1]上；

将上述处理结果应用到总困惑度计算公式中，采用梯度下降法求解最优的第一加权系数及第二加权系数。

5.一种基于bert模型与ngram模型的语句修正装置，其特征在于，包括：

候选语句确定模块，用于确定所述语句中用于替代错误字词的多个候选目标词，并构成多个候选语句；

子困惑度确定模块，用于对于每个候选语句，基于预设的bert模型计算该语句的第一困惑度，基于预设的ngram模型计算该语句的第二困惑度；

加权系数确定模块，用于给定所述第一困惑度的第一加权系数，给定所述第二困惑度的第二加权系数；

总困惑度确定模块，用于对所述第一困惑度及所述第二困惑度通过加权的方式确定每个候选语句的总困惑度；

最终语句确定模块，用于基于所述总困惑度确定最终语句。