[发明专利]训练隐马尔科夫模型的方法、装置、设备和存储介质

权利要求书

1.一种训练隐马尔科夫模型的方法，其特征在于，所述方法包括：

通过隐马尔科夫模型获取候选分词的角色概率，所述候选分词用于指示经过角色标注的训练文本的分词，所述角色概率用于指示角色在预设语料集中出现的频率；

根据所述角色概率计算所述训练文本中的角色权重值；

计算对所述训练文本进行实体识别的损失函数的值，并将所述损失函数的值作为效果值；

通过所述损失函数执行多维随机梯度下降算法，以对所述角色权重值进行循环迭代更新；

根据所述效果值绘制效果值曲线；

分析所述效果值曲线收敛的稳定性，以得到目标角色权重值，获取所述目标角色权重值对应的目标角色；

基于所述目标角色通过维特比算法计算概率值最大的角色链，并根据所述角色链中的角色组合模式进行实体识别，得到目标隐马尔科夫模型。

2.根据权利要求1所述的方法，其特征在于，所述分析所述效果值曲线收敛的稳定性，以得到目标角色权重值，包括：

获取评估所述效果值的单元的刚度矩阵，根据所述刚度矩阵计算残差值；

当所述残差值大于或等于预置的收敛值时，更新所述预置的收敛值和所述角色权重值进行循环迭代次数，直到所述残差值小于所述预置的收敛值；

当所述残差值小于所述预置的收敛值时，判定所述效果值曲线收敛稳定；

获取所述残差值最小的效果值曲线，所述残差值最小的效果值曲线对应的角色权重值作为目标角色权重值。

3.根据权利要求1所述的方法，其特征在于，所述通过隐马尔科夫模型获取候选分词的角色概率，所述候选分词用于指示经过角色标注的训练文本的分词，所述角色概率用于指示角色在预设语料集中出现的频率，根据所述角色概率计算所述训练文本中的角色权重值，包括：

分析训练文本的所属领域，调用所述所属领域的核心词典对训练文本进行分词处理，得到候选分词；

获取所述候选分词对应的粗分编码结果，并计算所述粗分编码结果中与所述候选分词匹配度最高的编码，以所述匹配度最高的编码对应的角色作为所述候选分词的角色；

计算所述候选分词的角色在训练文本中的第一角色频率，以及计算所述候选分词的角色在所述所属领域对应的语料集中的第二角色频率；

根据所述第一角色频率以及所述第二角色频率计算角色概率；

基于所述角色概率计算所述候选分词的角色对于所述所属领域对应的合成词的贡献度，将所述贡献度作为角色权重值，所述合成词用于指示由多个所述候选分词组合而成的符合语法规则的词。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标角色通过维特比算法计算概率值最大的角色链，并根据所述角色链中的角色组合模式进行实体识别，得到目标隐马尔科夫模型，包括：

通过计算所述目标角色权重值对应的角色的发射概率，所述Role表示所述目标角色权重值对应的角色，所述w表示角色对应的词，所述P(w|Role)表示在角色Role下出现词为w的概率，所述w_Role表示角色的权重，所述表示由大数定律公式近似所得的公式，所述f(w,Role)表示所述w对应被标注的角色频率，所述f(Role)表示标注为角色Role的词整体出现的频率，所述表示所有角色Role的平均频率；

计算所述目标角色权重值对应的角色的先验概率和状态转移概率；

通过维特比算法分析所述发射概率、所述先验概率和所述状态转移概率，计算概率值最大的角色链，所述角色链包括多个角色组合模式；

将所述概率值对应的角色链根据所述概率值由大到小进行排序，得到最佳的角色排序序列；

将所述最佳的角色排序序列对应的隐马尔科夫模型作为目标隐马尔科夫模型。