[发明专利]新词发现方法、装置、设备以及存储介质

权利要求书

1.一种新词发现方法，其特征在于，所述方法包括：

确定待预测语句中各字对应的初始特征序列，将所述初始特征序列输入语言模型得到所述待预测语句中各字对应的预测特征序列，基于所述预测特征序列确定所述待预测语句中的新词；

其中，所述语言模型是基于以下方式训练得到的：

获取训练样本集，所述训练样本集中包括多个样本语句；

对于每一所述样本语句，确定该样本语句的初始词序列，将所述初始词序列中的待预测词替换为预设掩码字符，得到第一词序列，确定该样本语句的初始字序列，将所述初始字序列中对应于所述待预测词的待预测字替换为所述预设掩码字符，得到第一字序列，基于该样本语句的第一词序列和第一字序列，确定该样本语句对应的样本特征序列；

对于每一样本语句，将该样本语句对应的样本特征序列输入初始语言模型，得到该样本语句中各字对应的样本预测特征序列，基于所述样本预测特征序列确定该样本语句中待预测词对应的预测词；

基于各所述样本语句中待预测词和对应的预测词，确定训练损失值，根据所述训练损失值和所述训练样本集对所述初始语言模型进行迭代训练，直至所述训练损失值符合训练结束条件时，将训练结束时的模型确定为所述语言模型。

2.根据权利要求1所述的方法，其特征在于，对于每一所述样本语句，所述基于该样本语句的第一词序列和第一字序列，确定该样本语句中各字对应的样本特征序列，包括：

将该样本语句的第一词序列中各词和预设掩码字符分别进行编码，得到所述第一词序列中各词对应的初始词特征；

将该样本语句的第一字序列中各字和预设掩码字符分别进行编码，得到所述第一字序列中各字对应的初始字特征；

基于所述第一词序列中各词对应的初始词特征和所述第一字序列中各字对应的初始字特征，确定该样本语句对应的样本特征序列。

3.根据权利要求2所述的方法，其特征在于，对于每一所述样本语句，所述基于所述第一词序列中各词对应的初始词特征和所述第一字序列中各字对应的初始字特征，确定该样本语句对应的样本特征序列，包括：

对于所述第一字序列中的每一字，确定所述第一词序列中该字对应的目标词的目标初始词特征，基于该字对应的初始字特征和所述目标初始词特征，确定该字对应的融合特征；

基于所述第一字序列中各字对应的融合特征，确定该样本语句对应的样本特征序列。

4.根据权利要求1所述的方法，其特征在于，所述基于所述预测特征序列确定所述待预测语句中的新词，包括：

基于所述预测特征序列，确定所述待预测语句中各字的词语标注信息；

基于所述词语标注信息，确定所述待预测语句中的候选词；

对于任一候选词，若预设词库中不包括该候选词，则确定该候选词为新词。

5.根据权利要求1所述的方法，其特征在于，所述将所述初始词序列中的待预测词替换为预设掩码字符，得到第一词序列，包括：

确定所述初始词序列中任一文本长度为预设文本长度的目标词序列；

将所述目标词序列中属于预设词类型的词确定为待预测词，并将各所述待预测词替换为预设掩码字符。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

从不同领域的原始语料中确定候选文本；

对于任一领域的候选文本，确定该领域的候选文本中各字符的词特征，基于所述词特征从该领域的候选文本中确定出第一目标词，所述词特征包括词频、互信息、凝固度以及信息熵中的至少一项；

基于所述第一目标词更新所述预设词库。