[发明专利]一种新词的识别方法及装置

权利要求书

1.一种新词的识别方法，其特征在于，所述方法包括：

获取待处理语料库中当前时间点之前的第一预设时间段内的语料，和所述待处理语料库中除所述第一预设时间段内的语料之外的剩余语料；

根据N-gram语言模型获取所述第一预设时间段内的语料的候选新词，所述N-gram语言模型表征组成所述候选新词的字的个数；

计算所述候选新词在所述第一预设时间段内的语料中的成词特征，得到所述候选新词的第一成词程度；

计算所述候选新词在所述剩余语料中的成词特征，得到所述候选新词的第二成词程度；

根据所述第一成词程度和所述第二成词程度，计算所述候选新词的新颖程度；

根据所述第一成词程度和所述新颖程度，计算所述候选新词的衡量度，并对所述衡量度进行排序，识别所述候选新词中的新词；

所述成词特征包括：互信息，信息熵，孤立度中的一种或多种，

所述计算所述候选新词在所述第一预设时间段内的语料中的成词特征，得到所述候选新词的第一成词程度，包括：

根据所述第一预设时间段内的互信息、信息熵和孤立度，得到所述候选新词的第一成词程度；

所述计算所述候选新词在所述剩余语料中的成词特征，得到所述候选新词的第二成词程度，包括：

根据所述剩余语料中的互信息、信息熵和孤立度，得到所述候选新词的第二成词程度；

所述根据所述第一预设时间段内的互信息、信息熵和孤立度，得到所述候选新词的第一成词程度，包括：

根据公式：

D₁＝I₁*H₁*logC₁

得到所述候选新词的第一成词程度，其中，D₁表示所述候选新词的第一成词程度，I₁表示所述候选新词的在所述第一预设时间段内的语料中的互信息，且I₁为除0以外的自然数，H₁表示所述候选新词在所述第一预设时间段内的语料中的信息熵，且H₁为除0以外的自然数，C₁表示所述候选新词在所述第一预设时间段内的语料中的孤立度，且C₁为除0以外的自然数；

相应的，所述根据所述剩余语料中的互信息、信息熵和孤立度，得到所述候选新词的第二成词程度，包括：

根据公式：

D₂＝I₂*H₂*logC₂

得到所述候选新词的第二成词程度，其中，D₂表示所述候选新词的第二成词程度，I₂表示所述候选新词在所述剩余语料中的互信息，且I₂为除0以外的自然数，H₂表示所述候选新词在所述剩余语料中的信息熵，且H₂为除0以外的自然数，C₂表示所述候选新词在所述剩余语料中的孤立度，且C₂为除0以外的自然数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一成词程度和所述第二成词程度，计算所述候选新词的新颖程度，包括：

计算所述第一成词程度和所述第二成词程度的比值，得到所述候选新词的新颖程度。

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一成词程度和所述第二成词程度的比值，得到所述候选新词的新颖程度，包括：

根据公式：

得到所述候选新词的新颖程度，其中，N表示所述候选新词的新颖程度，D₁表示所述候选新词在所述第一预设时间段内的语料中的第一成词程度，D₂表示所述候选新词在所述剩余语料中的第二成词程度。