[发明专利]一种新词发现方法和系统

权利要求书

1.一种新词发现方法，其特征在于，包括：

根据bigram语言模型抽取已知背景语料的bigram元素，并统计所述已知背景语料中所有bigram元素的词频和与种数；

根据bigram语言模型抽取前景语料的bigram元素，并统计所述前景语料中所有bigram元素的词频和与种数；

根据上述所有统计确定所述前景语料中符合第一预设规则的bigram元素；

根据n-gram语言模型对所述前景语料中剩余的bigram元素进行在所述前景语料中的向前和向后扩展，得到所述前景语料的n-gram元素，确定所述前景语料中符合第二预设规则的n-gram元素，得到新词列表。

2.如权利要求1所述的新词发现方法，其特征在于，所述第一预设规则包括：

该bigram元素在所述前景语料和已知背景语料中的出现概率比值与在所述前景语料和已知背景语料中所有bigram元素的平均概率的比值之比大于第一预设阈值；

所述前景语料中该bigram元素的词频与所有bigram元素的词频均值之比大于第二预设阈值；

该bigram元素的首字或尾字在所述前景语料中的相关度大于第三预设阈值。

3.如权利要求2所述的新词发现方法，其特征在于，所述相关度的计算公式为：

kforward(bi)=fi-f‾forwardσforward,kbackward(bi)=fi-f‾backwardσbackward,]]>

其中，b_i表示该bigram元素，k_forward(b_i)表示该bigram元素的首字在所述前景语料中的相关度，k_backward(b_i)表示该bigram元素的尾字在所述前景语料中的相关度，f_i表示该bigram元素的词频，是所述前景语料中所有首字为该bigram元素的首字的bigram元素的词频均值，σ_forward是f_i与的标准差，是所述前景语料中所有尾字为该bigram元素的尾字的bigram元素的词频均值，σ_backward是f_i与的标准差。

4.如权利要求1所述的新词发现方法，其特征在于，所述已知背景语料为国家语委现代汉语语料库中的语料。