[发明专利]一种新词发现方法和系统

说明书

技术领域

本发明涉及文本信息处理领域，尤其涉及一种新词发现方法和系统。

背景技术

中文(还有日语等亚洲语言)不像西方语言那样使用空格表示词的边界，因此分词是中文语言处理的首要任务。然而随着互联网内容服务(比如微博、小说)的迅速发展，网络新词不断涌现，自动语音识别(ASR)、文本-语音(TTS)、搜索引擎等系统里所采用的分词模型需要不断更新新词才不会过时，因此新词发现最近成为研究热点。目前新词发现所面临的问题大概有三方面：

1.缺乏有效依据。对于新词目前没有明确定义，现有技术中，一般是用词典(作为背景语料)去除前景语料中的非新词，再用规则从剩余的短语碎片中判断新词。但是由于新词的组成千差万别，许多情况下不具备普遍规律，如小说中的人名译名，魔法名，种族名，用词典和规则的方法往往达不到良好效果。

2.词边界难于确定。现有技术中，采用基于语料库和概率统计方法的统计语言模型(一般为用前N-1个汉字来推测当前这个汉字的Markov模型称为N-gram(N元文法)语言模型，其中，当N＝1，2，3时，分别称为Unigram模型、Bigram模型和Trigram模型)建立分词系统时，对于前景语料，背景语料的分词模型可信度大打折扣，特别是在新词附近；而采用停用词(语料中词频较高，但没有意义的词，如“的”、“太”等)规则的方法时，停用词也会带来负面作用，过滤掉一些可能新词，比如″可的便利店″的“可的”。

3.更新困难。依赖于分词的新词发现，往往需要将背景语料和前景语料结合起来重新训练分词模型，滚动地发现新词，流程复杂而且耗时。

发明内容

本发明的目的在于提供一种新词发现方法和系统，利用背景语料的统计信息筛选新词，对新词的边界进行判别，避免对背景语料里已有新词重新发现，减少了人工校对的负担。

为解决上述问题，本发明提出一种新词发现方法，包括：

根据bigram语言模型抽取已知背景语料的bigram元素，并统计所述已知背景语料中所有bigram元素的词频和与种数；

根据bigram语言模型抽取前景语料的bigram元素，并统计所述前景语料中所有bigram元素的词频和与种数；

根据上述所有统计确定所述前景语料中符合第一预设规则的bigram元素；

根据n-gram语言模型对所述前景语料中剩余的bigram元素进行在所述前景语料中的向前和向后扩展，确定所述前景语料中符合第二预设规则的n-gram元素，得到新词列表。

进一步的，所述第一预设规则包括：

该bigram元素在所述前景语料和已知背景语料中的出现概率比值与在所述前景语料和已知背景语料中所有bigram元素的平均概率的比值之比大于第一预设阈值；

所述前景语料中该bigram元素的词频与所有bigram元素的词频均值之比大于第二预设阈值；

该bigram元素的首字或尾字在所述前景语料中的相关度大于第三预设阈值。

进一步的，所述已知背景语料为国家语委现代汉语语料库中的语料。

进一步的，所述相关度的计算公式为：