[发明专利]一种新词自动提取方法

摘要

一种新词自动提取方法，包括：对文本句子进行切词处理，并将其中字数长度不大于S+1的候选词提取出来，然后将提取出的所有互不相同的候选词保存在候选词库中；计算候选词库中每个候选词的支持度，并将所有支持度大于支持度阈值的候选词构成一个频繁词组；为频繁词组中的每个候选词构建一个子词组，并将候选词和频繁词组中的所有其他候选词相比较，如果候选词中包含有其他候选词时，则将其他候选词保存在该候选词的子词组中，然后根据候选词、以及子词组中每个子词在知识库中出现的频数，计算候选词的置信度，当候选词的置信度大于置信度阈值时，则候选词是提取的新词。本发明属于计算机自然语言处理领域，能从海量文本中准确且快速的提取新词。

主权项

一种新词自动提取方法，其特征在于，包括有：步骤一、对语料库包含的所有文本句子进行切词处理，并将每个文本句子中字数长度不大于S+1的候选词提取出来，然后将提取出的所有互不相同的候选词保存在候选词库中，其中，S是预先设定的新词的字数长度上限；步骤二、根据候选词在知识库中出现的频数与相同字数长度的所有候选词在知识库中出现的频数的比值，计算候选词库中每个候选词的支持度，并将所有支持度大于支持度阈值的候选词构成一个频繁词组；步骤三、为频繁词组中的每个候选词C构建一个子词组Z(C)，并将候选词C和频繁词组中的所有其他候选词相比较，如果候选词C中包含有其他候选词时，则将其他候选词保存在候选词C的子词组Z(C)中，然后根据候选词C、以及子词组Z(C)中每个子词在知识库中出现的频数，计算频繁词组中的每个候选词C的置信度，当候选词C的置信度大于置信度阈值时，则候选词C是提取的新词，步骤三进一步包括有：步骤31、从频繁词组中挑选出一个未计算置信度的候选词C；步骤32、为候选词C构建一个子词组Z(C)，根据候选词C的字数长度n(C)，判断频繁词组中的其他候选词的字数长度是否是n(C)‑1、且被包含在所述候选词C中，如果是，则说明其他候选词是候选词C的一个子词，将所有字数长度是n(C)‑1、且包含在候选词C中的其他候选词保存在Z(C)中；如果否，则说明其他候选词不是候选词C的子词；步骤33、计算候选词C的置信度：其中，p(C)是候选词C在知识库中出现的频数，F是Z(C)中的子词个数，z(C)₁、z(C)₂、…z(C)_F分别是候选词C的子词组Z(C)中包含的所有子词，p(z(C)₁)、p(z(C)₂)、…p(z(C)_F)分别是z(C)₁、z(C)₂、…z(C)_F在知识库中出现的频数，分别是候选词C与其子词的置信度，从候选词C与其子词的置信度中挑选出最小值作为候选词C的置信度conf(C)；步骤34、判断候选词C的置信度是否大于置信度阈值，如果是，则说明候选词C是提取的新词，当频繁词组中仍然存在有未计算置信度的候选词时，转向步骤31；如果否，则说明候选词C不是提取的新词，将候选词C从频繁词组中删除，然后当频繁词组中仍然存在有未计算置信度的候选词时，转向步骤31。