[发明专利]一种基于海量文本的新词发现方法

说明书

本发明公开了一种基于海量文本的新词发现方法，该方法包括步骤：（1）计算每个词内部凝固程度：计算成词概率；（2）计算每个词内部自由运用程度，计算成词的左邻/右舍字的信息熵；（3）抽离词语：把文本中出现过的所有长度不超过d的子串都当作潜在的词，即候选词；（4）发现新词：若是第一次运行，那么所有的词都是新词，若已有一个基本词库，用目前发现的新词与旧词对比，就能够发现新词。本发明通过对海量文本数据，不依赖于任何已有的词库，仅仅根据词的共同特征，将一段大规模语料中可能成词的文本片段全部提取出来，不管它是新词还是旧词，适用于任何领域。然后，再把所有抽出来的词和已有词库进行比较，从而找出新词。

技术领域

本发明属于新词发现技术领域，涉及一种基于海量文本的新词发现方法。

背景技术

对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词，英文分词主要通过空格分词，而汉语却没有空格。分词中除了有歧义，还有机构名、品牌名、专业名词、缩略语、网络新词等让人头痛。

现有技术有jieba，standford NLP，hanlp等，但是这些分词工具往往只能分出普通的词，却不能发现专业领域的词，例如：（经济，政治，医疗）等等。

发明内容

本发明要解决的技术问题是：提供一种基于海量文本的新词发现方法，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种基于海量文本的新词发现方法，该方法包括以下步骤：

（1）计算每个词内部凝固程度：在有限字数文本数据中，字A出现的次数为n₁，则其概率为p₁，字B出现的次数为n₂，则其概率p₂，则字A和字B组合成词AB的概率p= p₁×p₂；

（2）计算每个词内部自由运用程度：考虑成词AB的左邻/右舍字，采用信息熵进行表示，若左邻/右舍字的发生概率为p_s，左邻/右舍字的信息熵定义为-log(p_s)，若左邻/右舍字信息熵越大，则与词AB组合成词的概率越高；

（3）抽离词语：把文本中出现过的所有长度不超过d的子串都当作潜在的词，即候选词，其中d为自己设定的候选词长度上限，设定的值为6，再为出现频数、凝固程度和自由程度各设定一个阈值，然后提取出所有满足阈值要求的候选词即可；

（4）发现新词：若是第一次运行，那么所有的词都是新词，若已有一个基本词库，用目前发现的新词与旧词对比，就能够发现新词。

本发明的有益效果：与现有技术相比，本发明通过对海量文本数据，不依赖于任何已有的词库，仅仅根据词的共同特征，将一段大规模语料中可能成词的文本片段全部提取出来，不管它是新词还是旧词，适用于任何领域。然后，再把所有抽出来的词和已有词库进行比较，从而找出新词。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例1：如图1所示，一种基于海量文本的新词发现方法，该方法包括以下步骤：