[发明专利]网络新词发现方法、装置、电子设备及存储介质

说明书

本发明的实施例提供了用于网络新词发现的方法、装置、设备及存储介质，包括：从语料库中获取多个候选词并计算每个候选词的内部凝固度、内部自由度和外部自由度，以及基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词。其中内部凝固度指示候选词作为固定搭配出现的概率，内部自由度指示候选词能被拆成更短的词的可能性，外部自由度指示该候选词与其他词搭配的灵活程度。本发明实施例的技术方案可以改善基于信息熵的新词发现方法的准确率。

技术领域

本发明涉及计算机自然语言处理，尤其涉及用于网络新词发现的方法、装置、电子设备及存储介质。

背景技术

随着互联网技术在日常生活中的普遍应用，各种新词不断涌现，如何有效识别新词对于诸如信息检索、机器翻译等中文信息处理的效果有重大影响。目前主流的新词发现方法有基于隐马尔可夫模型的新词发现方法和基于信息熵的新词发现方法。基于隐马尔可夫模型的新词发现需要大量语料进行训练，而新词往往出现在较新的预料中，重复训练模型的成本比较高。基于信息熵的新词发现算法可以避免训练过程，直接从现有文本中提炼出新词，但准确率有待提高。

发明内容

本发明实施例的目的在于克服上述现有技术的缺陷，提供一种新的基于信息熵的网络新词发现方法、装置、电子设备及存储介质，能进一步提高新词发现的准确率。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供了一种用于网络新词发现的方法，包括：从语料库中获取多个候选词并计算每个候选词的内部凝固度、内部自由度和外部自由度，以及基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词；

其中，计算每个候选词的内部自由度包括：

生成候选词的全部二分组合，每个二分组合将候选词拆分成前部分子串和后部分子串；

对于每个二分组合，计算该组合中前部分子串的右邻字信息熵和后部分子串的左邻字信息熵，取其中较小值作为该二分组合的自由度；

从全部二分组合的自由度中取最小值作为该候选词的内部自由度。

在本发明的一些实施例中，该方法还可包括定期通过从网络抓取新的语料来更新所述语料库。

在本发明的一些实施例中，所述从语料库中获取多个候选词包括：对所述语料库中的文本句子进行切词处理，获取经切词处理得到的长度属于预设长度区间的字符串；对所述长度属于预设长度区间的字符串计算其逆文档频率，选择其逆文档频率超过预设的词频阈值的字符串作为候选词。

在本发明的一些实施例中，所述预设长度区间可以为2～8个字符。

在本发明的一些实施例中，基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词包括：基于每个候选词的内部凝固度、内部自由度和外部自由度对该候选词进行评分，以及按评分从高到低对所述多个候选词进行排序，选取排序靠前的一个或多个候选词作为新词。

在本发明的一些实施例中，所述选取排序靠前的一个或多个候选词作为新词，包括：将所选取的每个候选词的内部凝固度、外部自由度和内部自由度分别与相应的设定阈值相比较，仅将其内部凝固度超过设定的内部凝固度阈值、外部自由度超过设定的外部自由度阈值、内部自由度低于设定的内部自由度阈值的候选词作为最终输出的新词。

在本发明的一些实施例中，每个候选词的评分可以等于该候选词的内部凝固度与外部自由度之和减去内部自由度。