[发明专利]网络新词发现方法、装置、电子设备及存储介质

权利要求书

1.一种用于网络新词发现的方法，包括：

从语料库中获取多个候选词并计算每个候选词的内部凝固度、内部自由度和外部自由度，基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词；

其中，计算每个候选词的内部自由度包括：

生成候选词的全部二分组合，每个二分组合将候选词拆分成前部分子串和后部分子串；

对于每个二分组合，计算该组合中前部分子串的右邻字信息熵和后部分子串的左邻字信息熵，取其中较小值作为该二分组合的自由度；

从全部二分组合的自由度中取最小值作为该候选词的内部自由度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括定期通过从网络抓取新的语料来更新所述语料库。

3.根据权利要求1所述的方法，其特征在于，所述从语料库中获取多个候选词包括：

对所述语料库中的文本句子进行切词处理，获取经切词处理得到的长度属于预设长度区间的字符串；

对所述长度属于预设长度区间的字符串计算其逆文档频率，选择其逆文档频率超过预设的词频阈值的字符串作为候选词。

4.根据权利要求3所述的方法，其特征在于，所述预设长度区间为2～8个字符。

5.根据权利要求1所述的方法，其特征在于，所述基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词，包括：

基于每个候选词的内部凝固度、内部自由度和外部自由度对该候选词进行评分，以及

按评分从高到低对所述多个候选词进行排序，选取排序靠前的一个或多个候选词作为新词。

6.根据权利要求5所述的方法，其特征在于，所述选取排序靠前的一个或多个候选词作为新词，包括：

将所选取的每个候选词的内部凝固度、外部自由度和内部自由度分别与相应的设定阈值相比较，仅将其内部凝固度超过设定的内部凝固度阈值、外部自由度超过设定的外部自由度阈值、内部自由度低于设定的内部自由度阈值的候选词作为最终输出的新词。

7.根据权利要求5或6所述的方法，其特征在于，每个候选词的评分等于该候选词的内部凝固度与外部自由度之和减去内部自由度。

8.一种用于网络新词发现的装置，包括：

候选词生成模块，用于从语料库中获取多个候选词；

指标计算模块，用于计算每个候选词的内部凝固度、内部自由度和外部自由度；

新词选择模块，用于基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词；

其中指标计算模块通过下面的方式来计算每个候选词的内部自由度：

生成候选词的全部二分组合，每个二分组合将候选词拆分成前后两个子串；

对于每个二分组合，计算该组合中前部分子串的右邻字信息熵和后部分子串的左邻字信息熵，取其中较小值作为该二分组合的自由度；

从全部二分组合的自由度中取最小值作为该候选词的内部自由度。

9.一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现权利要求1-7所述的用于网络新词发现的方法。

10.一种电子设备，包括处理器和存储器，其中存储器用于存储可执行指令；所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7所述的用于网络新词发现的方法。