[发明专利]结合内部聚合度和外部离散信息熵的网络新词发现方法

摘要

本发明公开了一种结合内部聚合度和外部离散信息熵的网络新词发现方法，包括：对网络语料库包含的所有文本句子进行切词处理，并将切分出来的所有互不相同的字串作为候选字串；对在网络语料库中出现的频率超过固定阈值的候选字串，计算其内部聚合度和外部离散信息熵，并根据该候选字串的内部聚合度和外部离散信息熵进一步判断候选目标词串是否为网络新词。本发明方法提出针对判断一个候选字串是否为网络新词的两个关键因素：候选字串的内部聚合度和外部离散信息熵，同时考虑了候选字串的稳定性、独立性和完整性，能够有效的发现网络上出现的新词。

主权项

一种结合内部聚合度和外部离散信息熵的网络新词发现方法，其特征在于，包括：步骤1）：对网络语料库包含的所有文本句子进行切词处理，将每个文本句子中的长度小于等于n的字串切分出来，并将切分出来的所有互不相同的字串作为候选字串；其中，n为整数且n≥1，每个所述文本句子是一个不包含任何标点符号的语句；步骤2）：任意选出一个未作过新词判断处理的候选字串；步骤3）：判断所选出的当前候选字串在所述网络语料库中出现的频率是否小于阈值M，M＞0；如果不是，则执行步骤4），否则在仍然存在未作过新词判断处理的候选字串时返回执行步骤2)；步骤4）：对当前候选字串作k‑1种切分，每一种切分都将当前候选字串切分成两个子字串，其中，k为当前候选字串的长度；分别计算每一种切分所获得的两个子字串随机结合构成当前候选字串的概率，并进一步计算当前候选字串的内部聚合度；在所有候选字串中找出以当前候选字串为前缀的全部字串，并将以当前候选字串为前缀的全部字串构成当前候选字串的右邻接字串集，计算所述右邻接字串集的信息熵；在所有候选字串中找出以当前候选字串为后缀的全部字串，并将以当前候选字串为后缀的全部字串构成当前候选字串的左邻接字串集，计算所述左邻接字串集的信息熵；以所述右邻接字串集的信息熵和左邻接字串集的信息熵中的较小者作为当前候选字串的外部离散信息熵；步骤5）：如果当前候选字串的内部聚合度超过预先设定的内部聚合度阈值，并且，当前候选字串的外部离散信息熵超过预先设定的外部离散信息熵阈值，那么判断当前候选字串为网络新词，并在仍然存在未作过新词判断处理的候选 字串时返回执行步骤2），其中，所述内部聚合度的阈值和外部离散信息熵的阈值均大于0；如果当前候选字串的内部聚合度未超过预先设定的所述内部聚合度阈值，或者，当前候选字串的外部离散信息熵未超过预先设定的所述外部离散信息熵阈值，那么判断当前候选字串不是网络新词，并在仍然存在未作过新词判断处理的候选字串时返回执行步骤2）。