[发明专利]一种基于改进FP-Growth算法的微博类短文本的新词发现方法

权利要求书

1.一种基于改进FP-Growth算法的微博类短文本的新词发现方法，其特征在于，包括以下步骤：

步骤(1)、微博语料获取和预处理

利用微博的API接口或采集爬虫获取微博语料，对文件进行正则匹配获取其中的微博正文内容，删除其中的URL，然后按标点符号进行断句，对得到的纯文本进行分词、词性标注，得到预处理后的语料，记为G；

步骤(2)、利用改进的FP-Growth算法处理语料G，获取频繁项集C_fp

步骤(3)、利用N-grams模型获取新词候选集C_grams

从语料中统计N个词同时出现的次数，由N-grams模型得到词同时出现的频率P(w₁,w₂,w₃,......w_n)。选取满足条件α₂＜P(w₁,w₂,w₃,......w_n)＜β₂的N元重复串作为新词候选集C_grams，α₂,β₂是共现频率阈值。

步骤(4)、取频繁项集C_fp和新词候选集C_grams的交集，得到新词候选项集C1＝{c₁,c₂,…,c_m},c_i＝(w₁,w₂,..w_n),c_i表示候选新词，w_j表示构成新词的原词。

步骤(5)、在新词候选项集C1中，利用词性标记对其中含有过滤词性的词进行筛选，得到新词候选集C2

步骤(6)、利用改进的互信息对新词候选集C2进行过滤，得到新词候选集合C3，若c_i＝(w₁,w₂,..w_n)，c_i∈C2，对每个c_i利用改进的互信息公式，对相邻的w_j进行计算，改进的互信息计算公式如下：

其中，p(w_i,w_i+1)表示词w_i和词w_i+1共同出现的频数，p(w_i)表示词w_i的频数，w_i,i+1表示词w_i和邻近的词w_i+1组合成词的权重，n_pos(wi,wi+1)表示词w_i，w_i+1共现的词性组合的频数，表示词w_i的词性出现的频数；在所有频繁项集中，选取满足条件I(w_i,w_i+1)＞β₃的词作为新词集合C＝{c₁,c₂,c₃,......c_m}，每个新词都是c1＝(w₁,w₂,w₃,......w_n)构成，其中β₃为设定的阈值；

步骤(7)、通过词性组合过滤规则库R过滤候选新词集合C3，然后得到最终的新词集合C4，

若c_i＝(w₁,w₂,..w_n)，ci∈C3，对于每一个c_i，对于任意的(w_i，w_i+1)，其词性组合(pos(w_i),pos(w_i+1))，如果满足词性组合过滤规则库R中任意规则，则去除新词c_i，最终得到新词集合C4；

词性组合过滤规则库R由如下规则构成：

过滤规则一：/ns /v(ns处可以是nr、nz)；

过滤规则二：/ns /ns(ns处可以是nr、nz)；

过滤规则三：/n /v或者/vn /v；

过滤规则四：/t /t；

过滤规则五：/t /nr；

过滤规则六：/t /f(t处可以是vn、n、l、f)；

过滤规则七：/v /t；

过滤规则八：/t /v；

过滤规则九：/ns /j。