[发明专利]一种大数据背景下在线评论文本最佳主题提取系统和方法

权利要求书

1.一种大数据背景下在线评论文本最佳主题提取方法，其特征在于包括以下步骤：

步骤1：文本数据采集模块采集各互联网资源网站中的评论信息，构成在线评论文档集合D＝{d₁,d₂,d₃,…,d_m}；其中D是文档总数，d_m为第m个文档；

步骤2：文本数据抽取模块加载在线文档集合D，判断文件格式，根据其从文档中抽取的文本内容，生成在线评论集R＝{r₁,r₂,r₃,…,r_n}，并输出到文本规范化处理模块和词频统计模块；其中R是评论总数，r_n是第n条评论；

步骤3：文本预处理模块对在线评论集R中的在线评论文本进行预处理，包括语言检测、文本清洗、词语切分；经过预处理后得到单词集合W＝{w_r1,w_r2,w_r3,…3w_rn}，并输出到词频统计模块和文本规范化模块；其中w_rn是第r_n条评论中的所有单词；

步骤4：词频统计模块统计W中每个单词出现的次数，发现极高频与极低频词；并将结果输出到文本规范化模块和文本向量化模块；

步骤5：文本规范化模块依据词频统计模块输出的结果从W中删除极高频与极低频词，并执行去停止词处理；接下来并对单词进行词形转换处理，只保留动词、名词、形容词和副词，得到规范化后新的单词集合W’＝{w’_r1,w’_r2,w’_r3,…3,’_rn}，并将结果输出到文本向量化模块；

步骤6：根据词频统计模块统计的W中每个单词出现的次数，文本向量化模块从文本规范化模块传送的新单词集合W’中构建单词词典W_dic和单词向量语料库W_cor，作为主题建模的输入；

W_dic＝[w₁,w₂,w₃,…w_n],其中w_n为第n个独立单词；

W_cor＝{[r₁,[(id₁,f₁),(id₂,f₂),(id₃,f₃),(id数的_n,f_n)]],[r₂,[(id₁,f₁),(id₂,f₂),(id₃,f₃),(idr的_n,f_n)]],[r₃,[(id₁,f₁),(id₂,f₂),(id₃,f₃),(idr的_n,f_n)]],dr的输_n,[(id₁,f₁),(id₂,f₂),(id₃,f₃),(idr的_n,f_n)]]},其中r_n为第n条评论，id_n为r_n中每个单词的编号，f_n为单词出现的次数；

步骤7：利用主题提取模块提取最佳主题；

步骤7.1:初始化主题数量K_t；

步骤7.2:构建一致性词典CV_dic

步骤7.2.1:将K_t、单词词典W_dic和单词向量语料库W_cor作为LDA模型输入参数，通过模型超参数α和β推断主题分布参数θ_r和主题与单词分布参数φ_k，θ_r和符合Dirichlet先验分布，过程如下：

(1)对于每条评论r，随机生成第r条评论的主题分布参数θ_r～Dir(α)；

(2)对于每个主题k，生成主题k的单词分布

(3)对当前评论的每个单词的位置：

根据主题分布参数θ_r生成当前单词所属主题Z_rn，Z_rn表示第r条评论第n个单词对应的主题；根据当前位置的主题Z_rn，以及主题与单词分布参数生成第r条评论第n个单词对应的单词分布W_kn；

迭代执行步骤7.2.1中的(1)-(3)，直到遍历所有评论的所有单词，待估计参数θ_r和进入平稳，由Z_rn和W_kn得到主题序列Z＝{Z₁，Z₂，……Z_t},其中每一个主题Z包含一组单词；

步骤7.2.2:计算每个主题的一致性值coherence；主题一致性值coherence通过测量主题中得分高的单词之间的语义相似程度来衡量主题的得分，计算公式如下：

其中Z_i是一组词描述的主题，1≤i≤t,ε是平滑因子，coherence是一致性；Score是Z_i中单词对ω_i,ω_j同时出现的概率值，基于评论计算两个单词共现的得分，公式如下；

其中，R(x，y)表示包含单词x和y的评论数，R(x)表示包含x的评论数；平滑因子ε用于评估一致性值达到稳定值；

步骤7.2.3:计算当前K_t时所有主题一致性值coherence的平均值CV_t，并将K_t和CV_t加入一致性词典CV_dic＝{(K_t1,CV₂)，(K_t2,CV₄)，(K_t3,CV₆)，…，(K_max,CV_max)}；

步骤7.2.4:判断主题数量K_t是否大于K_max，若是则迭代结束，进入步骤7.3；反之令K_t＝K_t+K_i，K_i表示递增量，进入步骤7.2.1；

步骤7.3：从一致性词典CV_dic中筛选出一致性CV_t最大时的主题数K_b，并将单词词典W_dic、语料库W_cor输入模型，输出K_b时的主题序列Z＝{Z₁，Z_r，……Z_b}，同时统计主题-评论分布，得到每个主题的代表性评论及评论集合。