[发明专利]基于维基百科的评论主题词聚类方法

摘要

本发明涉及一种基于维基百科的评论主题词聚类方法。现行的主题词聚类由于选取语料库和词语相似度计算之间的原因，评论的主题词聚类准确率不高。本发明首先对于评论进行词性的标注，接着进行评论的主题词的提取，然后是基于维基百科的词语相似度模型的生成，词的相似度矩阵的生成。这里词的相似度采用词向量的余弦相似度进行衡量。最有在采用k均值算法进行主题词的聚类。本发明的结果是提高评论主题词聚类的准确性。

主权项

基于维基百科的评论主题词聚类方法，其特征在于包括如下步骤：步骤（1）词性标注，具体是：A）采用中科院提供的ICTCLAS汉语分词系统对评论进行分词并标注其词性；B）对词性标注后的评论进行预处理，删除不必要的内容，其中包括去除停用词、助词，数量词；步骤（2）主题词提取，具体是：C）根据“形容词+名词”，“名词+形容词”，“名词+副词+形容词”的模式来提取主题词；D）根据“名词”，“名词+名词”，“名词+名词性语素”的模式来确认名词；E）统计每个名词出现的频率，去掉一些低频的名词；步骤（3）基于维基百科的词语相似度模型生成，具体是：F）筛选维基百科的文章，滤去字符数少于300的文章；G）对于筛选后的文章进行分词；H）建立词典，其中包括去除停用词和低频词I）建立词的空间向量模型；每个词的维数就是维基百科的文章篇数，每一维对应的值是该词对于该文章的TFIDF权重步骤（4）词的相似度矩阵生成，具体是：J）对于要聚类的主题词集合建立相似度矩阵；词与词之间的相似度则用词向量之间的余弦相似度表示；步骤（5）k均值算法进行主题词的聚类，具体是：K）采用机器学习中的k均值算法进行评论主题词的聚类；k‑均值算法的准则函数基于余弦相似度。