[发明专利]一种基于文本相似度的舆情话题跟踪方法

权利要求书

1.一种基于文本相似度的舆情话题跟踪方法，其特征在于：该方法包括如下步骤，

步骤1数据预处理

1)文本数据是使用爬虫技术，获爬取热点舆情话题以及该话题新闻相关新闻，获取高质量的舆情话题语料；

2)中文分词就是将连续的字序列，按照对中文的理解将其划分为单个词语的过程，采用jieba分词工具对文本进行分词，句子已经被划分为单个词；

3)在中文中正常的文本或是一句话会包含逗号、顿号或者句号特殊字符，完成分词之后会保留这些特殊字符，而在进行文本相似度计算时这些特殊字符会影响计算的速度和精度，所以这些字符需要过滤掉，除这些特殊字符之外，“而且、不仅、的、了”对文本相似度的计算也有影响，且这些词对最终计算结果不影响，所以在数据预处理阶段将这些词过滤掉；

步骤2文本相似性计算

由于文本数据是从网上抓取的内容，经过步骤1之后数据的长度可能会很短，采用两种方式进行文本相似度计算，即文本长度小于150的文本采用句子级别的计算方式，否则采用文档级别的计算方式，并在计算过程中将时间特性加入计算中，首先进行时间对比，若时差大于30天且相似性小于0.70的新闻个数小于100条，则认为相似度较低，若时差大于30天且相似性大于等于0.70的新闻个数大于100条则认为相似性较高，经最后加权处理得到对应的文本相似度；

步骤3话题跟踪结果

根据步骤2到对应文本的向量表达方式，使用k-means算法对文本数据进行图像展示。