[发明专利]一种基于文本相似度的舆情地域热点发现方法

权利要求书

1.一种基于文本相似度的舆情地域热点发现方法，其特征在于，包括如下步骤：

步骤一：预先建立地理数据库；

步骤二：识别出待识别文档中的地域词，然后根据地理数据库匹配出该地域词对应的地理数据；

步骤三：指定待识别文档中准备进行分词的内容，对该部分内容进行分词，提取特征词，并计算各个特征词的词频，将文档向量化；

步骤四：计算被分词内容与各个已有话题类别中的中心向量的余弦相似度，获取与被分词内容具有相似度的话题并得到余弦相似度值，若余弦相似度值小于或等于预先设定的阈值，则将被分词内容置为一个新的话题，并加入其对应的文档涉及的地域信息；若余弦相似度值大于阈值，则将被分词内容归为已知的话题类别中，并更新该话题类别的中心向量，加入其对应的文档涉及的地域信息；

步骤五：对重复执行步骤二至四，直到完成所有待识别文档的地域热点分析；

步骤六：选择文档数符合规定的话题，统计其地域信息。

2.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤一中所述的地理数据库包括中国的省、市、县三级地理数据。

3.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤二中采用ICTCLAS汉语词法分析系统筛选出词性为地域名称的词语。

4.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤三中，文档标题或者规定长度的内容作为准备分词的内容。

5.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤三中，选择规定长度的内容前，待识别文档的内容会被预先过滤。

6.如权利要求5所述的基于文本相似度的舆情地域热点发现方法，其特征在于，待识别文档中被过滤掉的内容包括用户名和/或英文字符和/或数字和/或数学字符和/或标点符号/或语气助词和/或标点符号和/或url标签。

7.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤四中，计算被分词内容与各个已有话题类别的中心向量的公式为：

其中，cos(θ)代表余弦相似度，A＝(A₁，…，A_n)，A表示被分词内容的向量，A_i(1，2，…，n)表示各个特征词的词频；B＝(B₁，…，B_n)，表示进行比较时所选中的已有话题类别的中心向量，B_i(1，2，…，n)表示各个特征词的词频；n表示A、B特征词并集元素的个数。

8.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，步骤四中，更新话题类别的中心向量的公式为：

$W_{new}=\frac{n\×W_{old}+W_d}{n+1}$

其中W_new表示该话题类别中新的中心向量，W_old表示该话题类别原来的中心向量，W_d表示被分词内容的中心向量，n表示该话题类别中的文档数目。

9.如权利要求1所述的基于文本相似度的舆情地域热点发现方法，其特征在于，所述待识别文档为网页信息文档，其形成方式为：网络爬虫从互联网中采集网页，对所爬取的网页进行解析预处理，将获取到网页的标题、信息正文信息组装成网页信息文档。