[发明专利]一种网络热点话题发现方法及系统

说明书

本发明提供一种网络热点话题发现方法及系统，方法包括从预设时间段的文本语料中提取热词；当两个热词的相关性大于第一预设阈值时，将两个热词合并到同一集合中；计算每两个热词集合之间的共现度，当两个热词集合之间的共现度大于第二预设阈值时，将两个热词集合进行合并；计算每个热词集合中每两个热词之间的共现度，并统计每个热词的共现度，选取共现度排列在前列的几个热词作为对应的热点话题的名称。该方法及系统从热词的角度进行网络热点话题的发现操作，更加符合热点话题的定义；同时通过相关热词和共现热词集合的合并，保证了热点话题内部信息的强关联性，同时能够实现网络热点话题的准确发现，有利于用户直观地识别出网络热点话题。

技术领域

本发明涉及文本信息处理技术领域，更具体地，涉及一种网络热点话题发现方法及系统。

背景技术

随着互联网的日益普及，网络资源呈指数级增长趋势，传统的手工信息处理方式已经不能够应对大规模信息获取的要求，因此，需要通过新的信息技术，对网络舆情进行监控和分析，满足各行业用户的信息需求。通过发现网络热点话题，可以及时掌握各行业发展动向、实时监测各行业网络信息动态。对热点话题进行追踪，利于相关部门及时掌握网络中的思想动态，进行正确的舆论引导和分析，维护社会稳定。

话题是以一个事件为主题，包含多个与该主题相关的事件。热点话题是指在相同时间内新闻报道量多、用户讨论量多和传播范围广的事件。热点话题的名称通常由几个语义相关的词语或一个短语表示，从中可以较为完整地了解该话题的主要内容。例如热点话题“2017中国马铃薯大会”、“‘互联网+’现代农业”等。传统的热点话题发现方法是对文本进行聚类，从聚类的内容上来看，主要分为基于词的聚类、基于内容的聚类和基于信息的聚类。不同聚类算法对应不同的有效性，但基于聚类的方法不利于用户直观地识别出热点话题。

有鉴于此，亟需提供一种网络热点话题发现方法及系统，有利于用户直观地识别出热点话题，同时为及时了解各行业动态提供支持。

发明内容

本发明为了克服现有技术中热点话题发现方法准确性不高，不利于用户直观地识别出热点话题的问题，提供一种网络热点话题发现方法及系统。

一方面，本发明提供一种网络热点话题发现方法，包括：

S1，基于词语的信息熵从预设时间段的文本语料中提取热词候选词；

S2，根据所述热词候选词的单日词频和历史波动性计算所述热词候选词的热度，按照热度降序将所述热词候选词进行排序，并将前N个热词候选词作为热词，其中N＝1；

S3，计算每两个所述热词的相关性，当两个所述热词的相关性大于第一预设阈值时，将两个所述热词合并到同一集合中，并将其他每个热词单独存放在一个集合中，获得所有热词集合；

S4，计算每两个所述热词集合之间的共现度，当两个所述热词集合之间的共现度大于第二预设阈值时，将两个所述热词集合进行合并，获得合并后的所有热词集合；

S5，计算每个所述合并后的热词集合中每两个热词之间的共现度，并统计每个热词的共现度，按照共现度降序将所有热词进行排序，将前M个热词作为每个所述合并后的热词集合对应的热点话题的名称，其中M＝1。

优选地，所述步骤S1进一步包括：

S11，获取预设时间段的文本语料，基于信息熵的计算公式分别计算所述文本语料中词语的左信息熵和右信息熵；

S12，将所述左信息熵和右信息熵分别与预设的最小阈值和最大阈值进行比对，当满足r₁H(lw)r₂且r₁H(rw)r₂时，计算所述词语的丰富程度，计算公式为：

R＝H(lw)*H(rw)