[发明专利]文本信息的挖掘方法及装置

说明书

本发明公开了一种文本信息的挖掘方法及装置，挖掘方法包括：步骤S1：对获取的舆情信息进行数据提取获得多个文本，根据文本的发布时间对多个文本进行分组；步骤S2：通过jieba分词对每个分组中的文本进行分词并获得分组中每一主题词的分布统计数据；步骤S3：通过LDA算法对每个分组中的文本进行主题词提取输出文本属于主题的第一概率矩阵及每个主题中主题词分布的第二概率矩阵；步骤S4：根据第一概率矩阵及第二概率矩阵获得每个分组的文本话题特征；步骤S5：根据每个分组中文本话题特征及主题词的分布统计数据获得话题峰值。由此在保证准确率的前提下，提升了算法计算速度，满足了实时计算的需求。

技术领域

本发明涉及一种文本信息的挖掘方法及装置。

背景技术

随着互联网的飞速发展，网络数据源越来越丰富，产生的舆情数据也越来越大，及时的检测舆情数据中包含的主要信息，可以让品牌商及时发现新产品的客户反馈，主流的文本主题挖掘算法依然是LDA主题模型，在LDA中，算法需要维护三个矩阵：θ,φ和字典映射矩阵。它们分别为文档在主题上的分布矩阵，规模为NDKNDK；主题在词上的分布，规模为WKWK和文档次的编号映射矩阵，规模为NDl^-NDl^-。因此其空间复杂度就是NDK+WK+NDl^-NDK+WK+NDl^-了。这种算法的算法复杂度为O(NiterNdKl^-)，所以主题输越多，文本数越多的情况下，算法计算时长越长，所以需要有一种有效的方法对其进行优化。

目前，对LDA主题算法模型进行优化的方法，大致有以下几种，第一，采用并行计算，LDA算法本身是计算所有文章包含的主题，以及每篇文章归属每种主题的概率，即使采用并行方法，最耗时的计算模块本身是串型算法，达到的优化效果不大；第二：以优化算法hdLDA模型为例，是更改抽样方法，hdLDA所需要的不重要变量特别多，但是如果不计入核心算法的话，有φ矩阵，规模为WK；θ矩阵，规模为NDK；ψ矩阵，规模为JW，其中K表示formaltopic的个数，J表示leisure topic的个数；以及文档保存矩阵ptrndata(结构体)，规模为NDC^-lc^-hdLDA的时间复杂度为：NiterND(Kl^-+2KC^-lc^-+C^-lc^-)，因此面对大量文本计算主题时，计算速度依然无法得到保证。

因此亟需开发一种克服上述缺陷的文本信息的挖掘方法及装置。

发明内容

针对上述问题，本发明提供一种文本信息的挖掘方法，其中，包括：

步骤S1：对获取的舆情信息进行数据提取获得多个文本，根据文本的发布时间对多个文本进行分组；

步骤S2：通过jieba分词对每个分组中的文本进行分词并获得分组中每一主题词的分布统计数据；

步骤S3：通过LDA算法对每个分组中的文本进行主题词提取输出文本属于主题的第一概率矩阵及每个主题中主题词分布的第二概率矩阵；

步骤S4：根据第一概率矩阵及第二概率矩阵获得每个分组的文本话题特征；

步骤S5：根据每个分组中文本话题特征及主题词的分布统计数据获得话题峰值。

上述的挖掘方法，其中，所述步骤S1中包括：

步骤S11：根据舆情信息获得包括文本id、发布时间及文本内容的多个文本；

步骤S12：根据发布时间对多个文本进行分组。

上述的挖掘方法，其中，所述步骤S3中包括：

步骤S31：根据对每个文本对应到不同中间层集合的概率θd进行计算获得p(t|d)；